P T 	 A U 	 B A 	 B E 	 G P 	 A F 	 B F 	 C A 	 T I 	 S O 	 S E 	 B S 	 L A 	 D T 	 C T 	 C Y 	 C L 	 S P 	 H O 	 D E 	 I D 	 A B 	 C 1 	 R P 	 E M 	 R I 	 O I 	 F U 	 F X 	 C R 	 N R 	 T C 	 Z 9 	 P U 	 P I 	 P A 	 S N 	 E I 	 B N 	 J 9 	 J I 	 P D 	 P Y 	 V L 	 I S 	 P N 	 S U 	 S I 	 M A 	 B P 	 E P 	 A R 	 D I 	 D 2 	 P G 	 W C 	 S C 	 G A 	 U T 	 P M 
 J 	 W e i ,   S C ;   Z h e n g ,   C H 	 	 H u ,   X ;   R a b a b a h ,   K A 	 	 W e i ,   S h u a n c h e n g ;   Z h e n g ,   C h a o h u i 	 	 	 T h e   C o n c e p t   o f   C r o w d s o u r c i n g   a n d   t h e   D e s i g n   o f   E n t e r p r i s e   C r o w d s o u r c i n g   B u s i n e s s   M o d e l   i n   C h i n a 	 2 0 1 3   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M A N A G E M E N T   ( I C M   2 0 1 3 ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I n t e r n a t i o n a l   C o n f e r e n c e   o n   M a n a g e m e n t   ( I C M ) 	 J U L   2 1 - 2 3 ,   2 0 1 3 	 J i u j i a n g ,   P E O P L E S   R   C H I N A 	 	 	 	 	 T h e   p a p e r s   a n a l y z e s   t h e   d e f i n i t i o n   a n d   t h e   f e a t u r e   o f   C r o w d   s o u r c i n g   a s   w e l l   a s   t h e   d i f f e r e n c e   b e t w e e n   O u t s o u r c i n g   a n d   C r o w d   s o u r c i n g   s u m m a r i z e s   t h e   d e v e l o p m e n t   s t a t u e   o f   C r o w d   s o u r c i n g .   I t   m a d e   a   t h e o r e t i c a l   a n a l y s i s   o n   t h e   g e n e r a t i o n   a n d   t h e   d e v e l o p m e n t   o f   C r o w d   s o u r c i n g   f r o m   f o u r   a s p e c t s   w h i c h   a r e   t h e   m a r k e t   d e m a n d ,   t h e   s u p p l y   f o u n d a t i o n   o f   h u m a n   r e s o u r c e   n e e d e d ,   t h e   c h a l l e n g e s   f r o m   o t h e r   e n t e r p r i s e s   a n d   t h e   c o m m u n i c a t i o n   c h a n n e l s   p r o v i d e d   b y   t h e   i n t e r n e t .   T h e   a r t i c l e   m a d e   a   l o g i c a l   a n a l y s i s   o n   f u n d a m e n t a l   p r i n c i p l e   a n d   p r o c e s s   o f   t h e   B u s i n e s s   m o d e l   o f   C r o w d   s o u r c i n g   w h i c h   r e l i e s   o n   t h e   m o d e   o f   C o n t r a c t e e ,   i n t e r m e d i a r y   a n d   C o n t r a c t o r .   S i n c e   t h e   C r o w d   s o u r c i n g   i s   s t i l l   i n   t h e   p r i m a r y   s t a g e   i n   C h i n a ,   l o t s   o f   p r o b l e m   s u c h   a s   C o m m u n i c a t i o n   B a r r i e r   c a u s e d   b y   c u l t u r a l   d i f f e r e n c e s ,   i n t e l l e c t u a l   p r o p e r t y   r i g h t s ,   i n f o r m a t i o n   s e c u r i t y ,   t r u s t   a n d   e t c ,   t h e   a r t i c l e   p u t   f o r w a r d   a   p a t h   f o r   b u i l d i n g   t h e   c r o w d   s o u r c i n g   b u s i n e s s   m o d e l . 	 [ W e i ,   S h u a n c h e n g ]   S h a n g h a i   I n s t   T e c h n o l ,   S c h   E c o n   &   M a n a g e m e n t ,   S h a n g h a i ,   P e o p l e s   R   C h i n a 	 	 	 	 	 	 	 H o w e   J e f f ,   2 0 0 9 ,   C R O W D S O U R C I N G ;   H u   C h u n g ,   2 0 0 9 ,   C E I B S   B U S I N E S S   R E V ;   L i u   W e n h u a ,   E C   A N A L   C R O W D S O U R C I N ;   M a   W e i ,   2 0 0 8 ,   B U S I N E S S   T I M E S ;   W a n g   J i a ,   2 0 0 9 ,   C H I N A   B U S I N E S S     0 7 1 8 	 5 	 0 	 0 	 D E S T E C H   P U B L I C A T I O N S ,   I N C 	 L A N C A S T E R 	 4 3 9   D U K E   S T R E E T ,   L A N C A S T E R ,   P A   1 7 6 0 2 - 4 9 6 7   U S A 	 	 	 9 7 8 - 1 - 6 0 5 9 5 - 1 2 7 - 0 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 5 7 6 	 5 8 3 	 	 	 	 8 	 M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 B H X 1 6 	 W O S : 0 0 0 3 2 6 8 9 9 7 0 0 0 8 7 	 	 
 J 	 C h o ,   Y ;   J i ,   M ;   K i m ,   J ;   L e e ,   Y ;   P a r k ,   S ;   S h i n ,   B ;   L e e ,   T 	 	 	 I O N 	 C h o ,   Y o u n g s u ;   J i ,   M y u n g i n ;   K i m ,   J o o y o u n g ;   L e e ,   Y a n g k o o ;   P a r k ,   S a n g j o o n ;   S h i n ,   B e o m j u ;   L e e ,   T a i k j i n 	 	 	 W A R P - P :   W i r e l e s s   s i g n a l   A c q u i s i t i o n   w i t h   R e f e r e n c e   P o i n t   b y   u s i n g   s i m p l i f i e d   P D R   s y s t e m   c o n c e p t   a n d   p e r f o r m a n c e   a s s e s s m e n t 	 P R O C E E D I N G S   O F   T H E   I O N   2 0 1 3   P A C I F I C   P N T   M E E T I N G 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I O N   P a c i f i c   P N T   M e e t i n g 	 A P R   2 3 - 2 5 ,   2 0 1 3 	 H o n o l u l u ,   H I 	 I n s t   N a v 	 	 W a r - d r i v i n g ;   P D R ;   c r o w d s o u r c i n g ;   c o l l e c t ;   s u r v e y ;   i n d o o r ;   m a p ;   W A R P ;   p e d e s t r i a n 	 	 F o r   c o m m e r c i a l   W i - F i   l o c a l i z a t i o n ,   t h e   c o n s t r u c t i o n   o f   p r e c i s e   f i n g e r p r i n t   D B   o r   A P   p o s i t i o n   D B   i s   v e r y   i m p o r t a n t .   W h i l e   v a r i o u s   w i r e l e s s   s i g n a l   s u r v e y i n g   m e t h o d s   s u c h   a s   w a r   d r i v i n g   a n d   u s e r   g e n e r a t e d   c r o w d s o u r c i n g   c a n   b e   a p p l i e d   i n   o u t d o o r ,   c o s t - e f f i c i e n t   a n d   p r e c i s e   i n d o o r   w i r e l e s s   s i g n a l   s u r v e y i n g   a p p r o a c h e s   a r e   s p a r s e .   I n   t h i s   p a p e r ,   n o b l e   d y n a m i c   s u r v e y i n g   s y s t e m   u s i n g   s i m p l i f i e d   P D R   i s   s u g g e s t e d .   E v e n   t h o u g h   t h i s   p o s i t i o n i n g   p e r f o r m a n c e   i s   s i m i l a r   t o   t h a t   o f   s t a t i c   s u r v e y i n g ,   i t s   o u t s t a n d i n g   t i m e - s a v i n g   p e r f o r m a n c e   e n a b l e   i n d o o r   l o c a t i o n   b a s e d   s e r v i c e   p r o v i d e r s   t o   b u i l d   t h e   l o c a t i o n   D B   a s   q u i c k l y   a s   p o s s i b l e . 	 [ C h o ,   Y o u n g s u ;   J i ,   M y u n g i n ;   K i m ,   J o o y o u n g ;   L e e ,   Y a n g k o o ;   P a r k ,   S a n g j o o n ]   E l e c t   &   T e l e c o m m u n   R e s   I n s t ,   P o s i t i o n i n g   &   N a v   T e c h n o l   R e s   S e c t ,   T a e j o n ,   S o u t h   K o r e a 	 C h o ,   Y   ( r e p r i n t   a u t h o r ) ,   E l e c t   &   T e l e c o m m u n   R e s   I n s t ,   P o s i t i o n i n g   &   N a v   T e c h n o l   R e s   S e c t ,   T a e j o n ,   S o u t h   K o r e a . 	 c h o y s @ e t r i . r e . k r ;   m y u n g i n @ e t r i . r e . k r ;   y k _ l e e @ e t r i . r e . k r ;   s a n g j o o n @ e t r i . r e . k r ;   b j s h i n @ k i s t . r e . k r ;   t a i k j i n @ k i s t . r e . k r 	 	 	 	 	 C h e n g   Y . C . ,   2 0 0 5 ,   P   3   I N T   C   M O B   S Y S T   A ;   L e d l i e   J . ,   2 0 1 1 ,   I N D O O R   P O S I T I O N I N G   I ,   P 1 ;   M i r o w s k i   P . ,   2 0 1 2 ,   J   L O C A T I O N   B A S E D   S E R ;   T s u i   A W ,   2 0 1 0 ,   I E E E   T   M O B I L E   C O M P U T ,   V 9 ,   P 1 5 5 1 ,   D O I   1 0 . 1 1 0 9 / T M C . 2 0 1 0 . 1 2 1 	 4 	 0 	 0 	 I N S T   N A V I G A T I O N 	 W A S H I N G T O N 	 8 1 5   1 5 T H   S T   N W ,   S T E   8 3 2 ,   W A S H I N G T O N ,   D C   2 0 0 0 5   U S A 	 	 	 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 6 4 5 	 6 5 0 	 	 	 	 6 	 R e m o t e   S e n s i n g 	 R e m o t e   S e n s i n g 	 B H Z 1 5 	 W O S : 0 0 0 3 2 7 0 6 4 5 0 0 0 7 1 	 	 
 S 	 T r u s h k o w s k y ,   B ;   K r a s k a ,   T ;   F r a n k l i n ,   M J ;   S a r k a r ,   P 	 	 	 I E E E 	 T r u s h k o w s k y ,   B e t h ;   K r a s k a ,   T i m ;   F r a n k l i n ,   M i c h a e l   J . ;   S a r k a r ,   P u r n a m r i t a 	 	 	 C r o w d s o u r c e d   E n u m e r a t i o n   Q u e r i e s 	 2 0 1 3   I E E E   2 9 T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   D A T A   E N G I N E E R I N G   ( I C D E ) 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   D a t a   E n g i n e e r i n g 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 2 9 t h   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   D a t a   E n g i n e e r i n g   ( I C D E ) 	 A P R   0 8 - 1 2 ,   2 0 1 3 	 B r i s b a n e ,   A U S T R A L I A 	 I E E E ,   I E E E   C o m p   S o c ,   I E E E   T e c h   C o m m   D a t a   E n g n ,   S A P ,   M i c r o s o f t ,   T o u r i s m   &   E v e n t s   Q u e e n s l a n d ,   H P ,   U n i v   Q u e e n s l a n d ,   C S I R O ,   R M I T   U n i v ,   O r a c l e   L a b s ,   R e n m i n   U n i v ,   S A   C t r   B i g   D a t a   R e s ,   U n i v   M e l b o u r n e ,   N I C T A ,   G o o g l e ,   N E C ,   F a c e b o o k ,   U n i v   N e w   S   W a l e s 	 	 	 N U M B E R 	 H y b r i d   h u m a n / c o m p u t e r   d a t a b a s e   s y s t e m s   p r o m i s e   t o   g r e a t l y   e x p a n d   t h e   u s e f u l n e s s   o f   q u e r y   p r o c e s s i n g   b y   i n c o r p o r a t i n g   t h e   c r o w d   f o r   d a t a   g a t h e r i n g   a n d   o t h e r   t a s k s .   S u c h   s y s t e m s   r a i s e   m a n y   i m p l e m e n t a t i o n   q u e s t i o n s .   P e r h a p s   t h e   m o s t   f u n d a m e n t a l   q u e s t i o n   i s   t h a t   t h e   c l o s e d   w o r l d   a s s u m p t i o n   u n d e r l y i n g   r e l a t i o n a l   q u e r y   s e m a n t i c s   d o e s   n o t   h o l d   i n   s u c h   s y s t e m s .   A s   a   c o n s e q u e n c e   t h e   m e a n i n g   o f   e v e n   s i m p l e   q u e r i e s   c a n   b e   c a l l e d   i n t o   q u e s t i o n .   F u r t h e r m o r e ,   q u e r y   p r o g r e s s   m o n i t o r i n g   b e c o m e s   d i f f i c u l t   d u e   t o   n o n - u n i f o r m i t i e s   i n   t h e   a r r i v a l   o f   c r o w d s o u r c e d   d a t a   a n d   p e c u l i a r i t i e s   o f   h o w   p e o p l e   w o r k   i n   c r o w d s o u r c i n g   s y s t e m s .   T o   a d d r e s s   t h e s e   i s s u e s ,   w e   d e v e l o p   s t a t i s t i c a l   t o o l s   t h a t   e n a b l e   u s e r s   a n d   s y s t e m s   d e v e l o p e r s   t o   r e a s o n   a b o u t   q u e r y   c o m p l e t e n e s s .   T h e s e   t o o l s   c a n   a l s o   h e l p   d r i v e   q u e r y   e x e c u t i o n   a n d   c r o w d s o u r c i n g   s t r a t e g i e s .   W e   e v a l u a t e   o u r   t e c h n i q u e s   u s i n g   e x p e r i m e n t s   o n   a   p o p u l a r   c r o w d s o u r c i n g   p l a t f o r m . 	 [ T r u s h k o w s k y ,   B e t h ;   K r a s k a ,   T i m ;   F r a n k l i n ,   M i c h a e l   J . ;   S a r k a r ,   P u r n a m r i t a ]   U n i v   C a l i f   B e r k e l e y ,   A M P L a b ,   B e r k e l e y ,   C A   U S A 	 T r u s h k o w s k y ,   B   ( r e p r i n t   a u t h o r ) ,   U n i v   C a l i f   B e r k e l e y ,   A M P L a b ,   B e r k e l e y ,   C A   U S A . 	 t r u s h @ c s . b e r k e l e y . e d u ;   k r a s k a @ c s . b e r k e l e y . e d u ;   f r a n k l i n @ c s . b e r k e l e y . e d u ;   p s a r k a r @ c s . b e r k e l e y . e d u 	 	 	 	 	 B a r o w y   D .   W . ,   2 0 1 1 ,   A U T O M A N   P L A T F O R M   I N T ;   B a r - Y o s s e f   Z ,   2 0 1 1 ,   A C M   T   W E B ,   V 5 ,   D O I   1 0 . 1 1 4 5 / 2 0 1 9 6 4 3 . 2 0 1 9 6 4 5 ;   B e r n s t e i n   M .   S . ,   2 0 1 1 ,   P   U I S T ;   B r o d e r   A . ,   2 0 0 6 ,   P   C I K M ;   B u n g e   J . ,   1 9 9 3 ,   J   A M   S T A T   A S S ,   V 8 8 ;   B U N G E   J ,   1 9 9 5 ,   J   A P P L   S T A T ,   V 2 2 ,   P 4 5 ,   D O I   1 0 . 1 0 8 0 / 7 5 7 5 8 4 3 9 7 ;   B u r n h a m   K . ,   1 9 7 8 ,   B I O M E T R I K A ,   V 6 5 ;   C h a o   A ,   2 0 0 5 ,   S P E C I E S   R I C H N E S S   E S T ;   C h a o   A . ,   1 9 8 4 ,   S J S ,   V 1 1 ;   C H A O   A ,   1 9 9 2 ,   J   A M   S T A T   A S S O C ,   V 8 7 ,   P 2 1 0 ,   D O I   1 0 . 2 3 0 7 / 2 2 9 0 4 7 1 ;   C h a r i k a r   M . ,   2 0 0 0 ,   P   P O D S ;   C h e n   K . - T . ,   2 0 0 9 ,   A C M   M U L T I M E D I A ;   C o l w e l l   R .   K . ,   1 9 9 4 ,   P H I L O S   T   B I O L   S C I ,   V 3 4 5 ;   C o l w e l l   R .   K . ,   2 0 0 4 ,   E C O L O G Y ,   V 8 5 ;   D o a n   A . ,   2 0 1 1 ,   P V L D B ,   V 4 ;   F e n g   A . ,   2 0 1 1 ,   P V L D B ,   V 4 ;   F r a n k l i n   M .   J . ,   2 0 1 1 ,   P   S I G M O D ;   G o o d   I .   J . ,   1 9 5 3 ,   B I O M E T R I K A ,   V 4 0 ;   G r a y   J . ,   1 9 9 4 ,   P   S I G M O D ;   H a a s   P .   J . ,   1 9 9 5 ,   P   V L D B ;   H e e r   J . ,   2 0 1 0 ,   P   C H I ;   I p e i r o t i s   P .   G . ,   2 0 1 0 ,   P   H C O M P ;   L i a n g   J . ,   2 0 0 8 ,   E S T I M A T I O N   M E T H O D S   S ;   L i c k l i d e r   J .   C .   R . ,   1 9 6 0 ,   I R E   T   H U M A N   F A C T O R S ,   V 1 ;   L i u   K . - L . ,   2 0 0 2 ,   P   C I K M ;   L u   J G ,   2 0 1 0 ,   I N F O R M   R E T R I E V A L ,   V 1 3 ,   P 7 0 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 9 1 - 0 0 9 - 9 1 0 7 - y ;   M a r c u s   A . ,   2 0 1 1 ,   P   C I D R ;   P a r a m e s w a r a n   A . ,   2 0 1 1 ,   D E C O   D E C L A R A T I V E   C R O ;   P a r a m e s w a r a n   A . ,   2 0 1 1 ,   P   C I D R ;   S h e n   T . ,   2 0 0 3 ,   E C O L O G Y ,   V 8 4 ;   S h l o s s e r   A . ,   1 9 8 1 ,   E N G   C Y B E R N E T I C S ,   V 1 9 ;   W e l i n d e r   P . ,   2 0 1 0 ,   P   N I P S 	 3 2 	 2 	 2 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 0 8 4 - 4 6 2 7 	 	 9 7 8 - 1 - 4 6 7 3 - 4 9 0 9 - 3 ;   9 7 8 - 1 - 4 6 7 3 - 4 9 0 8 - 6 	 P R O C   I N T   C O N F   D A T A 	 	 	 2 0 1 3 	 	 	 	 	 	 	 6 7 3 	 6 8 4 	 	 	 	 1 2 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 B H V 3 6 	 W O S : 0 0 0 3 2 6 7 3 3 5 0 0 0 5 9 	 	 
 S 	 Z h o u ,   X K ;   C h e n ,   K ;   W u ,   S ;   Z h a n g ,   B B 	 	 	 I E E E 	 Z h o u ,   X i a n k e ;   C h e n ,   K e ;   W u ,   S a i ;   Z h a n g ,   B i n g b i n g 	 	 	 C r o w d - A n s w e r i n g   S y s t e m   v i a   M i c r o b l o g g i n g 	 2 0 1 3   I E E E   2 9 T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   D A T A   E N G I N E E R I N G   ( I C D E ) 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   D a t a   E n g i n e e r i n g 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 2 9 t h   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   D a t a   E n g i n e e r i n g   ( I C D E ) 	 A P R   0 8 - 1 2 ,   2 0 1 3 	 B r i s b a n e ,   A U S T R A L I A 	 I E E E ,   I E E E   C o m p   S o c ,   I E E E   T e c h   C o m m   D a t a   E n g n ,   S A P ,   M i c r o s o f t ,   T o u r i s m   &   E v e n t s   Q u e e n s l a n d ,   H P ,   U n i v   Q u e e n s l a n d ,   C S I R O ,   R M I T   U n i v ,   O r a c l e   L a b s ,   R e n m i n   U n i v ,   S A   C t r   B i g   D a t a   R e s ,   U n i v   M e l b o u r n e ,   N I C T A ,   G o o g l e ,   N E C ,   F a c e b o o k ,   U n i v   N e w   S   W a l e s 	 	 	 	 M o s t   c r o w d s o u r c i n g   s y s t e m s   l e v e r a g e   t h e   p u b l i c   p l a t f o r m s ,   s u c h   a s   A m a z o n   M e c h a n i c a l   T u r k   ( A M T ) ,   t o   p u b l i s h   t h e i r   j o b s   a n d   c o l l e c t   t h e   r e s u l t s .   T h e y   a r e   c h a r g e d   f o r   u s i n g   t h e   p l a t f o r m ' s   s e r v i c e   a n d   t h e y   a r e   a l s o   r e q u i r e d   t o   p a y   t h e   w o r k e r s   f o r   e a c h   s u c c e s s f u l   j o b .   A l t h o u g h   t h e   a v e r a g e   w a g e   o f   t h e   o n l i n e   h u m a n   w o r k e r   i s   n o t   h i g h ,   f o r   a   2 4 x 7   r u n n i n g   s e r v i c e ,   t h e   c r o w d s o u r c i n g   s y s t e m   b e c o m e s   v e r y   e x p e n s i v e   t o   m a i n t a i n .   W e   o b s e r v e   t h a t   t h e r e   a r e ,   i n   f a c t ,   m a n y   s o u r c e s   t h a t   c a n   p r o v i d e   f r e e   o n l i n e   h u m a n   v o l u n t e e r s .   M i c r o b l o g g i n g   s y s t e m   i s   o n e   o f   t h e   m o s t   p r o m i s i n g   h u m a n   r e s o u r c e s .   I n   t h i s   p a p e r ,   w e   p r e s e n t   o u r   C r o w d A n s w e r   s y s t e m ,   w h i c h   i s   b u i l t   o n   t o p   o f   W e i b o ,   t h e   l a r g e s t   m i c r o b l o g g i n g   s y s t e m   i n   C h i n a .   C r o w d A n s w e r   i s   a   q u e s t i o n - a n s w e r i n g   s y s t e m ,   w h i c h   d i s t r i b u t e s   v a r i o u s   q u e s t i o n s   t o   d i f f e r e n t   g r o u p s   o f   m i c r o b l o g g i n g   u s e r s   a d a p t i v e l y .   T h e   a n s w e r s   a r e   t h e n   c o l l e c t e d   f r o m   t h o s e   u s e r s '   t w e e t s   a n d   v i s u a l i z e d   f o r   t h e   q u e s t i o n   o r i g i n a t o r .   C r o w d A n s w e r   m a i n t a i n s   a   v i r t u a l   c r e d i t   s y s t e m .   T h e   u s e r s   n e e d   c r e d i t s   t o   p u b l i s h   q u e s t i o n s   a n d   t h e y   c a n   g a i n   c r e d i t s   b y   a n s w e r i n g   t h e   q u e s t i o n s .   A   n o v e l   a l g o r i t h m   i s   p r o p o s e d   t o   r o u t e   t h e   q u e s t i o n s   t o   t h e   i n t e r e s t e d   u s e r s ,   w h i c h   t r i e s   t o   m a x i m i z e   t h e   p r o b a b i l i t y   o f   s u c c e s s f u l l y   a n s w e r i n g   a   q u e s t i o n . 	 [ Z h o u ,   X i a n k e ;   C h e n ,   K e ;   W u ,   S a i ;   Z h a n g ,   B i n g b i n g ]   Z h e j i a n g   U n i v ,   C o l l   C o m p   S c i ,   H a n g z h o u   3 1 0 0 2 7 ,   Z h e j i a n g ,   P e o p l e s   R   C h i n a 	 Z h o u ,   X K   ( r e p r i n t   a u t h o r ) ,   Z h e j i a n g   U n i v ,   C o l l   C o m p   S c i ,   H a n g z h o u   3 1 0 0 2 7 ,   Z h e j i a n g ,   P e o p l e s   R   C h i n a . 	 x i a n k z @ z j u . e d u . c n ;   c h e n k @ z j u . e d u . c n ;   w u s a i @ z j u . e d u . c n ;   b b z @ z j u . e d u . c n 	 	 	 	 	 [ A n o n y m o u s ] ,   1 9 8 9 ,   O R S A   J   C O M P U T I N G ,   P 1 9 0 ;   [ A n o n y m o u s ] ,   1 9 8 6 ,   I N T R O   M O D E R N   I N F O R M ;   A t t a r d i   G . ,   2 0 0 1 ,   T R E C ;   C h e n   C h u n ,   2 0 1 1 ,   S I G M O D   C   1 1 ,   P 6 4 9 ;   K a t z   B . ,   2 0 0 6 ,   F L A I R S   C ,   P 3 0 3 ;   N a j a r   A . ,   2 0 1 2 ,   W W W ,   P 1 1 9 7 ;   S k i e n a   S .   S . ,   1 9 9 7 ,   L A S T   M O D I F I E D ;   Y a n g   J . ,   2 0 1 0 ,   I C D M ,   P 5 9 9 	 8 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 0 8 4 - 4 6 2 7 	 	 9 7 8 - 1 - 4 6 7 3 - 4 9 0 9 - 3 ;   9 7 8 - 1 - 4 6 7 3 - 4 9 0 8 - 6 	 P R O C   I N T   C O N F   D A T A 	 	 	 2 0 1 3 	 	 	 	 	 	 	 1 2 8 4 	 1 2 8 7 	 	 	 	 4 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 B H V 3 6 	 W O S : 0 0 0 3 2 6 7 3 3 5 0 0 1 1 9 	 	 
 B 	 C h a v e z - A r a g o n ,   A ;   L e e ,   W S ;   V y a s ,   A 	 	 	 I E E E 	 C h a v e z - A r a g o n ,   A l b e r t o ;   L e e ,   W o n - S o o k ;   V y a s ,   A s e e m 	 	 	 A   C r o w d s o u r c i n g   W e b   P l a t f o r m   -   H i p   J o i n t   S e g m e n t a t i o n   b y   N o n - E x p e r t   C o n t r i b u t o r s 	 2 0 1 3   I E E E   I N T E R N A T I O N A L   S Y M P O S I U M   O N   M E D I C A L   M E A S U R E M E N T S   A N D   A P P L I C A T I O N S   P R O C E E D I N G S   ( M E M E A ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 8 t h   I E E E   I n t e r n a t i o n a l   S y m p o s i u m   o n   M e d i c a l   M e a s u r e m e n t s   a n d   A p p l i c a t i o n s   ( M e M e A ) 	 M A Y   0 4 - 0 5 ,   2 0 1 3 	 G a t i n e a u ,   C A N A D A 	 I E E E ,   I E E E   I n s t r u m e n t a t   &   M e a s u r e m e n t   S o c ,   I E E E   O t t a w a   S e c t ,   C a r l e t o n   U n i v ,   U   O t t a w a ,   N o r d o c s 	 U n i v   Q u e b e c   O u t a o u a i s 	 s e g m e n t a t i o n ;   M R I ;   h i p   j o i n t ;   m e d i c a l ;   i m a g i n g ;   c r o w d s o u r c i n g 	 F E M O R O A C E T A B U L A R   I M P I N G E M E N T 	 I n   t h i s   p a p e r   a   c r o w d s o u r c i n g   w e b   p l a t f o r m   f o r   t h e   i n t e r a c t i v e   s e g m e n t a t i o n   o f   h i p   j o i n t   s t r u c t u r e s   i s   i n t r o d u c e d .   T h e   s y s t e m   c o l l e c t s   i n f o r m a t i o n   o n   h o w   n o n e x p e r t   v o l u n t e e r s   s e g m e n t   a n a t o m i c a l   c o m p o n e n t s   f r o m   M R   I m a g e s ,   t h e r e b y   f o r m i n g   a   k n o w l e d g e   b a s e   o n   t h e   s o l u t i o n   o f   t h i s   t y p e   o f   p r o b l e m s .   T h e   i n f o r m a t i o n   c o l l e c t e d   p e r m i t s   t o   d e t e r m i n e   t u n i n g   p a r a m e t e r s   f o r   a u t o m a t i c   a n d   s e m i - a u t o m a t i c   s e g m e n t a t i o n   a p p r o a c h e s ,   a n d   i t   p r o v i d e s   d a t a   f o r   t r a i n i n g   a u t o m a t i c   s e g m e n t a t i o n   a l g o r i t h m s .   T h e   f i n d i n g s   o n   t h e   h u m a n - c o m p u t e r   i n t e r a c t i o n   p r o c e s s   c a n   b e   a p p l i e d   i n   t h e   d e s i g n   o f   u s e r   i n t e r f a c e s   f o r   m a n u a l   a n d   s e m i - a u t o m a t i c   i n t e r a c t i v e   s e g m e n t a t i o n   t o o l s . 	 [ C h a v e z - A r a g o n ,   A l b e r t o ;   L e e ,   W o n - S o o k ;   V y a s ,   A s e e m ]   U n i v   O t t a w a ,   S c h   E l e c t   E n g n   &   C o m p   S c i ,   O t t a w a ,   O N ,   C a n a d a 	 C h a v e z - A r a g o n ,   A   ( r e p r i n t   a u t h o r ) ,   U n i v   O t t a w a ,   S c h   E l e c t   E n g n   &   C o m p   S c i ,   O t t a w a ,   O N ,   C a n a d a . 	 a c h a v e z @ u o t t a w a . c a ;   w s l e e @ u o t t a w a . c a ;   a v y a s 0 2 5 @ u o t t a w a . c a 	 	 	 	 	 A l v a r e z   L . ,   2 0 1 0 ,   C O M P U T E R   V I S I O N   P A T T ;   A m a z o n ,   2 0 0 5 ,   A M   M E C H   T U R K ;   [ A n o n y m o u s ] ,   2 0 1 2 ,   R E C A P T C H A ;   C a i   D ,   2 0 0 9 ,   R E C E N T   A D V A N C E S   I N   T H E   3 D   P H Y S I O L O G I C A L   H U M A N ,   P 1 7 9 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 1 - 8 4 8 8 2 - 5 6 5 - 9 _ 1 2 ;   G a n z   R ,   2 0 0 3 ,   C L I N   O R T H O P   R E L A T   R ,   P 1 1 2 ,   D O I   1 0 . 1 0 9 7 / 0 1 . b l o . 0 0 0 0 0 9 6 8 0 4 . 7 8 6 8 9 . c 2 ;   L a w   E . ,   2 0 1 1 ,   H U M A N   C O M P U T A T I O N ,   P 1 2 1 ;   O l a b a r r i a g a   S D ,   2 0 0 1 ,   M E D   I M A G E   A N A L ,   V 5 ,   P 1 2 7 ,   D O I   1 0 . 1 0 1 6 / S 1 3 6 1 - 8 4 1 5 ( 0 0 ) 0 0 0 4 1 - 4 ;   O p e n C V ,   2 0 1 2 ,   O P   S O U R C   C O M P   V I S   L I ;   R e z a   A .   Z . ,   2 0 0 3 ,   I E E E   T   I N F   T E C H N O L   B ,   V 7 ,   P 3 2 9 ;   S t o c k   D .   G . ,   1 9 9 9 ,   I E E E   I N T E L L I G E N T   S Y S ;   S t o r k   D .   G . ,   2 0 0 0 ,   A A A I   W O R K S H   L E A R N   I M ;   T s a i   A ,   2 0 0 3 ,   I E E E   T   M E D   I M A G I N G ,   V 2 2 ,   P 1 3 7 ,   D O I   1 0 . 1 1 0 9 / T M I . 2 0 0 2 . 8 0 8 3 5 5 ;   v o n   A h n   L . ,   2 0 0 4 ,   C o m m u n i c a t i o n s   o f   t h e   A C M ,   V 4 7 ,   D O I   1 0 . 1 1 4 5 / 9 6 6 3 8 9 . 9 6 6 3 9 0 ;   v o n   A h n   L ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 1 ,   P 1 4 6 5 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 0 3 7 9 ;   W i s n i e w s k i   S J ,   2 0 0 6 ,   A M   J   P H Y S   M E D   R E H A B ,   V 8 5 ,   P 5 4 6 ,   D O I   1 0 . 1 0 9 7 / 0 1 . p h m . 0 0 0 0 2 1 9 1 4 8 . 0 0 5 4 9 . e 8 	 1 5 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 6 7 3 - 5 1 9 7 - 3 ;   9 7 8 - 1 - 4 6 7 3 - 5 1 9 5 - 9 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 3 5 0 	 3 5 4 	 	 	 	 5 	 E n g i n e e r i n g ,   B i o m e d i c a l ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   I n s t r u m e n t s   &   I n s t r u m e n t a t i o n 	 E n g i n e e r i n g ;   I n s t r u m e n t s   &   I n s t r u m e n t a t i o n 	 B H V 5 7 	 W O S : 0 0 0 3 2 6 7 4 8 0 0 0 0 7 2 	 	 
 J 	 Y a n g ,   S ;   D e s s a i ,   P ;   V e r m a ,   M ;   G e r l a ,   M 	 	 	 I E E E 	 Y a n g ,   S u n g w o n ;   D e s s a i ,   P r a l a v ;   V e r m a ,   M a n s i ;   G e r l a ,   M a r i o 	 	 	 F r e e L o c :   C a l i b r a t i o n - F r e e   C r o w d s o u r c e d   I n d o o r   L o c a l i z a t i o n 	 2 0 1 3   P R O C E E D I N G S   I E E E   I N F O C O M 	 I E E E   I N F O C O M 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 3 2 n d   I E E E   I N F O C O M   C o n f e r e n c e 	 A P R   1 4 - 1 9 ,   2 0 1 3 	 T u r i n ,   I T A L Y 	 I E E E 	 	 	 	 M a n y   i n d o o r   l o c a l i z a t i o n   t e c h n i q u e s   t h a t   r e l y   o n   R F   s i g n a l s   f r o m   w i r e l e s s   A c c e s s   P o i n t s   h a v e   b e e n   p r o p o s e d   i n   t h e   l a s t   d e c a d e .   I n   r e c e n t   y e a r s ,   r e s e a r c h   o n   c r o w d s o u r c e d   ( a l s o   k n o w n   a s   " O r g a n i c " )   W i - F i   f i n g e r p r i n t   p o s i t i o n i n g   s y s t e m s   h a s   b e e n   a t t r a c t i n g   m u c h   a t t e n t i o n .   T h i s   p a r t i c i p a t o r y   a p p r o a c h   i n t r o d u c e s   n e w   c h a l l e n g e s   t h a t   n o   p r e v i o u s l y   p r o p o s e d   t e c h n i q u e s   h a v e   t a k e n   i n t o   a c c o u n t .   T h i s   p a p e r   p r o p o s e s   " F r e e L o c " ,   a n   e f f i c i e n t   l o c a l i z a t i o n   m e t h o d   a d d r e s s i n g   t h r e e   m a j o r   t e c h n i c a l   i s s u e s   p o s e d   i n   c r o w d s o u r c i n g   b a s e d   s y s t e m s .   O u r   n o v e l   s o l u t i o n   f a c i l i t a t e s   1 )   e x t r a c t i n g   a c c u r a t e   f i n g e r p r i n t   v a l u e s   f r o m   s h o r t   R S S   m e a s u r e m e n t   t i m e s   2 )   c a l i b r a t i o n - f r e e   p o s i t i o n i n g   a c r o s s   d i f f e r e n t   d e v i c e s   a n d   3 )   m a i n t a i n i n g   a   s i n g l e   f i n g e r p r i n t   f o r   e a c h   l o c a t i o n   i n   a   r a d i o   m a p ,   i r r e s p e c t i v e   o f   a n y   n u m b e r   o f   u p l o a d e d   d a t a   s e t s   f o r   a   g i v e n   l o c a t i o n .   T h r o u g h   e x p e r i m e n t s   u s i n g   f o u r   d i f f e r e n t   s m a r t p h o n e s ,   w e   e v a l u a t e   o u r   n e w   i n d o o r   p o s i t i o n i n g   m e t h o d .   T h e   e x p e r i m e n t a l   r e s u l t s   c o n f i r m   t h a t   t h e   p r o p o s e d   s c h e m e   p r o v i d e s   c o n s i s t e n t   l o c a l i z a t i o n   a c c u r a c y   i n   a n   e n v i r o n m e n t   w h e r e   t h e   d e v i c e   h e t e r o g e n e i t y   a n d   t h e   m u l t i p l e   s u r v e y o r   p r o b l e m s   e x i s t . 	 [ Y a n g ,   S u n g w o n ;   D e s s a i ,   P r a l a v ;   V e r m a ,   M a n s i ;   G e r l a ,   M a r i o ]   U n i v   C a l i f   L o s   A n g e l e s ,   D e p t   C o m p   S c i ,   L o s   A n g e l e s ,   C A   9 0 0 2 4   U S A 	 Y a n g ,   S   ( r e p r i n t   a u t h o r ) ,   U n i v   C a l i f   L o s   A n g e l e s ,   D e p t   C o m p   S c i ,   L o s   A n g e l e s ,   C A   9 0 0 2 4   U S A . 	 s w y a n g @ c s . u c l a . e d u ;   p d e s s a i @ c s . u c l a . e d u ;   m a n s i @ c s . u c l a . e d u ;   g e r l a @ c s . u c l a . e d u 	 	 	 	 	 B a h l   P . ,   I N F O C O M   2 0 0 0 ;   B o l l i g e r   P . ,   2 0 0 8 ,   M E L T   S A N   F R A N C   U S   S E ;   C a s t r o   P . ,   P   U B I C O M P   0 1 ;   G u   Y Y ,   2 0 0 9 ,   I E E E   C O M M U N   S U R V   T U T ,   V 1 1 ,   P 1 3 ,   D O I   1 0 . 1 1 0 9 / S U R V . 2 0 0 9 . 0 9 0 1 0 3 ;   H a e b e r l e n   A . ,   2 0 0 4 ,   P   M O B I C O M   0 4 ;   H a r t e r   A . ,   P   M O B I C O M   9 9 ;   H o n k a v i r t a   V . ,   P O S   N A V   C O M M   2 0 0 9   W P ;   J i n   G .   y a o ,   2 0 0 6 ,   S E N S   N E T W   U B   T R U S T W ,   V 1 ,   P 4 0 ;   K a e m a r u n g s i   K . ,   2 0 0 4 ,   M O B I Q U I T O U S ;   L a d d   A .   M . ,   P   M O B I C O M   0 2 ;   L e d l i e   J . ,   2 0 1 1 ,   I P I N ;   L e e   M . ,   2 0 1 0 ,   P E R C O M   W O R K S H ;   L i u   H . ,   2 0 0 7 ,   S Y S T E M S   M A N   C Y B E R N E T ,   V 3 7 ;   M o h a m m a d i   M . ,   2 0 1 1 ,   I N T   J ,   V 2 4 ,   P 1 ;   M o h a p a t r a   D . ,   P E R S   W I R   C O M M   2 0 0 5   I ;   N i   L . ,   2 0 0 3 ,   P E R C O M   2 0 0 3 ;   P a h l a v a n   K . ,   2 0 0 1 ,   P R I N C I P L E S   W I R E L E S S ;   P a r k   J . ,   2 0 1 1 ,   I N F O C O M ;   P a r k   J . - g . ,   P   M O B I S Y S   1 0 ;   P r i y a n t h a   N .   B . ,   P   M O B I C O M   0 0 ;   P r i y a n t h a   N .   B . ,   P   M O B I C O M   0 1 ;   R o o s   T . ,   2 0 0 2 ,   I N T   J   W I R E L E S S   I N F O R ,   V 9 ;   S m a i l a g i c   A . ,   2 0 0 0 ,   D E T E R M I N I N G   U S E R   L O C ,   V 1 5 2 1 3 ,   P 2 0 0 0 ;   S m i t h   I . ,   2 0 0 5 ,   P   3   I N T   C   P E R V   C O M P ;   T e l l e r   S . ,   2 0 0 8 ,   O R G A N I C   I N D O O R   L O C A T ;   T s u i   A .   W . ,   M O B   N E T W   A P P L ,   V 1 4 ;   W a n g   S . ,   2 0 0 8 ,   E L E C T R O N I C S ,   P 7 8 9 2 ;   W a n t   R . ,   A C M   T   I N F   S Y S T ,   V 1 0 ;   Z h a n g   D . ,   2 0 1 0 ,   F U T U R E T E C H 	 2 9 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 0 7 4 3 - 1 6 6 X 	 	 9 7 8 - 1 - 4 6 7 3 - 5 9 4 6 - 7 	 I E E E   I N F O C O M   S E R 	 	 	 2 0 1 3 	 	 	 	 	 	 	 2 4 8 1 	 2 4 8 9 	 	 	 	 9 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 B H Q 3 3 	 W O S : 0 0 0 3 2 6 3 3 5 2 0 2 0 6 8 	 	 
 J 	 Z h a n g ,   R ;   Z h a n g ,   J X ;   Z h a n g ,   Y C ;   Z h a n g ,   C 	 	 	 I E E E 	 Z h a n g ,   R u i ;   Z h a n g ,   J i n x u e ;   Z h a n g ,   Y a n c h a o ;   Z h a n g ,   C h i 	 	 	 S e c u r e   C r o w d s o u r c i n g - b a s e d   C o o p e r a t i v e   S p e c t r u m   S e n s i n g 	 2 0 1 3   P R O C E E D I N G S   I E E E   I N F O C O M 	 I E E E   I N F O C O M 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 3 2 n d   I E E E   I N F O C O M   C o n f e r e n c e 	 A P R   1 4 - 1 9 ,   2 0 1 3 	 T u r i n ,   I T A L Y 	 I E E E 	 	 	 C O G N I T I V E   R A D I O   N E T W O R K S ;   S P R E A D 	 C o o p e r a t i v e   ( s p e c t r u m )   s e n s i n g   i s   a   k e y   f u n c t i o n   f o r   d y n a m i c   s p e c t r u m   a c c e s s   a n d   i s   e s s e n t i a l   f o r   a v o i d i n g   i n t e r f e r e n c e   w i t h   l i c e n s e d   p r i m a r y   u s e r s   a n d   i d e n t i f y i n g   s p e c t r u m   h o l e s .   A   p r o m i s i n g   a p p r o a c h   f o r   e f f e c t i v e   c o o p e r a t i v e   s e n s i n g   o v e r   a   l a r g e   g e o g r a p h i c   r e g i o n   i s   t o   r e l y   o n   s p e c i a l   s p e c t r u m - s e n s i n g   p r o v i d e r s   ( S S P s ) ,   w h i c h   o u t s o u r c e   s p e c t r u m - s e n s i n g   t a s k s   t o   d i s t r i b u t e d   m o b i l e   u s e r s .   I t s   f e a s i b i l i t y   i s   d e e p l y   r o o t e d   i n   t h e   u b i q u i t o u s   p e n e t r a t i o n   o f   m o b i l e   d e v i c e s   i n t o   e v e r y d a y   l i f e .   C r o w d s o u r c i n g - b a s e d   c o o p e r a t i v e   s p e c t r u m   s e n s i n g   i s ,   h o w e v e r ,   v u l n e r a b l e   t o   m a l i c i o u s   s e n s i n g   d a t a   i n j e c t i o n   a t t a c k ,   i n   w h i c h   a   m a l i c i o u s   C R   u s e r s   s u b m i t   f a l s e   s e n s i n g   r e p o r t s   c o n t a i n i n g   p o w e r   m e a s u r e m e n t s   m u c h   l a r g e r   ( o r   s m a l l e r )   t h a n   t h e   t r u e   v a l u e   t o   i n f l a t e   ( o r   d e f l a t e )   t h e   f i n a l   a v e r a g e ,   i n   w h i c h   c a s e   t h e   S S P   m a y   f a l s e l y   d e t e r m i n e   t h a t   t h e   c h a n n e l   i s   b u s y   ( o r   v a c a n t ) .   I n   t h i s   p a p e r ,   w e   p r o p o s e   a   n o v e l   s c h e m e   t o   e n a b l e   s e c u r e   c r o w d s o u r c i n g - b a s e d   c o o p e r a t i v e   s p e c t r u m   s e n s i n g   b y   j o i n t l y   c o n s i d e r i n g   t h e   i n s t a n t a n e o u s   t r u s t w o r t h i n e s s   o f   m o b i l e   d e t e c t o r s   i n   c o m b i n a t i o n   w i t h   t h e i r   r e p u t a t i o n   s c o r e s   d u r i n g   d a t a   f u s i o n .   O u r   s c h e m e   c a n   e n a b l e   r o b u s t   c o o p e r a t i v e   s e n s i n g   e v e n   i f   t h e   m a l i c i o u s   C R   u s e r s   a r e   t h e   m a j o r i t y .   T h e   e f f i c a c y   a n d   e f f i c i e n c y   o f   o u r   s c h e m e   h a v e   b e e n   c o n f i r m e d   b y   e x t e n s i v e   s i m u l a t i o n   s t u d i e s . 	 [ Z h a n g ,   R u i ;   Z h a n g ,   J i n x u e ;   Z h a n g ,   Y a n c h a o ]   A r i z o n a   S t a t e   U n i v ,   T e m p e ,   A Z   8 5 0 6 9   U S A 	 Z h a n g ,   R   ( r e p r i n t   a u t h o r ) ,   A r i z o n a   S t a t e   U n i v ,   T e m p e ,   A Z   8 5 0 6 9   U S A . 	 r u i z h a n g @ a s u . e d u ;   j x z h a n g @ a s u . e d u ;   y c z h a n g @ a s u . e d u ;   c h i z h a n g @ u s t c . e d u . c n 	 	 	 	 	 A k y i l d i z   I .   F . ,   2 0 1 1 ,   P H Y S   C O M M U N I C A T I O N ,   V 4 ,   P 4 0 ,   D O I   D O I   1 0 . 1 0 1 6 / J . P H Y C O M . 2 0 1 0 . 1 2 . 0 0 3 ;   A l g a n s   A ,   2 0 0 2 ,   I E E E   J   S E L   A R E A   C O M M ,   V 2 0 ,   P 5 2 3 ,   D O I   1 0 . 1 1 0 9 / 4 9 . 9 9 5 5 1 1 ;   C h e n   R . ,   2 0 0 8 ,   I N F O C O M   2 0 0 8   2 7   C   C O ,   P 1 8 7 6 ;   C h e n   R ,   2 0 0 8 ,   I E E E   J   S E L   A R E A   C O M M ,   V 2 6 ,   P 2 5 ,   D O I   1 0 . 1 1 0 9 / J S A C . 2 0 0 8 . 0 8 0 1 0 4 ;   F a t e m i e h   O . ,   2 0 1 1 ,   A C S A C   1 1   O R L   F L ,   P 3 2 3 ;   F a t e m i e h   O . ,   2 0 1 0 ,   D Y S   P A N   1 0   S I N G   A P R ;   F a t e m i e h   O . ,   2 0 1 1 ,   N D S S   1 1   S A N   D I E G   C A ;   G e l m a n   A . ,   1 9 9 5 ,   B A Y E S I A N   D A T A   A N A L ;   K a l i g i n e e d i   P ,   2 0 0 8 ,   I E E E   I C C ,   P 3 4 0 6 ,   D O I   1 0 . 1 1 0 9 / I C C . 2 0 0 8 . 6 4 0 ;   K a m a k a r i s   T . ,   2 0 0 5 ,   D Y S P A N   0 5   N O V ,   P 2 8 9 ;   Z e n g   K ,   2 0 1 0 ,   I E E E   C O M M U N   L E T T ,   V 1 4 ,   P 2 2 6 ,   D O I   1 0 . 1 1 0 9 / L C O M M . 2 0 1 0 . 0 3 . 0 9 2 2 4 0 ;   L i   H S ,   2 0 1 0 ,   I E E E   T   W I R E L   C O M M U N ,   V 9 ,   P 3 5 5 4 ,   D O I   1 0 . 1 1 0 9 / T W C . 2 0 1 0 . 0 9 1 5 1 0 . 1 0 0 3 1 5 ;   L i u   S . ,   2 0 0 9 ,   I E E E   I N F O C O M   0 9   R I O ;   L i u   Y ,   2 0 1 0 ,   P   I E E E   S   S E C U R   P R I V ,   P 2 8 6 ,   D O I   1 0 . 1 1 0 9 / S P . 2 0 1 0 . 2 4 ;   M i n   A W ,   2 0 0 9 ,   I   C   N E T W O R K   P R O T O C O L ,   P 2 9 4 ,   D O I   1 0 . 1 1 0 9 / I C N P . 2 0 0 9 . 5 3 3 9 6 7 5 ;   M i n   A W ,   2 0 1 1 ,   I E E E   J   S E L   A R E A   C O M M ,   V 2 9 ,   P 3 4 9 ,   D O I   1 0 . 1 1 0 9 / J S A C . 2 0 1 1 . 1 1 0 2 0 8 ;   M u t l u   H . ,   2 0 0 8 ,   I N F O C O M   0 8   A P R ,   P 6 8 2 ;   P I C K H O L T Z   R L ,   1 9 8 2 ,   I E E E   T   C O M M U N ,   V 3 0 ,   P 8 5 5 ,   D O I   1 0 . 1 1 0 9 / T C O M . 1 9 8 2 . 1 0 9 5 5 3 3 ;   S c h w a r t z   M ,   2 0 0 5 ,   M O B I L E   W I R E L E S S   C O M M U N I C A T I O N S ,   P 1 ;   S h a n k a r   N . ,   2 0 0 5 ,   I E E E   D Y S P A N   0 5   B A L T ;   S h e l l h a m m e r   S . ,   2 0 0 6 ,   8 0 2 2 2 0 6 0 0 8 8 R 0   I E E E ;   S h e l l h a m m e r   S .   J . ,   2 0 0 6 ,   T A P A S   0 6   B O S T   M A ;   T a n d r a   R ,   2 0 0 8 ,   I E E E   J - S T S P ,   V 2 ,   P 4 ,   D O I   1 0 . 1 1 0 9 / J S T S P . 2 0 0 7 . 9 1 4 8 7 9 ;   W A L D   A . ,   2 0 0 4 ,   S E Q U E N T I A L   A N A L ;   Y a n   Q B ,   2 0 1 2 ,   2 0 1 2   P R O C E E D I N G S   I E E E   I N F O C O M ,   P 9 0 0 ;   Y a n g   L . ,   2 0 1 2 ,   J   M E C H   M E D   B I O L ,   V 1 2 ,   P 1 2 ;   Y u   F ,   2 0 0 9 ,   M I L C O M   0 9   O C T ;   Z h a n g   R . ,   2 0 1 1 ,   I E E E   I C D C S   1 1   M I N N   M ;   Z h a n g   Y C ,   2 0 0 7 ,   I E E E   T   P A R A L L   D I S T R ,   V 1 8 ,   P 1 1 3 4 ,   D O I   1 0 . 1 1 0 9 / T P D S . 2 0 0 7 . 1 0 4 3 ;   Z o u   Q Y ,   2 0 1 0 ,   I E E E   T   S I G N A L   P R O C E S ,   V 5 8 ,   P 6 2 6 6 ,   D O I   1 0 . 1 1 0 9 / T S P . 2 0 1 0 . 2 0 7 0 5 0 1 	 3 0 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 0 7 4 3 - 1 6 6 X 	 	 9 7 8 - 1 - 4 6 7 3 - 5 9 4 6 - 7 	 I E E E   I N F O C O M   S E R 	 	 	 2 0 1 3 	 	 	 	 	 	 	 2 5 2 6 	 2 5 3 4 	 	 	 	 9 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 B H Q 3 3 	 W O S : 0 0 0 3 2 6 3 3 5 2 0 2 0 7 3 	 	 
 B 	 H e m e t s b e r g e r ,   A 	 	 B e l k ,   R W ;   L l a m a s ,   R 	 	 H e m e t s b e r g e r ,   A n d r e a 	 	 	 C R O W D S O U R C I N G 	 R O U T L E D G E   C O M P A N I O N   T O   D I G I T A L   C O N S U M P T I O N 	 R o u t l e d g e   C o m p a n i o n s   i n   B u s i n e s s   M a n a g e m e n t   a n d   A c c o u n t i n g 	 	 E n g l i s h 	 A r t i c l e ;   B o o k   C h a p t e r 	 	 	 	 	 	 c o n s u m e r ;   c o - c r e a t i o n ;   c o n s u m e r   e n g a g e m e n t ;   c r o w d s o u r c i n g ;   u s e r   i n n o v a t i o n 	 O P E N - S O U R C E   C O M M U N I T I E S ;   O P E N   S O U R C E   S O F T W A R E ;   C O L L E C T I V E   I N N O V A T I O N ;   R E S E A R C H   D I R E C T I O N S ;   C O N S U M E R S ;   I N T E R N E T ;   C R E A T I O N ;   M O D E L ;   W O R K 	 	 [ H e m e t s b e r g e r ,   A n d r e a ]   U n i v   I n n s b r u c k ,   S c h   M a n a g e m e n t ,   A - 6 0 2 0   I n n s b r u c k ,   A u s t r i a 	 H e m e t s b e r g e r ,   A   ( r e p r i n t   a u t h o r ) ,   U n i v   P a r i s   0 9 ,   F - 7 5 7 7 5   P a r i s   1 6 ,   F r a n c e . 	 	 	 	 	 	 A d l e r   P S ,   2 0 0 8 ,   O R G A N   S C I ,   V 1 9 ,   P 3 5 9 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 7 0 . 0 2 9 3 ;   A g e r f a l k   P J ,   2 0 0 8 ,   M I S   Q U A R T ,   V 3 2 ,   P 3 8 5 ;   B e l k   R ,   2 0 1 0 ,   J   C O N S U M   R E S ,   V 3 6 ,   P 7 1 5 ,   D O I   1 0 . 1 0 8 6 / 6 1 2 6 4 9 ;   B o g e r s   M ,   2 0 1 0 ,   J   M A N A G E ,   V 3 6 ,   P 8 5 7 ,   D O I   1 0 . 1 1 7 7 / 0 1 4 9 2 0 6 3 0 9 3 5 3 9 4 4 ;   B o n a b e a u   E ,   2 0 0 9 ,   M I T   S L O A N   M A N A G E   R E V ,   V 5 0 ,   P 4 5 ;   C o v a   B ,   2 0 0 9 ,   M A R K E T I N G   T H E O R ,   V 9 ,   P 3 1 5 ,   D O I   1 0 . 1 1 7 7 / 1 4 7 0 5 9 3 1 0 9 3 3 8 1 4 4 ;   C z a r n i a w s k a   B . ,   1 9 9 7 ,   N A R R A T I N G   O R G   D R A M A S ;   C z a r n i a w s k a   B ,   2 0 0 4 ,   O R G A N I Z A T I O N ,   V 1 1 ,   P 7 7 3 ,   D O I   1 0 . 1 1 7 7 / 1 3 5 0 8 4 0 4 0 4 7 2 5 1 ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   G R A N O V E T . M S ,   1 9 7 3 ,   A M   J   S O C I O L ,   V 7 8 ,   P 1 3 6 0 ,   D O I   1 0 . 1 0 8 6 / 2 2 5 4 6 9 ;   G r i e r   D . A . ,   2 0 0 9 ,   T O O   S O O N   T E L L   E S S A Y S ;   H e m e t s b e r g e r   A ,   2 0 0 9 ,   O R G A N   S T U D ,   V 3 0 ,   P 9 8 7 ,   D O I   1 0 . 1 1 7 7 / 0 1 7 0 8 4 0 6 0 9 3 3 9 2 4 1 ;   H e m e t s b e r g e r   A ,   2 0 0 6 ,   M A N A G E   L E A R N ,   V 3 7 ,   P 1 8 7 ,   D O I   1 0 . 1 1 7 7 / 1 3 5 0 5 0 7 6 0 6 0 6 3 4 4 2 ;   H e m e t s b e r g e r   A ,   2 0 0 5 ,   A D V   C O N S U M   R E S ,   V 3 2 ,   P 6 5 3 ;   H e m e t s b e r g e r   A . ,   2 0 1 0 ,   V I R T   S T A K   D I A L   I N T   M ;   H e m e t s b e r g e r   A ,   2 0 0 2 ,   A D V   C O N S U M   R E S ,   V 2 9 ,   P 3 5 4 ;   H i m a n e n   P . ,   2 0 0 1 ,   H A C K E R   E T H I C   S P I R I T ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   H u b e r m a n   B A ,   2 0 0 9 ,   J   I N F   S C I ,   V 3 5 ,   P 7 5 8 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 0 9 3 4 6 7 8 6 ;   H u t t e r   J . ,   2 0 1 1 ,   C R E A T I V I T Y   I N N O V A T I O ,   V 2 0 ,   P 3 ;   J o u r e t   G ,   2 0 0 9 ,   H A R V A R D   B U S   R E V ,   V 8 7 ,   P 4 3 ;   K a u f m a n n   N . ,   2 0 1 1 ,   P   1 7   A M   C   I N F   S Y S T   D ;   K o z i n e t s   R V ,   2 0 1 0 ,   J   M A R K E T I N G ,   V 7 4 ,   P 7 1 ;   K o z i n e t s   R V ,   2 0 0 8 ,   J   M A C R O M A R K E T I N G ,   V 2 8 ,   P 3 3 9 ,   D O I   1 0 . 1 1 7 7 / 0 2 7 6 1 4 6 7 0 8 3 2 5 3 8 2 ;   L a k h a n i   K .   R . ,   2 0 0 0 ,   4 1 1 7   M I T   S L O A N   S C H   M ;   L a n z a r a   G . F . ,   2 0 0 5 ,   A C T O R   N E T W O R K   T H E O R Y ,   P 6 7 ;   L a t o u r   B ,   2 0 0 5 ,   R E A S S E M B L I N G   S O C I A L ;   L e e   G K ,   2 0 0 3 ,   O R G A N   S C I ,   V 1 4 ,   P 6 3 3 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 4 . 6 . 6 3 3 . 2 4 8 6 6 ;   L e i m e i s t e r   J M ,   2 0 0 9 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 6 ,   P 1 9 7 ,   D O I   1 0 . 2 7 5 3 / M I S 0 7 4 2 - 1 2 2 2 2 6 0 1 0 8 ;   M c G o n i g a l   J . ,   2 0 1 1 ,   R E A L I T Y   I S   B R O K E N   W H ;   M c G o n i g a l   J . ,   2 0 1 2 ,   R E A L I T Y   I S   B R O K E N   W H ;   S c h r o l l   R . ,   2 0 1 0 ,   A D V   C O N S U M   R E S ,   V 3 8 ,   P 1 ;   S u r o w i e c k i   J a m e s ,   2 0 0 5 ,   W I S D O M   C R O W D S ;   T a p s c o t t   D . ,   2 0 0 8 ,   G R O W N   D I G I T A L   N E T   G E ;   T a p s c o t t   D . ,   2 0 0 6 ,   W I K I N O M I C S   M A S S   C O L L ;   v a n   D o o r n   J ,   2 0 1 0 ,   J   S E R V   R E S - U S ,   V 1 3 ,   P 2 5 3 ,   D O I   1 0 . 1 1 7 7 / 1 0 9 4 6 7 0 5 1 0 3 7 5 5 9 9 ;   v o n   H i p p e l   E ,   2 0 0 3 ,   O R G A N   S C I ,   V 1 4 ,   P 2 0 9 ;   v o n   K r o g h   G ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 2 1 7 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 5 0 - 7 ;   Z h e n g   H C ,   2 0 1 1 ,   I N T   J   E L E C T R O N   C O M M ,   V 1 5 ,   P 5 7 ,   D O I   1 0 . 2 7 5 3 / J E C 1 0 8 6 - 4 4 1 5 1 5 0 4 0 2 ;   Z w i c k   D ,   2 0 0 8 ,   J   C O N S U M   C U L T ,   V 8 ,   P 1 6 3 ,   D O I   1 0 . 1 1 7 7 / 1 4 6 9 5 4 0 5 0 8 0 9 0 0 8 9 	 4 0 	 0 	 0 	 R O U T L E D G E 	 L O N D O N 	 1 1   N E W   F E T T E R   L A N E ,   L O N D O N   E C 4 P   4 E E ,   E N G L A N D 	 	 	 9 7 8 - 0 - 2 0 3 - 1 0 5 3 0 - 6 ;   9 7 8 - 0 - 4 1 5 - 6 7 9 9 2 - 3 	 R O U T L   C O M P A N I O N   B U S 	 	 	 2 0 1 3 	 	 	 	 	 	 	 1 5 9 	 1 7 0 	 	 	 	 1 2 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e ;   S o c i a l   I s s u e s 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e ;   S o c i a l   I s s u e s 	 B H Z 1 1 	 W O S : 0 0 0 3 2 7 0 6 2 9 0 0 0 1 5 	 	 
 B 	 C h u a n g ,   Y T ;   Y i ,   C W 	 	 	 I E E E 	 C h u a n g ,   Y i - T a ;   Y i ,   C h i h - W e i 	 	 	 S h o c k w a v e   M o d e l s   f o r   C r o w d s o u r c i n g - b a s e d   T r a f f i c   I n f o r m a t i o n   M i n i n g 	 2 0 1 3   I E E E   W I R E L E S S   C O M M U N I C A T I O N S   A N D   N E T W O R K I N G   C O N F E R E N C E   ( W C N C ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   W i r e l e s s   C o m m u n i c a t i o n s   a n d   N e t w o r k i n g   C o n f e r e n c e   ( W C N C ) 	 A P R   0 7 - 1 0 ,   2 0 1 3 	 S h a n g h a i ,   P E O P L E S   R   C H I N A 	 I E E E 	 	 C r o w d s o u r c i n g ;   s h o c k w a v e ;   p e n e t r a t i o n   r a t e 	 	 C r o w d s o u r c i n g   i s   a   n e w   t r e n d   f o r   p e r v a s i v e l y   d i s c o v e r i n g   t r a f f i c   i n f o r m a t i o n   d u e   t o   i t s   l o w   d e p l o y m e n t   a n d   m a i n t e n a n c e   c o s t   a s   c o m p a r e d   w i t h   t r a d i t i o n a l   i n f r a s t r u c t u r e - b a s e d   a p p r o a c h e s ,   e .   g . ,   l o o p   d e t e c t o r s   a n d   C C T V .   M i n i n g   t e c h n i q u e s   a n d   t h e   p e n e t r a t i o n   r a t e   o f   p a r t i c i p a t o r s   i n   t h e   d i s c o v e r y   p r o c e s s   a r e   t w o   m a j o r   i s s u e s   i n   s u c h   a p p r o a c h e s .   I n   t h i s   w o r k ,   w e   f i r s t   p o i n t   o u t   t h e   s h o c k w a v e   p h e n o m e n o n   o c c u r r i n g   i n   s i g n a l i z e d   t r a f f i c   c a n   b e   u s e d   t o   d i s c o v e r   u s e f u l   t r a f f i c   i n f o r m a t i o n   i n c l u d i n g   t r a f f i c   l i g h t   i n f o r m a t i o n   a n d   v e h i c l e   f l o w   i n f o r m a t i o n .   T o   r e d u c e   t h e   r e q u i r e m e n t   o n   t h e   p e n e t r a t i o n   r a t e ,   a   f o l d i n g   h e u r i s t i c   i s   p r o p o s e d .   T h e   p r o p o s e d   c o n c e p t s   a r e   v e r i f i e d   v i a   e x t e n s i v e   s i m u l a t i o n s ,   e s p e c i a l l y   o n   t h e   p e n e t r a t i o n   r a t e   i s s u e .   O u r   r e s u l t s   s h o w   t h a t   s h o c k w a v e   m o d e l s   a r e   u s e f u l   t o   e x t r a c t   t r a f f i c   i n f o r m a t i o n   f r o m   c r o w d s o u r c e d   d a t a ,   a n d   t h e   f o l d i n g   t e c h n i q u e   c a n   e f f e c t i v e l y   r e d u c e   t h e   r e q u i r e m e n t   o n   t h e   p e n e t r a t i o n   r a t e .   I t   i s   r e m a r k a b l e   t h a t   t h e   p r o p o s e d   a p p r o a c h   c a n   p r o v i d e   h i g h   q u a l i t y   i n f o r m a t i o n   e v e n   a t   a   p e n e t r a t i o n   r a t e   a s   l o w   a s   1 . 6 % . 	 [ C h u a n g ,   Y i - T a ;   Y i ,   C h i h - W e i ]   N a t l   C h i a o   T u n g   U n i v ,   D e p t   C o m p   S c i ,   H s i n c h u   3 0 0 1 0 ,   T a i w a n 	 C h u a n g ,   Y T   ( r e p r i n t   a u t h o r ) ,   N a t l   C h i a o   T u n g   U n i v ,   D e p t   C o m p   S c i ,   1 0 0 1   U n i v   R d ,   H s i n c h u   3 0 0 1 0 ,   T a i w a n . 	 y i @ c s . n c t u . e d u . t w 	 	 	 	 	 B a n   X G ,   2 0 1 1 ,   T R A N S P O R T   R E S   C - E M E R ,   V 1 9 ,   P 1 1 3 3 ,   D O I   1 0 . 1 0 1 6 / j . t r c . 2 0 1 1 . 0 1 . 0 0 2 ;   G e r o l i m i n i s   N . ,   2 0 1 1 ,   I E E E   T   I N T E L L   T R A N S P ,   P 1 ;   H e r r e r a   J C ,   2 0 1 0 ,   T R A N S P O R T   R E S   C - E M E R ,   V 1 8 ,   P 5 6 8 ,   D O I   1 0 . 1 0 1 6 / j . t r c . 2 0 0 9 . 1 0 . 0 0 6 ;   L I G H T H I L L   M J ,   1 9 5 5 ,   P R O C   R   S O C   L O N   S E R - A ,   V 2 2 9 ,   P 3 1 7 ,   D O I   1 0 . 1 0 9 8 / r s p a . 1 9 5 5 . 0 0 8 9 ;   M o s s e r i   G .   M .   S ,   I   T R A N S P   E N G   2 0 0 4   A N ,   P 1 ;   W u   X K ,   2 0 1 0 ,   T R A N S P O R T   R E S   C - E M E R ,   V 1 8 ,   P 6 2 6 ,   D O I   1 0 . 1 0 1 6 / j . t r c . 2 0 1 0 . 0 1 . 0 0 3 	 6 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 6 7 3 - 5 9 3 9 - 9 ;   9 7 8 - 1 - 4 6 7 3 - 5 9 3 8 - 2 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 4 6 5 9 	 4 6 6 4 	 	 	 	 6 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 B H O 2 3 	 W O S : 0 0 0 3 2 6 0 4 8 1 0 4 1 2 7 	 	 
 J 	 Z a r s k y ,   T Z 	 	 	 	 Z a r s k y ,   T a l   Z . 	 	 	 T R A N S P A R E N T   P R E D I C T I O N S 	 U N I V E R S I T Y   O F   I L L I N O I S   L A W   R E V I E W 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 P R I V A C Y ;   4 T H - A M E N D M E N T ;   L A W ;   S U R V E I L L A N C E 	 C a n   h u m a n   b e h a v i o r   b e   p r e d i c t e d ?   A   b r o a d   v a r i e t y   o f   g o v e r n m e n t a l   i n i t i a t i v e s   a r e   u s i n g   c o m p u t e r i z e d   p r o c e s s e s   t o   t r y .   V a s t   d a t a s e t s   o f   p e r s o n a l   i n f o r m a t i o n   e n h a n c e   t h e   a b i l i t y   t o   e n g a g e   i n   t h e s e   v e n t u r e s   a n d   t h e   a p p e t i t e   t o   p u s h   t h e m   f o r w a r d .   G o v e r n m e n t s   h a v e   a   d i s t i n c t   i n t e r e s t   i n   a u t o m a t e d   i n d i v i d u a l i z e d   p r e d i c t i o n s   t o   f o r e s e e   u n l a w f u l   a c t i o n s .   N o v e l   t e c h n o l o g i c a l   t o o l s ,   e s p e c i a l l y   d a t a - m i n i n g   a p p l i c a t i o n s ,   a r e   m a k i n g   g o v e r n m e n t a l   p r e d i c t i o n s   p o s s i b l e .   T h e   g r o w i n g   u s e   o f   p r e d i c t i v e   p r a c t i c e s   i s   g e n e r a t i n g   s e r i o u s   c o n c e r n s   r e g a r d i n g   t h e   l a c k   o f   t r a n s p a r e n c y .   A l t h o u g h   e c h o e d   a c r o s s   t h e   p o l i c y ,   l e g a l ,   a n d   a c a d e m i c   d e b a t e ,   t h e   n a t u r e   o f   t r a n s p a r e n c y ,   i n   t h i s   c o n t e x t ,   i s   u n c l e a r .   T r a n s p a r e n c y   f l o w s   f r o m   d i f f e r e n t ,   e v e n   c o m p e t i n g ,   r a t i o n a l e s ,   a s   w e l l   a s   v e r y   d i f f e r e n t   l e g a l   a n d   p h i l o s o p h i c a l   b a c k g r o u n d s .   T h i s   A r t i c l e   s e t s   f o r t h   a   u n i q u e   a n d   c o m p r e h e n s i v e   c o n c e p t u a l   f r a m e w o r k   f o r   u n d e r s t a n d i n g   t h e   r o l e   t r a n s p a r e n c y   m u s t   p l a y   a s   a   r e g u l a t o r y   c o n c e p t   i n   t h e   c r u c i a l   a n d   i n n o v a t i v e   r e a l m   o f   a u t o m a t e d   p r e d i c t i v e   m o d e l i n g .   P a r t   I I   b e g i n s   b y   b r i e f l y   d e s c r i b i n g   t h e   p r e d i c t i v e   m o d e l i n g   p r o c e s s   w h i l e   f o c u s i n g   o n   i n i t i a t i v e s   c a r r i e d   o u t   i n   t h e   c o n t e x t   o f   f e d e r a l   i n c o m e   t a x   c o l l e c t i o n   a n d   l a w   e n f o r c e m e n t .   I t   t h e n   d r a w s   o u t   t h e   p r o c e s s ' s   f u n d a m e n t a l   e l e m e n t s ,   w h i l e   d i s t i n g u i s h i n g   b e t w e e n   t h e   r o l e   o f   t e c h n o l o g y   a n d   h u m a n s .   R e c o g n i z i n g   t h e s e   e l e m e n t s   i s   c r u c i a l   f o r   u n d e r s t a n d i n g   t h e   i m p o r t a n c e   a n d   c h a l l e n g e s   o f   t r a n s p a r e n c y .   P a r t   I I I   m o v e s   t o   a d d r e s s   t h e   f l o w   o f   i n f o r m a t i o n   t h e   p r e d i c t i o n   p r o c e s s   g e n e r a t e s .   I n   d o i n g   s o ,   i t   a d d r e s s e s   v a r i o u s   s t r a t e g i e s   t o   a c h i e v e   t r a n s p a r e n c y   i n   t h i s   p r o c e s s   s o m e   a d d r e s s e d   b y   l a w ,   w h i l e   o t h e r s   a r e   i g n o r e d .   I n   d o i n g   s o ,   t h e   A r t i c l e   i n t r o d u c e s   a   h e l p f u l   t a x o n o m y   t h a t   w i l l   b e   r e l i e d   u p o n   t h r o u g h o u t   t h e   a n a l y s i s .   I t   a l s o   e s t a b l i s h e s   t h e   n e e d   f o r   a n   o v e r a l l   t h e o r e t i c a l   a n a l y s i s   a n d   p o l i c y   b l u e p r i n t   f o r   t r a n s p a r e n c y   i n   p r e d i c t i o n .   P a r t   I V   s h i f t s   t o   a   t h e o r e t i c a l   a n a l y s i s   s e e k i n g   t h e   s o u r c e s   o f   c a l l s   f o r   t r a n s p a r e n c y .   H e r e ,   t h e   a n a l y s i s   a d d r e s s e s   t r a n s p a r e n c y   a s   a   t o o l   t o   e n h a n c e   g o v e r n m e n t   e f f i c i e n c y ,   f a c i l i t a t e   c r o w d s o u r c i n g ,   a n d   p r o m o t e   b o t h   p r i v a c y   a n d   a u t o n o m y .   P a r t   V   t u r n s   t o   e x a m i n e   c o u n t e r a r g u m e n t s   w h i c h   c a l l   f o r   l i m i t i n g   t r a n s p a r e n c y .   I t   e x p l a i n s   h o w   d i s c l o s u r e   c a n   u n d e r m i n e   g o v e r n m e n t   p o l i c y   a n d   a u t h o r i t y ,   a s   w e l l   a s   g e n e r a t e   p r o b l e m a t i c   s t e r e o t y p e s .   A f t e r   m a p p i n g   o u t   t h e   j u s t i f i c a t i o n s   a n d   c o u n t e r c l a i m s ,   P a r t   V I   m o v e s   t o   p r o v i d e   a n   i n n o v a t i v e   a n d   u n i q u e   p o l i c y   f r a m e w o r k   f o r   a c h i e v i n g   t r a n s p a r e n c y .   I t   c o n c l u d e s ,   i n   P a r t   V I I ,   b y   e x p l a i n i n g   w h i c h   c o n c e r n s   a n d   r i s k s   o f   t h e   p r e d i c t i v e   m o d e l i n g   p r o c e s s   t r a n s p a r e n c y   c a n n o t   m i t i g a t e ,   a n d   c a l l i n g   f o r   o t h e r   r e g u l a t o r y   r e s p o n s e s . 	 [ Z a r s k y ,   T a l   Z . ]   U n i v   H a i f a ,   F a c   L a w ,   I L - 3 1 9 9 9   H a i f a ,   I s r a e l ;   [ Z a r s k y ,   T a l   Z . ]   N Y U ,   S c h   L a w ,   N e w   Y o r k ,   N Y   1 0 0 0 3   U S A 	 Z a r s k y ,   T Z   ( r e p r i n t   a u t h o r ) ,   U n i v   H a i f a ,   F a c   L a w ,   I L - 3 1 9 9 9   H a i f a ,   I s r a e l . 	 	 	 	 	 	 A b b o t t   D e a n ,   2 0 0 3 ,   D A T A   M I N I N G   A R T   S C I ;   A L A N   F .   W E S T I N ,   1 9 6 8 ,   P R I V A C Y   F R E E D O M ,   P 2 3 ;   A l o n s o   J o s e   M . ,   2 0 0 9 ,   I M P R O V I N G   A C C E S S   G O V ;   [ A n o n y m o u s ] ,   P R I V   C O M P L ;   [ A n o n y m o u s ] ,   2 0 0 4 ,   I   R   S   P U B L I C A T I O N ,   V 3 4 9 8 ;   [ A n o n y m o u s ] ,   2 0 0 8 ,   F A I R   I N F O R M A T I O N   P R A ;   [ A n o n y m o u s ] ,   C I V   R I G H T S   C I V   L I B   I ;   [ A n o n y m o u s ] ,   2 0 1 3 ,   B L A C K   B O X   S O C   P R I V A T ;   [ A n o n y m o u s ] ,   2 0 0 4 ,   F A C T   S H E E T   G U A N T   D E T ,   P 5 ;   [ A n o n y m o u s ] ,   F I S C   Y E A R   2 0 0 7   E N F   S ;   [ A n o n y m o u s ] ,   P R I V   F O I A   R E P ;   [ A n o n y m o u s ] ,   2 0 1 2 ,   C O M 2 0 1 2 1 1 ;   [ A n o n y m o u s ] ,   S Y S T   R E C   N O T   S O R N S ;   [ A n o n y m o u s ] ,   2 0 0 9 ,   F E D   R E G ;   [ A n o n y m o u s ] ,   2 0 1 3 ,   T   S E C   A D M ;   B a m b e r g e r   K A ,   2 0 1 0 ,   T E X   L A W   R E V ,   V 8 8 ,   P 6 6 9 ;   B a m b e r g e r   K A ,   2 0 0 8 ,   U   C H I C A G O   L A W   R E V ,   V 7 5 ,   P 7 5 ;   B a r n e t t   J M ,   2 0 1 1 ,   H A R V A R D   L A W   R E V ,   V 1 2 4 ,   P 1 8 6 1 ;   B a r n e t t   J o n a t h a n   M . ,   2 0 1 1 ,   H A R V A R D   L A W   R E V ,   V 1 2 4 ,   P 1 8 7 4 ;   B e c h e r   S a m u e l ,   2 0 0 8 ,   M I C H   T E L E C O M M   T E C H   L ,   V 1 4 ,   P 3 0 3 ;   B e c h e r   S h m u e l   I . ,   2 0 0 8 ,   M I C H   T E L E   T E C H   L   R E V ,   V 1 4 ,   P 3 3 6 ;   B E N K L E R   Y O C H A I ,   2 0 0 6 ,   W E A L T H   N E T W O R K S   S O C I ,   P 5 9 ;   B E N K L E R   Y O C H A I ,   2 0 1 1 ,   P E N G U I N   L E V I A T H A N   T R ,   P 6 6 ;   B l a n k   J o s h u a   D . ,   2 0 1 1 ,   E M O R Y   L J ,   V 6 1 ,   P 2 6 5 ;   B l a n k   J o s h u a   D . ,   2 0 1 1 ,   E M O R Y   L J ,   V 6 1 ,   P 3 1 8 ;   B R A N D E I S   L O U I S   D . ,   1 9 1 4 ,   O T H E R   P E O P L E S   M O N E Y ;   B y g r a v e   L e e   A . ,   2 0 0 1 ,   C O M P U T E R   L   S E C U R I T Y ,   V 1 7 ,   P 2 1 ;   B y g r a v e   L .   A . ,   2 0 0 1 ,   C o m p u t e r   L a w   a n d   S e c u r i t y   R e p o r t ,   V 1 7 ,   D O I   1 0 . 1 0 1 6 / S 0 2 6 7 - 3 6 4 9 ( 0 1 ) 0 0 1 0 4 - 2 ;   C A B E N A   P E T E R ,   1 9 9 8 ,   D I S C O V E R I N G   D A T A   M I N ,   P 1 8 ;   C a t e   F H ,   2 0 0 8 ,   H A R V A R D   C I V I L   R I G H T S ,   V 4 3 ,   P 4 3 5 ;   C a t e   F r e d   H . ,   2 0 0 8 ,   H A R V   C R   C L   L   R E V ,   V 4 3 ,   P 4 8 5 ;   C i t r o n   D a n i e l l e ,   2 0 1 0 ,   C O N C U R R I N G   O P I N I O N S ;   C i t r o n   D a n i e l l e   K e a t s ,   2 0 0 8 ,   W A S H   U   L   R E V ,   V 8 5 ,   P 1 2 7 1 ;   C i t r o n   D a n i e l l e   K e a t s ,   2 0 0 8 ,   W A S H   U   L   R E V ,   V 8 5 ,   P 1 2 4 9 ;   C i t r o n   D K ,   2 0 1 1 ,   H A S T I N G S   L A W   J ,   V 6 2 ,   P 1 4 4 1 ;   C o l b   S h e r r y   F . ,   1 9 9 6 ,   C O L U M B I A   L A W   R E V ,   V 9 6 ,   P 1 4 6 4 ;   C o l b   S F ,   1 9 9 6 ,   C O L U M B I A   L A W   R E V ,   V 9 6 ,   P 1 4 5 6 ,   D O I   1 0 . 2 3 0 7 / 1 1 2 3 3 2 5 ;   C O M M I T T E E   O N   T E C H N I C A L   A N D   P R I V A C Y   D I M E N S I O N S   O F   I N F O R M A T I O N   F O R   T E R R O R I S M   P R E V E N T I O N   A N D   O T H E R   N A T I O N A L   G O A L S ,   2 0 0 8 ,   P R O T   I N D   P R I V   S T R U G G ,   P 1 8 5 ;   C o o m b e s   A n d r e a ,   2 0 0 9 ,   M A R K E T W A T C H           0 4 1 3 ;   D e m p s e y   J a m e s   X . ,   2 0 0 4 ,   T E C H N O L O G I E S   C A N   P R O ;   D E R O S A   M A R Y ,   2 0 0 4 ,   D A T A   M I N I N G   D A T A   A N A ,   V 1 4 ,   P 1 6 ;   D i c k   P h i l i p   K . ,   2 0 0 2 ,   M I N O R I T Y   R E P O R T ;   D o n o h u e   L a u r a   K . ,   2 0 0 6 ,   J   C R I M   L A W   C R I M ,   V 9 6 ,   P 1 1 4 5 ;   D o n o h u e   L K ,   2 0 0 6 ,   J   C R I M   L A W   C R I M ,   V 9 6 ,   P 1 0 5 9 ;   E s s i g   T o d d ,   2 0 1 2 ,   B I G   D A T A   G O T   Y O U   C R E ;   F a y y a d   U s a m a   M . ,   1 9 9 6 ,   A D V   K N O W L E D G E   D I S C O V ,   p [ 1 ,   6 ] ;   F e l d m a n   N o a h ,   2 0 0 9 ,   N Y   T I M E S   M A G         0 2 1 5 ,   p M M 1 1 ;   F e n s t e r   M ,   2 0 0 6 ,   I O W A   L A W   R E V ,   V 9 1 ,   P 8 8 5 ;   F e n s t e r   M a r k ,   2 0 0 6 ,   I O W A   L A W   R E V ,   V 9 1 ,   P 8 9 5 ;   F r i e d m a n   B a t y a ,   1 9 9 7 ,   H U M A N   V A L U E S   D E S I G N ,   p [ 2 1 ,   2 1 ] ;   F U N G   A R C H O N ,   2 0 0 7 ,   F U L L   D I S C L O S U R E   P E R I ,   P 1 2 ;   G E L L M A N   R O B E R T ,   2 0 1 2 ,   F A I R   I N F O R M   P R A C T I C E ;   G i l b e r t   D a n i e l   T . ,   1 9 9 5 ,   P S Y C H O L   B U L L ,   V 1 1 7 ,   P 2 4 ;   G I L B E R T   D T ,   1 9 9 5 ,   P S Y C H O L   B U L L ,   V 1 1 7 ,   P 2 1 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 0 9 . 1 1 7 . 1 . 2 1 ;   H A R C O U R T   B E R N A R D   E . ,   2 0 0 7 ,   P R E D I C T I O N   P R O F I L I N G ,   P 2 3 8 ;   H e r s z e n h o r n   D a v i d   M . ,   2 0 1 0 ,   N Y   T I M E S ,   p A 1 ;   H i l d e b r a n d t   M i r e i l l e ,   2 0 0 8 ,   I d e n t i t y   i n   t h e   I n f o r m a t i o n   S o c i e t y ,   V 1 ,   D O I   1 0 . 1 0 0 7 / s 1 2 3 9 4 - 0 0 8 - 0 0 0 3 - 1 ;   H i l d e b r a n t   M i r e i l l e ,   2 0 0 8 ,   I D E N T I T Y   I N F O   S O C ,   V 1 ;   I R S ,   2 0 0 6 ,   I N T   R E F   M A N ;   J E F F R E Y   W .   S E I F E R T ,   2 0 0 8 ,   R L 3 1 7 9 8   C   R E S   S E R V ,   V 8 ;   J o n a s   J e f f ,   2 0 0 6 ,   P O L Y   A N A L ;   J U L I E   E .   C O H E N ,   2 0 1 2 ,   C O N F I G U R I N G   N E T W O R K E ,   p [ 1 6 7 ,   2 5 6 ] ;   K a h a n   D a n   M . ,   2 0 0 6 ,   T E X   L A W   R E V ,   V 8 4 ,   P 2 0 9 5 ;   K a h a n   D M ,   2 0 0 6 ,   T E X   L A W   R E V ,   V 8 4 ,   P 2 0 7 5 ;   K a t y a l   N e a l   K u m a r ,   2 0 0 6 ,   Y A L E   L A W   J ,   V 1 1 5 ,   P 2 3 4 1 ;   K a t y a l   N K ,   2 0 0 6 ,   Y A L E   L A W   J ,   V 1 1 5 ,   P 2 3 1 4 ;   K o r f f   D o u w e ,   2 0 1 0 ,   2   E U R   C O M M   D I R   G E N   J ;   K r e i m e r   F . ,   2 0 0 8 ,   U   P A   J   C O N S T   L ,   V 1 0 ,   P 1 0 1 1 ;   K r e i m e r   F . ,   2 0 0 8 ,   U   P A   J   C O N S T   L ,   V 1 0 ,   P 1 0 5 6 ;   L e s s i g   L a w r e n c e ,   2 0 1 3 ,   N E W   R E P U B L I C ;   L E S S I G   L A W R E N C E ,   1 9 9 9 ,   C O D E   O T H E R   L A W S   C Y B E ,   P 1 4 3 ;   M a r k o f f   J . ,   2 0 1 1 ,   N Y   T I M E S ;   M a r t e n s   D a v i d ,   C E D E R 1 1 0 1   N Y U   S T E R N ,   V 2 ;   M a y e r - S c h o n b e r g e r   V i k t o r ,   W O R K I N G   P A P E R ;   M e n d e l   T . ,   2 0 0 8 ,   F R E E D O M   I N F O R M   C O M P ;   M u r p h y   E ,   2 0 1 3 ,   M I C H   L A W   R E V ,   V 1 1 1 ,   P 4 8 5 ;   M u r p h y   E r i n ,   2 0 1 3 ,   M I C H   L A W   R E V ,   V 1 1 1 ,   P 5 0 3 ;   N o v e c k   B e t h   S i m o n e ,   2 0 0 4 ,   E M O R Y   L J ,   V 5 3 ,   P 4 3 6 ;   N o v e c k   B e t h   S i m o n e ,   2 0 0 4 ,   E M O R Y   L   J ,   V 5 3 ,   P 4 3 3 ;   O ' R e i l l y   J a m e s   T . ,   2 0 0 4 ,   L A   L A W   R E V ,   V 6 4 ,   P 8 0 9 ;   O ' R e i l l y   J a m e s   T . ,   2 0 0 4 ,   L A   L A W   R E V ,   V 6 4 ,   P 8 1 2 ;   O E C D ,   1 9 8 0 ,   O E C D   G U I D   P R O T   P R I V ;   P a s q u a l e   F r a n k ,   2 0 1 1 ,   J   T E L E C O M M   H I G H   T E C H ,   V 9 ,   P 2 3 5 ;   R a m a s a s t r y   A n i t a ,   2 0 0 4 ,   S A N T A   C L A R A   C O M P U T E R ,   V 2 2 ,   P 7 5 7 ;   R a m a s a s t r y   A n i t a ,   2 0 0 4 ,   S A N T A   C L A R A   C O M P U T E R ,   V 2 2 ,   P 7 6 0 ;   R a y m o n d   E r i c   S . ,   1 9 9 9 ,   C A T H E D R A L   B A Z A A R   M U S ;   R E I D E N B E R G   J R ,   1 9 9 5 ,   I O W A   L A W   R E V ,   V 8 0 ,   P 4 9 7 ;   R e i d e n b e r g   J o e l   R . ,   1 9 9 5 ,   I O W A   L A W   R E V ,   V 8 0 ,   P 5 1 5 ;   R O S E N   J E F F R E Y ,   2 0 0 5 ,   N A K E D   C R O W D   R E C L A I M I ,   P 8 ;   R o t e n b e r g   M a r c ,   2 0 0 1 ,   S T A N   T E C H   L   R E V ,   V 2 0 0 1 ,   P 1 4 ;   R u b i n s t e i n   I r a   S . ,   2 0 0 8 ,   U   C H I C A G O   L A W   R E V ,   V 7 5 ,   P 2 6 7 ;   R u b i n s t e i n   I r a   S . ,   2 0 0 8 ,   U   C H I C A G O   L A W   R E V ,   V 7 5 ,   P 2 6 9 ;   R u b i n s t e i n   I S ,   2 0 0 8 ,   U   C H I C A G O   L A W   R E V ,   V 7 5 ,   P 2 6 1 ;   S a m a h a   A d a m   M . ,   2 0 1 2 ,   H A R V A R D   L A W   R E V ,   V 1 2 5 ,   P 1 5 8 5 ;   S a m a h a   A d a m   M . ,   2 0 0 6 ,   U C L A   L A W   R E V ,   V 5 3 ,   P 9 7 0 ;   S a m a h a   A M ,   2 0 0 6 ,   U C L A   L A W   R E V ,   V 5 4 ,   P 9 0 9 ;   S a m a h a   A M ,   2 0 1 2 ,   H A R V A R D   L A W   R E V ,   V 1 2 5 ,   P 1 5 6 3 ;   S c a l i a   A n t o n i n ,   1 9 8 2 ,   R E G U L A T I O N               M A R ,   P 1 4 ;   S c h a u e r   F r e d e r i c k ,   2 0 1 1 ,   U   I L L   L   R E V ,   P 1 3 4 0 ;   S C H A U E R   F R E D E R I C K ,   2 0 0 3 ,   P R O F I L E S   P R O B A B I L I T I ,   P 1 6 1 ;   S C H N E I E R   B R U C E ,   2 0 0 3 ,   F E A R   T H I N K I N G   S E N S I B ,   P 3 8 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 6 2 4 8 0 6 0 7 0 8 5 7 9 2 ;   S c h w a r t z   P a u l   M . ,   2 0 0 4 ,   H A R V A R D   L A W   R E V ,   V 1 1 7 ,   P 2 0 7 6 ;   S c h w a r t z   P a u l   M . ,   2 0 0 8 ,   U   C H I C A G O   L A W   R E V ,   V 7 5 ,   P 3 1 3 ;   S c h w a r t z   P a u l   M . ,   2 0 0 7 ,   M I C H   L A W   R E V ,   V 1 0 5 ,   P 9 1 5 ;   S c h w a r t z   P a u l   M . ,   2 0 0 0 ,   W I S C   L A W   R E V ,   P 7 4 6 ;   S c h w a r t z   P M ,   2 0 0 8 ,   U   C H I C A G O   L A W   R E V ,   V 7 5 ,   P 2 8 7 ;   S c h w a r t z   P a u l   M . ,   2 0 0 4 ,   H A R V A R D   L A W   R E V ,   V 1 1 7 ,   P 2 0 6 0 ;   S c h w a r t z   P a u l   M . ,   2 0 0 4 ,   H A R V A R D   L A W   R E V ,   V 1 1 7 ,   P 2 0 5 6 ,   D O I   1 0 . 2 3 0 7 / 4 0 9 3 3 3 5 ;   S c h w a r t z   P M ,   2 0 0 7 ,   M I C H   L A W   R E V ,   V 1 0 5 ,   P 9 1 3 ;   S c h w a r t z   P M ,   2 0 0 0 ,   W I S C   L A W   R E V ,   P 7 4 3 ;   S h k a b a t u r   J e n n i f e r ,   2 0 1 2 ,   Y A L E   L   P O L Y   I N   P R E S S ,   V 3 1 ;   S h k a b a t u r   J e n n i f e r ,   2 0 1 1 ,   B R O O K   L   R E V ,   V 7 6 ,   P 1 4 1 3 ;   S h k a b a t u r   J e n n i f e r ,   2 0 1 1 ,   B R O O K   L   R E V ,   V 7 6 ,   P 1 4 3 7 ;   S H R I K Y   C L A Y ,   2 0 0 8 ,   H E R E   C O M E S   E V E R Y B O D Y ,   V 5 5 ,   P 1 0 9 ;   S l o b o g i n   C ,   2 0 0 8 ,   U   C H I C A G O   L A W   R E V ,   V 7 5 ,   P 3 1 7 ;   S O L O V E   D A N I E L   J . ,   2 0 0 6 ,   I N F O R M   P R I V A C Y   L A W ,   V 3 8 ;   S O L O V E   D A N I E L E   J . ,   2 0 1 1 ,   N O T H I N G   H I D E   F A L S E   T ,   P 8 6 ;   S o l o v e   D J ,   2 0 0 1 ,   S T A N F O R D   L A W   R E V ,   V 5 3 ,   P 1 3 9 3 ,   D O I   1 0 . 2 3 0 7 / 1 2 2 9 5 4 6 ;   S o l o v e   D J ,   2 0 0 8 ,   U   C H I C A G O   L A W   R E V ,   V 7 5 ,   P 3 4 3 ;   S o l u m   L a w r e n c e ,   2 0 1 2 ,   L E G A L   T H E O R Y   B L   0 1 2 2 ;   S t a n l e y   Y o u n g   S . ,   2 0 0 9 ,   P   R O Y A L   B I O L   S O C ,   V 2 7 6 ,   P 1 2 1 2 ;   S t e i n b o c k   D a n i e l   J . ,   2 0 0 5 ,   G A   L   R E V ,   V 4 0 ,   P 2 3 ;   S t e i n b o o k   D a n i e l   J . ,   2 0 0 5 ,   G A   L   R E V ,   V 4 0 ,   P 1 ;   S t r a h i l e v i t z   L i o r   J a c o b ,   2 0 0 6 ,   N E W   Y O R K   U   L A W   R E V ,   V 8 1 ,   P 1 7 0 1 ;   S t r a h i l e v i t z   L i o r   J a c o b ,   2 0 0 6 ,   N E W   Y O R K   U   L A W   R E V ,   V 8 1 ,   P 1 6 9 9 ;   S t r a n d b u r g   K a t h e r i n e   J . ,   2 0 0 8 ,   B C   L   R E V ,   V 4 9 ,   P 7 4 1 ;   S t r a n d b u r g   K a t h e r i n e   J . ,   2 0 1 1 ,   M D   L   R E V ,   V 7 0 ,   P 6 1 4 ;   S t u n t z   W i l l i a m   J . ,   2 0 0 6 ,   N E W   R E P U B L I C         0 4 1 7 ;   S U R O W I E C K I   J A M E S ,   2 0 0 4 ,   W I S D O M   C R O W D S ,   P 8 5 ;   S w i r e   P .   P . ,   1 9 9 8 ,   N O N E   Y O U R   B U S I N E S S   W ;   S w i r e   P e t e r   P . ,   2 0 0 4 ,   J   T E L E C O M M   H I G H   T E C H ,   V 3 ,   P 1 6 8 ;   S w i r e   P e t e r   P . ,   2 0 0 4 ,   J   T E L E C O M M   H I G H   T E C H ,   V 3 ,   P 1 6 3 ;   S z e c h e n y i   C h r i s t o p h e r   A . ,   T A L K I N G   T A X E S H O W   A V O ;   T a i p a l e   K .   A . ,   2 0 0 3 ,   C O L U M   S C I   T E C H   L   R E V ,   V 5 ,   P 1 5 ;   T A P S C O T T   D O N ,   2 0 0 6 ,   W I K I N O M I C S   M A S S   C O L L ,   P 2 6 8 ;   T a r a b a y   J a m i e ,   2 0 1 1 ,   N P R                           0 1 2 6 ;   T E C H N O L O G Y   A N D   P R I V A C Y   A D V I S O R Y   C O M M I T T E E ,   2 0 0 4 ,   S A F   P R I V   F I G H T   T E R R ;   U . S .   D E P ' T   O F   H O M E L A N D   S E C U R I T Y ,   2 0 0 8 ,   R E P   C   A S S   U S   G O V   A C T ,   P 2 0 ;   U . S .   D E P ' T   O F   H O M E L A N D   S E C U R I T Y   P R I V A C Y   O F F I C E ,   2 0 1 0 ,   2 0 1 0   D A T   M I N   R E P   C ,   P 1 3 ;   U . S .   D E P ' T   O F   H O M E L A N D   S E C U R I T Y   P R I V A C Y   O F F I C E ,   2 0 1 1 ,   2 0 1 1   D A T   M I N   R E P   C ,   P 1 1 ;   U . S .   D E P ' T .   O F   H O M E L A N D   S E C U R I T Y   P R I V A C Y   O F F I C E ,   2 0 0 9 ,   D A T   M I N   R E P   C ,   P 2 ;   U . S .   D E P ' T .   O F   H O M E L A N D   S E C U R I T Y   P R I V A C Y   O F F I C E ,   2 0 1 0 ,   A N N   R E P   C   J U L   2 0 0 9   J ,   P 1 7 ;   U S   D e p a r t m e n t   o f   E n e r g y ,   2 0 0 7 ,   P O W   P L A N T   O P T   D E M   P R ,   P 6 ;   U . S .   D E P A R T M E N T   O F   H O M E L A N D   S E C U R I T Y   O F F I C E   F O R   C I V I L   R I G H T S   A N D   C I V I L   L I B E R T I E S ,   2 0 0 8 ,   C I V   L I B   I M P   A S S   T E M P ;   U . S .   D E P T .   O F   H O M E L A N D   S E C U R I T Y   P R I V A C Y   O F F I C E ,   2 0 0 8 ,   A N N   R E P   U S   W I N D   P O W ,   P 9 ;   U . S .   D E P T .   O F   J U S T I C E ,   2 0 0 9 ,   P R I V   I M P   A S S   O R G   C R I ,   P 9 ;   U . S .   G E N E R A L   A C C O U N T I N G   O F F I C E ,   2 0 0 4 ,   G A O 0 4 5 4 8 ;   W e i t z n e r   D a n i e l   J . ,   2 0 0 8 ,   C O M M U N   A C M ,   V 5 1 ,   P 8 5 ;   Y o u n g   S S ,   2 0 0 9 ,   P   R   S O C   B ,   V 2 7 6 ,   P 1 2 1 1 ,   D O I   1 0 . 1 0 9 8 / r s p b . 2 0 0 8 . 1 4 0 5 ;   Z a r s k y   T a l   Z . ,   2 0 1 2 ,   P E N N   S T   L   R E V ,   V 1 1 6 ,   P 2 8 5 ;   Z a r s k y   T a l   Z . ,   2 0 0 2 ,   Y A L E   J L   T E C H ,   V 5 ,   P 6 	 1 5 1 	 3 	 3 	 U N I V   I L L I N O I S 	 C H A M P A I G N 	 C O L L E G E   O F   L A W - 7 6   L A W   B L D G   5 0 4   E   P E N N S Y L V A N I A   A V E ,   C H A M P A I G N ,   I L   6 1 8 2 0   U S A 	 0 2 7 6 - 9 9 4 8 	 	 	 U   I L L I N O I S   L A W   R E V 	 U n i v .   I l l .   L a w   R e v . 	 	 2 0 1 3 	 	 4 	 	 	 	 	 1 5 0 3 	 1 5 6 9 	 	 	 	 6 7 	 L a w 	 G o v e r n m e n t   &   L a w 	 2 3 2 Q M 	 W O S : 0 0 0 3 2 5 5 0 9 1 0 0 0 0 4 	 	 
 J 	 C a s t i l l o ,   C ;   M e n d o z a ,   M ;   P o b l e t e ,   B 	 	 	 	 C a s t i l l o ,   C a r l o s ;   M e n d o z a ,   M a r c e l o ;   P o b l e t e ,   B a r b a r a 	 	 	 P r e d i c t i n g   i n f o r m a t i o n   c r e d i b i l i t y   i n   t i m e - s e n s i t i v e   s o c i a l   m e d i a 	 I N T E R N E T   R E S E A R C H 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 I n f o r m a t i o n   c r e d i b i l i t y ;   O n l i n e   s o c i a l   n e t w o r k s ;   M o d e l   t r a n s f e r ;   T i m e   s e n s i t i v e n e s s ;   S o c i a l   m e d i a   p r e d i c t i o n 	 P E R C E P T I O N S 	 P u r p o s e   -   T w i t t e r   i s   a   p o p u l a r   m i c r o b l o g g i n g   s e r v i c e   w h i c h   h a s   p r o v e n ,   i n   r e c e n t   y e a r s ,   i t s   p o t e n t i a l   f o r   p r o p a g a t i n g   n e w s   a n d   i n f o r m a t i o n   a b o u t   d e v e l o p i n g   e v e n t s .   T h e   p u r p o s e   o f   t h i s   p a p e r   i s   t o   f o c u s   o n   t h e   a n a l y s i s   o f   i n f o r m a t i o n   c r e d i b i l i t y   o n   T w i t t e r .   T h e   p u r p o s e   o f   o u r   r e s e a r c h   i s   t o   e s t a b l i s h   i f   a n   a u t o m a t i c   d i s c o v e r y   p r o c e s s   o f   r e l e v a n t   a n d   c r e d i b l e   n e w s   e v e n t s   c a n   b e   a c h i e v e d .   D e s i g n / m e t h o d o l o g y / a p p r o a c h   -   T h e   p a p e r   f o l l o w s   a   s u p e r v i s e d   l e a r n i n g   a p p r o a c h   f o r   t h e   t a s k   o f   a u t o m a t i c   c l a s s i f i c a t i o n   o f   c r e d i b l e   n e w s   e v e n t s .   A   f i r s t   c l a s s i f i e r   d e c i d e s   i f   a n   i n f o r m a t i o n   c a s c a d e   c o r r e s p o n d s   t o   a   n e w s w o r t h y   e v e n t .   T h e n   a   s e c o n d   c l a s s i f i e r   d e c i d e s   i f   t h i s   c a s c a d e   c a n   b e   c o n s i d e r e d   c r e d i b l e   o r   n o t .   T h e   p a p e r   u n d e r t a k e s   t h i s   e f f o r t   t r a i n i n g   o v e r   a   s i g n i f i c a n t   a m o u n t   o f   l a b e l e d   d a t a ,   o b t a i n e d   u s i n g   c r o w d s o u r c i n g   t o o l s .   T h e   p a p e r   v a l i d a t e s   t h e s e   c l a s s i f i e r s   u n d e r   t w o   s e t t i n g s :   t h e   f i r s t ,   a   s a m p l e   o f   a u t o m a t i c a l l y   d e t e c t e d   T w i t t e r   " t r e n d s "   i n   E n g l i s h ,   a n d   s e c o n d ,   t h e   p a p e r   t e s t s   h o w   w e l l   t h i s   m o d e l   t r a n s f e r s   t o   T w i t t e r   t o p i c s   i n   S p a n i s h ,   a u t o m a t i c a l l y   d e t e c t e d   d u r i n g   a   n a t u r a l   d i s a s t e r .   F i n d i n g s   -   T h e r e   a r e   m e a s u r a b l e   d i f f e r e n c e s   i n   t h e   w a y   m i c r o b l o g   m e s s a g e s   p r o p a g a t e .   T h e   p a p e r   s h o w s   t h a t   t h e s e   d i f f e r e n c e s   a r e   r e l a t e d   t o   t h e   n e w s w o r t h i n e s s   a n d   c r e d i b i l i t y   o f   t h e   i n f o r m a t i o n   c o n v e y e d ,   a n d   d e s c r i b e s   f e a t u r e s   t h a t   a r e   e f f e c t i v e   f o r   c l a s s i f y i n g   i n f o r m a t i o n   a u t o m a t i c a l l y   a s   c r e d i b l e   o r   n o t   c r e d i b l e .   O r i g i n a l i t y / v a l u e   -   T h e   p a p e r   f i r s t   t e s t s   t h e   a p p r o a c h   u n d e r   n o r m a l   c o n d i t i o n s ,   a n d   t h e n   t h e   p a p e r   e x t e n d s   t h e   f i n d i n g s   t o   a   d i s a s t e r   m a n a g e m e n t   s i t u a t i o n ,   w h e r e   m a n y   n e w s   a n d   r u m o r s   a r i s e .   A d d i t i o n a l l y ,   b y   a n a l y z i n g   t h e   t r a n s f e r   o f   o u r   c l a s s i f i e r s   a c r o s s   l a n g u a g e s ,   t h e   p a p e r   i s   a b l e   t o   l o o k   m o r e   d e e p l y   i n t o   w h i c h   t o p i c - f e a t u r e s   a r e   m o r e   r e l e v a n t   f o r   c r e d i b i l i t y   a s s e s s m e n t .   T o   t h e   b e s t   o f   o u r   k n o w l e d g e ,   t h i s   i s   t h e   f i r s t   p a p e r   t h a t   s t u d i e s   t h e   p o w e r   o f   p r e d i c t i o n   o f   s o c i a l   m e d i a   f o r   i n f o r m a t i o n   c r e d i b i l i t y ;   c o n s i d e r i n g   m o d e l   t r a n s f e r   i n t o   t i m e - s e n s i t i v e   a n d   l a n g u a g e - s e n s i t i v e   c o n t e x t s . 	 [ C a s t i l l o ,   C a r l o s ]   Q a t a r   C o m p   R e s   I n s t ,   D o h a ,   Q a t a r ;   [ M e n d o z a ,   M a r c e l o ]   U n i v   T e c n   F e d e r i c o   S a n t a   M a r i a ,   S a n t i a g o ,   C h i l e ;   [ P o b l e t e ,   B a r b a r a ]   U n i v   C h i l e ,   D e p t   C o m p   S c i ,   S a n t i a g o ,   C h i l e 	 P o b l e t e ,   B   ( r e p r i n t   a u t h o r ) ,   U n i v   C h i l e ,   D e p t   C o m p   S c i ,   S a n t i a g o ,   C h i l e . 	 b a r b a r a @ p o b l e t e . c l 	 M e n d o z a ,   M a r c e l o / D - 2 3 1 2 - 2 0 1 4 	 	 S p a n i s h   C e n t r e   f o r   t h e   D e v e l o p m e n t   o f   I n d u s t r i a l   T e c h n o l o g y   [ C E N - 2 0 1 0 1 0 3 7 ] ;   F O N D E C Y T   [ 1 1 1 2 1 5 1 1 ,   1 1 1 2 1 4 3 5 ] ;   P r o g r a m   U - I N I C I A   V I D   [ U - I N I C I A   3 / 0 6 1 2 ] ;   U n i v e r s i t y   o f   C h i l e 	 T h e   a u t h o r s   w o u l d   l i k e   t o   t h a n k   M i c h a e l   M a t h i o u d a k i s   a n d   N i c k   K o u d a s   f o r   l e n d i n g   u s   a s s i s t a n c e   t o   u s e   t h e   T w i t t e r   M o n i t o r   e v e n t   s t r e a m .   C a r l o s   C a s t i l l o   w a s   p a r t i a l l y   s u p p o r t e d   b y   t h e   S p a n i s h   C e n t r e   f o r   t h e   D e v e l o p m e n t   o f   I n d u s t r i a l   T e c h n o l o g y   u n d e r   t h e   C E N I T   P r o g r a m ,   P r o j e c t   C E N - 2 0 1 0 1 0 3 7 ,   " S o c i a l   M e d i a "   ( h t t p : / / c e n i t s o c i a l m e d i a . e s / ) .   B a r b a r a   P o b l e t e   w a s   s u p p o r t e d   b y   F O N D E C Y T   g r a n t   1 1 1 2 1 5 1 1   a n d   P r o g r a m   U - I N I C I A   V I D   2 0 1 2 ,   g r a n t   U - I N I C I A   3 / 0 6 1 2 ;   U n i v e r s i t y   o f   C h i l e .   M a r c e l o   M e n d o z a   w a s   s u p p o r t e d   b y   F O N D E C Y T   g r a n t   1 1 1 2 1 4 3 5 . 	 A g i c h t e i n   E . ,   2 0 0 8 ,   W S D M   0 8 ,   P 1 8 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 4 1 5 3 1 . 1 3 4 1 5 5 7 ;   A l - E i d a n   R . M . ,   2 0 1 0 ,   P R O C E E D I N G S   O F   T H E   5 ,   P 2 8 5 ;   A l - K h a l i f a   H e n d   S . ,   2 0 1 1 ,   I n t e r n a t i o n a l   J o u r n a l   o f   W e b   I n f o r m a t i o n   S y s t e m s ,   V 7 ,   D O I   1 0 . 1 1 0 8 / 1 7 4 4 0 0 8 1 1 1 1 1 4 1 7 7 2 ;   A l o n s o   O . ,   2 0 1 0 ,   S I G I R   C R O W D S O U R C I N G ;   B e n e v e n u t o   F . ,   2 0 1 0 ,   C O L L A B O R A T I O N   E L E C T R ;   C a s t i l l o   C . ,   2 0 1 1 ,   P   2 0   I N T   C   W O R L D   W I D ,   P 6 7 5 ;   C r a n e   R ,   2 0 0 8 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 5 ,   P 1 5 6 4 9 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 8 0 3 6 8 5 1 0 5 ;   D e   L o n g u e v i l l e   B . ,   2 0 0 9 ,   L B S N   2 0 0 9 ,   P 7 3 ;   E a r l e   P . S . ,   2 0 0 9 ,   A G U   F A L L   M E E T I N G   A B S ,   p B 1 6 9 7 ;   F l a n a g i n   A J ,   2 0 0 0 ,   J O U R N A L I S M   M A S S   C O M M ,   V 7 7 ,   P 5 1 5 ;   F o g g   B . J . ,   2 0 0 2 ,   T E C H N I C A L   R E P O R T ;   G a l t u n g   J . ,   1 9 6 5 ,   J   I N T   P E A C E   R E S ,   V 1 ,   P 6 4 ,   D O I   D O I   1 0 . 1 1 7 7 / 0 0 2 2 3 4 3 3 6 5 0 0 2 0 0 1 0 4 ;   G o r i   M ,   2 0 0 5 ,   C O M M U N   A C M ,   V 4 8 ,   P 1 1 5 ,   D O I   1 0 . 1 1 4 5 / 1 0 4 7 6 7 1 . 1 0 4 7 7 1 5 ;   G r i e r   C . ,   2 0 1 0 ,   C C S ,   P 2 7 ;   H a r c u p   T . ,   2 0 0 1 ,   J O U R N A L I S M   S T U D ,   V 2 ,   P 2 6 1 ,   D O I   D O I   1 0 . 1 0 8 0 / 1 4 6 1 6 7 0 0 1 1 8 4 4 9 ;   H u g h e s   A . L . ,   2 0 0 9 ,   I S C R A M   C O N F E R E N C E ;   J a v a   A . ,   2 0 0 7 ,   W E B K D D   S N A   K D D   2 0 0 7 ,   P 5 6 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 4 8 5 4 9 . 1 3 4 8 5 5 6 ;   J o h n s o n   K A ,   2 0 1 1 ,   L E A R N   M E D I A   T E C H N O L ,   V 3 6 ,   P 2 1 ,   D O I   1 0 . 1 0 8 0 / 1 7 4 3 9 8 8 4 . 2 0 1 0 . 5 3 4 7 9 8 ;   J u f f i n g e r   A ,   2 0 0 9 ,   W I C O W   0 9 ,   P 5 1 ;   K i r e y e v   K . ,   2 0 0 9 ,   N I P S   W O R K S H O P   O N   A P P ;   K w a k   H . ,   2 0 1 0 ,   W O R L D   W I D E   W E B   C O N F E ;   L a m p o s   V ,   2 0 1 0 ,   L E C T   N O T E S   A R T I F   I N T ,   V 6 3 2 3 ,   P 5 9 9 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 5 9 3 9 - 8 _ 4 2 ;   M A R W I C K   A . ,   2 0 1 1 ,   C O N V E R G E N C E ,   V 1 7 ,   P 1 3 9 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 1 0 3 9 4 5 3 9 ;   M a t h i o u d a k i s   M ,   2 0 1 0 ,   P   2 0 1 0   I N T   C   M A N   D A T ,   P 1 1 5 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 0 7 1 6 7 . 1 8 0 7 3 0 ;   M e n d o z a   M . ,   2 0 1 0 ,   1 S T   W O R K S H O P   O N   S O C I ;   M e t a x a s   P . ,   2 0 1 2 ,   D E S I G N   I N F L U E N C E   A N D ;   M u s t a f a r a j   E . ,   2 0 1 0 ,   P R O C E E D I N G S   O F   T H E   W ;   N a a m a n   M ,   2 0 1 0 ,   2 0 1 0   A C M   C O N F E R E N C E   O N   C O M P U T E R   S U P P O R T E D   C O O P E R A T I V E   W O R K ,   P 1 8 9 ;   P e a r   A n a l y t i c s ,   2 0 0 9 ,   T W I T T E R   S T U D Y ;   P e w   R e s e a r c h   C e n t e r ,   2 0 1 0 ,   T H E   N E W   N E W S   L A N D S C A ;   P o p e s c u   A . M . ,   2 0 1 0 ,   P R O C E E D I N G S   O F   T H E   1 ,   P 1 8 7 3 ,   D O I   1 0 . 1 1 4 5 / 1 8 7 1 4 3 7 . 1 8 7 1 7 5 1 ;   P o u l s e n   K . ,   2 0 0 7 ,   F I R S T H A N D   R E P O R T S   F R ;   R a t k i e w i c z   J ,   2 0 1 1 ,   P   2 0   I N T   C   C O M P   W O R L ,   P 2 4 9 ;   R i n g e l   M o r r i s   M . ,   2 0 1 2 ,   P   A C M   2 0 1 2   C   C O M P   S U ,   P 4 4 1 ,   D O I   [ D O I   1 0 . 1 1 4 5 / 2 1 4 5 2 0 4 . 2 1 4 5 2 7 4 ,   1 0 . 1 1 4 5 / 2 1 4 5 2 0 4 . 2 1 4 5 2 7 4 ] ;   R u b i n   V . L . ,   2 0 0 6 ,   A A A I   S   C O M P   A P P R   A N ,   P 1 8 7 ;   S a k a k i   T a k e s h i ,   2 0 1 0 ,   P   1 9   I N T   C   W O R L D   W I D ,   P 8 5 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 7 2 6 9 0 . 1 7 7 2 7 7 7 ;   S a n k a r a n a r a y a n a n   J . ,   2 0 0 9 ,   G I S   0 9 ,   P 4 2 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 6 5 3 7 7 1 . 1 6 5 3 7 8 1 ;   S c h m i e r b a c h   M . ,   2 0 1 0 ,   P R O C E E D I N G S   O F   A N N U A ;   S c h w a r z   J . ,   2 0 1 1 ,   A C M   C O N F E R E N C E   O N   H U ;   S t a r b i r d   K ,   2 0 1 0 ,   2 0 1 0   A C M   C O N F E R E N C E   O N   C O M P U T E R   S U P P O R T E D   C O O P E R A T I V E   W O R K ,   P 2 4 1 ;   S t e w a r t   K . J . ,   2 0 0 3 ,   P   5   I N T   C   E L   C O M M   I C ,   P 2 3 5 ,   D O I   1 0 . 1 1 4 5 / 9 4 8 0 0 5 . 9 4 8 0 3 7 ;   S u h   B . ,   2 0 1 0 ,   P   2   I E E E   I N T   C   S O C   C ,   P 1 7 7 ;   ( T h e )   G u a r d i a n ,   2 0 1 1 ,   T H E   G A U R D I A N ;   U l i c n y   B . ,   2 0 0 7 ,   P R O C E E D I N G S   I N T E R N A T ;   V i e w e g   S . ,   2 0 1 0 ,   P R O C E E D I N G S   O F   A C M   C ;   V i e w e g   S . ,   2 0 1 0 ,   M I C R O B L O G G E D   C O N T R I B ;   W a n a s   N . ,   2 0 0 8 ,   P R O C E E D I N G   O F   T H E   2 N ,   P 1 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 5 8 5 2 7 . 1 4 5 8 5 3 4 ;   W a t t s   D . J . ,   2 0 0 7 ,   H A R V A R D   B U S I N E S S   R E V ,   V 8 5 ;   W e e r k a m p   W . ,   2 0 0 8 ,   A C L   0 8 ,   P 9 2 3 ;   Y a r d i   S . ,   2 0 1 0 ,   1   M O N D A Y ,   V 1 5 	 5 0 	 1 	 1 	 E M E R A L D   G R O U P   P U B L I S H I N G   L I M I T E D 	 B I N G L E Y 	 H O W A R D   H O U S E ,   W A G O N   L A N E ,   B I N G L E Y   B D 1 6   1 W A ,   W   Y O R K S H I R E ,   E N G L A N D 	 1 0 6 6 - 2 2 4 3 	 	 	 I N T E R N E T   R E S 	 I n t e r n e t   R e s . 	 	 2 0 1 3 	 2 3 	 5 	 	 	 	 	 5 6 0 	 5 8 8 	 	 1 0 . 1 1 0 8 / I n t R - 0 5 - 2 0 1 2 - 0 0 9 5 	 	 2 9 	 B u s i n e s s ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   T e l e c o m m u n i c a t i o n s 	 B u s i n e s s   &   E c o n o m i c s ;   C o m p u t e r   S c i e n c e ;   T e l e c o m m u n i c a t i o n s 	 2 3 7 X K 	 W O S : 0 0 0 3 2 5 9 0 4 7 0 0 0 0 3 	 	 
 J 	 W i s s n e r - G r o s s ,   A D ;   S u l l i v a n ,   T M 	 	 B r o o m e ,   B D ;   H a l l ,   D L ;   L l i n a s ,   J 	 	 W i s s n e r - G r o s s ,   A l e x a n d e r   D . ;   S u l l i v a n ,   T i m o t h y   M . 	 	 	 P a r t i c i p a t o r y   t e l e r o b o t i c s 	 N E X T - G E N E R A T I O N   A N A L Y S T 	 P r o c e e d i n g s   o f   S P I E 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 C o n f e r e n c e   o n   N e x t - G e n e r a t i o n   A n a l y s t 	 A P R   2 9 - 3 0 ,   2 0 1 3 	 B a l t i m o r e ,   M D 	 S P I E 	 	 T e l e p r e s e n c e ;   t e l e r o b o t i c s ;   c r o w d s o u r c i n g ;   p a r t i c i p a t o r y   s e n s i n g ;   m o b i l e   d e v i c e s ;   s t r e e t   v i e w 	 	 W e   p r e s e n t   a   n o v e l   " p a r t i c i p a t o r y   t e l e r o b o t i c s "   s y s t e m   t h a t   g e n e r a l i z e s   t h e   e x i s t i n g   c o n c e p t   o f   p a r t i c i p a t o r y   s e n s i n g   t o   i n c l u d e   r e a l - t i m e   t e l e o p e r a t i o n   a n d   t e l e p r e s e n c e   b y   t r e a t i n g   h u m a n s   w i t h   m o b i l e   d e v i c e s   a s   a d - h o c   t e l e r o b o t s .   I n   o u r   a p p r o a c h ,   o p e r a t o r s   o r   a n a l y s t s   f i r s t   c h o o s e   a   d e s i r e d   l o c a t i o n   f o r   r e m o t e   s u r v e i l l a n c e   o r   a c t i v i t y   f r o m   a   l i v e   g e o g r a p h i c   m a p   a n d   a r e   t h e n   a u t o m a t i c a l l y   c o n n e c t e d   v i a   a   c o o r d i n a t i o n   s e r v e r   t o   t h e   n e a r e s t   a v a i l a b l e   t r u s t e d   h u m a n .   T h a t   h u m a n ' s   d e v i c e   i s   t h e n   a c t i v a t e d   a n d   b e g i n s   r e c o r d i n g   a n d   s t r e a m i n g   b a c k   t o   t h e   o p e r a t o r   a   l i v e   a u d i o v i s u a l   f e e d   f o r   t e l e p r e s e n c e ,   w h i l e   a l l o w i n g   t h e   o p e r a t o r   i n   t u r n   t o   r e q u e s t   c o m p l e x   t e l e o p e r a t i v e   m o t i o n s   o r   a c t i o n s   f r o m   t h e   h u m a n .   S u p p o r t e d   a c t i o n   r e q u e s t s   c u r r e n t l y   i n c l u d e   w a l k i n g ,   r u n n i n g ,   l e a n i n g ,   a n d   t u r n i n g ,   a l l   w i t h   c o n t r o l l a b l e   m a g n i t u d e s   a n d   d i r e c t i o n s .   C o m p l i a n c e   w i t h   r e q u e s t s   i s   a u t o m a t i c a l l y   m e a s u r e d   a n d   s c o r e d   i n   r e a l   t i m e   b y   f u s i n g   i n f o r m a t i o n   r e c e i v e d   f r o m   t h e   d e v i c e ' s   o n b o a r d   s e n s o r s ,   i n c l u d i n g   i t s   a c c e l e r o m e t e r s ,   g y r o s c o p e ,   m a g n e t o m e t e r ,   G P S   r e c e i v e r ,   a n d   c a m e r a s .   S t r e a m s   o f   a c t i o n   r e q u e s t s   a r e   v i s u a l l y   p r e s e n t e d   b y   e a c h   d e v i c e   t o   i t s   h u m a n   i n   t h e   f o r m   o f   a n   a u g m e n t e d   r e a l i t y   g a m e   t h a t   r e w a r d s   p r o m p t   p h y s i c a l   c o m p l i a n c e   w h i l e   r e m a i n i n g   t o l e r a n t   o f   n e t w o r k   l a t e n c y .   B e c a u s e   o f   i t s   a b i l i t y   t o   i n t e r a c t i v e l y   e l i c i t   p h y s i c a l   k n o w l e d g e   a n d   o p e r a t i o n s   t h r o u g h   a d - h o c   c o l l a b o r a t i o n ,   w e   a n t i c i p a t e   t h a t   o u r   p a r t i c i p a t o r y   t e l e r o b o t i c s   s y s t e m   w i l l   h a v e   i m m e d i a t e   a p p l i c a t i o n s   i n   t h e   i n t e l l i g e n c e ,   r e t a i l ,   h e a l t h c a r e ,   s e c u r i t y ,   a n d   t r a v e l   i n d u s t r i e s . 	 [ W i s s n e r - G r o s s ,   A l e x a n d e r   D . ]   H a r v a r d   U n i v ,   I n s t   A p p l   C o m p u t a t   S c i ,   C a m b r i d g e ,   M A   0 2 1 3 8   U S A 	 W i s s n e r - G r o s s ,   A D   ( r e p r i n t   a u t h o r ) ,   H a r v a r d   U n i v ,   I n s t   A p p l   C o m p u t a t   S c i ,   2 9   O x f o r d   S t ,   C a m b r i d g e ,   M A   0 2 1 3 8   U S A . 	 a l e x w g @ p o s t . h a r v a r d . e d u 	 	 	 	 	 B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B u r k e   J . ,   2 0 0 6 ,   W O R K S H   W O R L D   S E N S   W E ,   P 1 1 7 ;   C o r l e y   A . - M ,   2 0 0 9 ,   I E E E   S P E C T R U M       0 9 2 3 ;   G u i z z o   E . ,   2 0 1 0 ,   I E E E   S P E C T R U M ;   I n t e r n a t i o n a l   T e l e c o m m u n i c a t i o n s   U n i o n ,   2 0 1 3 ,   W O R L D   2 0 1 1   I C T   F A C T S ;   W i s s n e r - G r o s s   A D ,   2 0 1 0 ,   P H Y S   R E V   E ,   V 8 2 ,   D O I   1 0 . 1 1 0 3 / P h y s R e v E . 8 2 . 0 5 6 1 0 4 ;   W i s s n e r - G r o s s   A D ,   2 0 0 8 ,   P   S O C   P H O T O - O P T   I N S ,   V 6 6 2 3 ,   P 6 2 3 0 4 	 7 	 0 	 0 	 S P I E - I N T   S O C   O P T I C A L   E N G I N E E R I N G 	 B E L L I N G H A M 	 1 0 0 0   2 0 T H   S T ,   P O   B O X   1 0 ,   B E L L I N G H A M ,   W A   9 8 2 2 7 - 0 0 1 0   U S A 	 0 2 7 7 - 7 8 6 X 	 	 9 7 8 - 0 - 8 1 9 4 - 9 5 4 9 - 5 	 P R O C   S P I E 	 	 	 2 0 1 3 	 8 7 5 8 	 	 	 	 	 	 	 	 	 1 0 . 1 1 1 7 / 1 2 . 2 0 1 5 7 5 6 	 	 6 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   O p t i c s 	 C o m p u t e r   S c i e n c e ;   O p t i c s 	 B H I 3 1 	 W O S : 0 0 0 3 2 5 4 9 4 1 0 0 0 2 1 	 	 
 B 	 H i y a m a ,   A ;   N a g a i ,   Y ;   H i r o s e ,   M ;   K o b a y a s h i ,   M ;   T a k a g i ,   H 	 	 	 I E E E 	 H i y a m a ,   A t s u s h i ;   N a g a i ,   Y u k i ;   H i r o s e ,   M i c h i t a k a ;   K o b a y a s h i ,   M a s a t o m o ;   T a k a g i ,   H i r o n o b u 	 	 	 Q u e s t i o n   F i r s t :   P a s s i v e   I n t e r a c t i o n   M o d e l   f o r   G a t h e r i n g   E x p e r i e n c e   a n d   K n o w l e d g e   f r o m   t h e   E l d e r l y 	 2 0 1 3   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   P E R V A S I V E   C O M P U T I N G   A N D   C O M M U N I C A T I O N S   W O R K S H O P S   ( P E R C O M   W O R K S H O P S ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   P e r v a s i v e   C o m p u t i n g   a n d   C o m m u n i c a t i o n s   W o r k s h o p s   ( P E R C O M   W o r k s h o p s ) 	 M A R   1 8 - 2 2 ,   2 0 1 3 	 S a n   D i e g o ,   C A 	 I E E E ,   I B M   R e s 	 	 m o b i l e   c o m m u n i c a t i o n ;   i n t e r a c t i o n   m o d e l ;   a c c e s s i b i l i t y ;   e l d e r l y   u s e r ;   c r o w d s o u r c i n g 	 	 W e   p r o p o s e   t h e   " Q u e s t i o n   F i r s t "   i n t e r a c t i o n   m o d e l ,   w h i c h   a i m s   t o   r e d u c e   t h e   b a r r i e r s   t o   a c c e s s i n g   o n l i n e   m o b i l e   i n f o r m a t i o n   t r a n s m i s s i o n   f o r   t h e   e l d e r l y   a n d   a g g r e g a t e   t h e i r   u s e f u l   e x p e r i e n c e   a n d   k n o w l e d g e   f o r   y o u n g e r   g e n e r a t i o n s .   " Q u e s t i o n   F i r s t "   h e l p s   e l d e r l y   u s e r s   t o   t r a n s f e r   t h e i r   k n o w l e d g e   o r   e x p e r i e n c e s   b y   s i m p l y   a n s w e r i n g   q u e s t i o n s   t h r o u g h   c o n v e n t i o n a l   m o b i l e   t e r m i n a l s .   T h e   p r o p o s e d   i n t e r a c t i o n   m o d e l   i s   b a s e d   o n   e x t e n d i n g   c o n v e n t i o n a l   i n t e r a c t i o n   m o d e s   o f   p h o n e   c a l l s   a n d   e m   a i l s ,   h e l p i n g   e l d e r l y   u s e r s   b e c o m e   f a m i l i a r   w i t h   s o c i a l   n e t w o r k i n g ,   w i t h o u t   t h e   r e q u i r e m e n t   o f   l e a r n i n g   t o   u s e   s o c i a l   n e t w o r k i n g   s e r v i c e   i n t e r f a c e s .   U l t i m a t e l y ,   w e   a i m   t o   e x p a n d   t h e   s o c i a l   p a r t i c i p a t i o n   o f   t h e   e l d e r l y   i n   b o t h   o n l i n e   c o m m u n i c a t i o n   a n d   o n l i n e   w o r k   s u c h   a s   c r o w d s o u r c i n g .   W e   r e p o r t   t h e   r e s u l t s   o f   a   t w o - w e e k   u s e r   s t u d y   o n   t h e   c r o w d s o u r c i n g   o f   p a r t i c i p a n t s '   e x p e r i e n c e   a n d   k n o w l e d g e   t h r o u g h   o n l i n e   c o m m u n i c a t i o n ,   a n d   a n a l y z e   t h e   i n f o r m a t i o n   o b t a i n e d   t o   e v a l u a t e   t h e   e f f i c i e n c y   o f   t h i s   i n t e r a c t i o n   m o d e l   b y   e x t r a c t i n g   f e a t u r e s   o f   e a c h   p a r t i c i p a n t ' s   k n o w l e d g e   a n d   e x p e r i e n c e   v i a   t h e   p r o p o s e d   m e t h o d . 	 [ H i y a m a ,   A t s u s h i ;   N a g a i ,   Y u k i ;   H i r o s e ,   M i c h i t a k a ]   U n i v   T o k y o ,   I S T ,   T o k y o ,   J a p a n 	 H i y a m a ,   A   ( r e p r i n t   a u t h o r ) ,   U n i v   T o k y o ,   I S T ,   T o k y o ,   J a p a n . 	 y n a g a i @ c y b e r . t . u - t o k y o . a c . j p ;   a t s u s h i @ c y b e r . t . u - t o k y o . a c . j p ;   h i r o s e @ c y b e r . t . u - t o k y o . a c . j p ;   m s t m @ j p . i b m . c o m ;   t a k a g i h @ j p . i b m . c o m 	 	 	 	 	 A g e i n g   S o c i e t i e s ,   W I S D   Y E A R S ;   B e n t l e y   F .   R . ,   2 0 1 1 ,   P   1 3   I N T   C   U B   C O M P   U ,   P 3 1 ;   C o u l m a s   F l o r i a n ,   2 0 0 7 ,   P O P U L A T I O N   D E C L I N E   A ;   D i g i u m   I n c ,   A S T   O P   S O U R C   T E L   P R O ;   F r i e d m a n   H .   S . ,   2 0 1 1 ,   L O N G E V I T Y   P R O J E C T   S U ;   H a n s o n   V . ,   2 0 1 0 ,   P   A C M   C H I   2 0 1 0   A P R   1 ;   H a r l e y   D ,   2 0 0 9 ,   U N I V E R S A L   A C C E S S   I N F ,   V 8 ,   P 5 ,   D O I   1 0 . 1 0 0 7 / s 1 0 2 0 9 - 0 0 8 - 0 1 2 7 - y ;   K o b a y a s h i   M . ,   2 0 1 1 ,   L E C T U R E   N O T E S   I N   C O M ,   V 6 9 4 6 ,   P 8 3 ;   L e u n g   R . ,   2 0 0 9 ,   P   C H I 2 0 1 0   W O R K S H   S E N ;   M i n i s t r y   o f   I n t e r n a l   A f f a i r s   a n d   C o m m u n i c a t i o n s   o f   J a p a n ,   2 0 0 8 ,   C O M M   U S   T R E N D   S U R V   2 ;   N T T   D O C O M O   I N C ,   R A K   R A K   P H O N   S E R ;   R o s s   J o e l ,   2 0 1 0 ,   P   2 8   I N T   C   H U M   F A C T ;   S A L T O N   G ,   1 9 8 8 ,   I N F O R M   P R O C E S S   M A N A G ,   V 2 4 ,   P 5 1 3 ,   D O I   1 0 . 1 0 1 6 / 0 3 0 6 - 4 5 7 3 ( 8 8 ) 9 0 0 2 1 - 0 ;   S o c i a l b a k e r s ,   2 0 1 1 ,   J A P   F A C   S T A T   U S   A G   D ;   U n i t e d   N a t i o n s ,   2 0 0 2 ,   W O R L D   P O P   A G   1 9 5 0   2 0 ;   Y a h o o !   J A P A N ,   2 0 1 2 ,   J A P   M O R P H   A N   A P I 	 1 6 	 1 	 1 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 6 7 3 - 5 0 7 7 - 8 ;   9 7 8 - 1 - 4 6 7 3 - 5 0 7 5 - 4 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 1 5 1 	 1 5 6 	 	 	 	 6 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 B H E 5 4 	 W O S : 0 0 0 3 2 5 1 7 8 4 0 0 0 2 8 	 	 
 B 	 D e m i r b a s ,   M ;   Y i l m a z ,   Y S ;   B u l u t ,   M F 	 	 	 I E E E 	 D e m i r b a s ,   M u r a t ;   Y i l m a z ,   Y a v u z   S e l i m ;   B u l u t ,   M u h a m m e d   F a t i h 	 	 	 E y w a :   C r o w d s o u r c e d   a n d   c l o u d s o u r c e d   o m n i s c i e n c e 	 2 0 1 3   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   P E R V A S I V E   C O M P U T I N G   A N D   C O M M U N I C A T I O N S   W O R K S H O P S   ( P E R C O M   W O R K S H O P S ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   P e r v a s i v e   C o m p u t i n g   a n d   C o m m u n i c a t i o n s   W o r k s h o p s   ( P E R C O M   W o r k s h o p s ) 	 M A R   1 8 - 2 2 ,   2 0 1 3 	 S a n   D i e g o ,   C A 	 I E E E ,   I B M   R e s 	 	 C r o w d s o u r c e d   c o l l a b o r a t i o n ;   S m a r t p h o n e s ;   I n t e r n e t   o f   t h i n g s ;   S o c i a l   n e t w o r k s ;   C l o u d   c o m p u t i n g 	 	 H e r e   w e   p r e s e n t   o u r   u b i q u i t o u s   c o m p u t i n g   v i s i o n ,   E y w a .   E y w a   i s   a n   o p e n   p u b l i s h - s u b s c r i b e   s y s t e m   t h a t   e m p l o y s   c r o w d s o u r c i n g   f o r   t a s k i n g   a n d   s o c i a l   n e t w o r k s   &   m a c h i n e   l e a r n i n g   f o r   i d e n t i f y i n g   r e l e v a n c e .   W e   a r g u e   t h a t   c r o w d s o u r c i n g   ( a n d   t h e   s o c i a l   n e t w o r k s   a n d   m a c h i n e   l e a r n i n g   t h a t   e n a b l e   i t )   s h o u l d   b e   a   f i r s t   c l a s s   c i t i z e n   i n   u b i q u i t o u s   c o m p u t i n g .   W e   a l s o   o b s e r v e   t h a t   c l o u d   c o m p u t i n g   i s   a   n a t u r a l   p l a t f o r m   t o   h o s t   s u c h   f u t u r e   u b i q u i t o u s   c o m p u t i n g   s y s t e m s .   W e   d i s c u s s   a b o u t   s o m e   a p p l i c a t i o n s   e n a b l e d   b y   E y w a ,   a n d   f o c u s   o n   o u r   C u r a t e d L i v i n g   a p p l i c a t i o n   ( w h i c h   e m p h a s i z e s   " l e s s   c h o i c e   m o r e   r e l e v a n c e "   a p p r o a c h )   a s   a   c a s e   s t u d y . 	 [ D e m i r b a s ,   M u r a t ;   Y i l m a z ,   Y a v u z   S e l i m ;   B u l u t ,   M u h a m m e d   F a t i h ]   S U N Y   B u f f a l o ,   D e p t   C o m p   S c i   &   E n g n ,   U b i q u i t o u s   C o m p   L a b ,   B u f f a l o ,   N Y   1 4 2 6 0   U S A 	 D e m i r b a s ,   M   ( r e p r i n t   a u t h o r ) ,   S U N Y   B u f f a l o ,   D e p t   C o m p   S c i   &   E n g n ,   U b i q u i t o u s   C o m p   L a b ,   B u f f a l o ,   N Y   1 4 2 6 0   U S A . 	 d e m i r b a s @ b u f f a l o . e d u ;   y a v u z s e l @ b u f f a l o . e d u ;   m b u l u t @ b u f f a l o . e d u 	 	 	 	 	 A k c o r a   C .   G . ,   2 0 1 0 ,   S O M A   2 0 1 0   P   1   W O R K S H ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 6 4 8 5 8 . 1 9 6 4 8 6 7 ;   A t z o r i   L ,   2 0 1 0 ,   C O M P U T   N E T W ,   V 5 4 ,   P 2 7 8 7 ,   D O I   1 0 . 1 0 1 6 / j . c o m n e t . 2 0 1 0 . 0 5 . 0 1 0 ;   B a l d a w a   R . ,   2 0 1 2 ,   N S D I   1 2 ;   B u l u t   M . ,   2 0 1 2 ,   L E C T   N O T E S   I   C O M P   S C ;   B u l u t   M .   F . ,   2 0 1 1 ,   P E R C O M   W O R K S H ,   P 5 1 3 ;   D e a n   J ,   2 0 0 8 ,   C O M M U N   A C M ,   V 5 1 ,   P 1 0 7 ,   D O I   1 0 . 1 1 4 5 / 1 3 2 7 4 5 2 . 1 3 2 7 4 9 2 ;   D e m i r b a s   M u r a t ,   2 0 1 0 ,   2 0 1 0   I E E E   I n t e r n a t i o n a l   S y m p o s i u m   o n   " A   W o r l d   o f   W i r e l e s s ,   M o b i l e   a n d   M u l t i m e d i a   N e t w o r k s "   ( W o W M o M ) ,   D O I   1 0 . 1 1 0 9 / W O W M O M . 2 0 1 0 . 5 5 3 4 9 1 0 ;   M a l e w i c z   G . ,   2 0 1 0 ,   S I G M O D ,   P 1 3 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 0 7 1 6 7 . 1 8 0 7 1 8 4 ;   M a u s a m   C .   L i n ,   2 0 1 2 ,   H U M   C O M P   W O R K S H   H C O M ;   S u d h a a k a r   R . ,   2 0 0 9 ,   1 0   I E E E   I N T   S   W O R L D ;   W E I S E R   M ,   1 9 9 1 ,   S C I   A M ,   V 2 6 5 ,   P 9 4 ;   Z h o u   P . ,   2 0 1 2 ,   M O B I S Y S   1 2 ,   P 3 7 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 3 0 7 6 3 6 . 2 3 0 7 6 7 1 	 1 2 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 6 7 3 - 5 0 7 7 - 8 ;   9 7 8 - 1 - 4 6 7 3 - 5 0 7 5 - 4 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 1 9 3 	 1 9 8 	 	 	 	 6 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 B H E 5 4 	 W O S : 0 0 0 3 2 5 1 7 8 4 0 0 0 3 5 	 	 
 B 	 G r e g o r i ,   E ;   L e n z i n i ,   L ;   L u c o n i ,   V ;   V e c c h i o ,   A 	 	 	 I E E E 	 G r e g o r i ,   E n r i c o ;   L e n z i n i ,   L u c i a n o ;   L u c o n i ,   V a l e r i o ;   V e c c h i o ,   A l e s s i o 	 	 	 S e n s i n g   t h e   I n t e r n e t   t h r o u g h   c r o w d s o u r c i n g 	 2 0 1 3   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   P E R V A S I V E   C O M P U T I N G   A N D   C O M M U N I C A T I O N S   W O R K S H O P S   ( P E R C O M   W O R K S H O P S ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   P e r v a s i v e   C o m p u t i n g   a n d   C o m m u n i c a t i o n s   W o r k s h o p s   ( P E R C O M   W o r k s h o p s ) 	 M A R   1 8 - 2 2 ,   2 0 1 3 	 S a n   D i e g o ,   C A 	 I E E E ,   I B M   R e s 	 	 	 S E N S O R   W E B 	 P o r t o l a n   i s   a   c r o w d s o u r c i n g - b a s e d   s y s t e m   a i m e d   a t   b u i l d i n g   a n   a n n o t a t e d   g r a p h   o f   t h e   I n t e r n e t :   t h e   s m a r t p h o n e s   o f   p a r t i c i p a t i n g   v o l u n t e e r s   a r e   u s e d   a s   m o b i l e   m o n i t o r s   t o   c o l l e c t   m e a s u r e s   a b o u t   t h e   n e t w o r k   t h a t   s u r r o u n d s   t h e m ,   t h e n   r e s u l t s   a r e   c o n v e y e d   o n   a   c e n t r a l   s e r v e r   w h e r e   t h e y   a r e   a g g r e g a t e d .   T h u s ,   d i f f e r e n t l y   f r o m   a l l   t h e   o t h e r   I n t e r n e t   m o n i t o r i n g   s y s t e m s ,   w h i c h   a r e   b a s e d   o n   f i x e d   i n f r a s t r u c t u r e ,   P o r t o l a n   r e l y   o n   a   m u l t i t u d e   o f   m o b i l e   s e n s i n g   n o d e s .   W h i l e   t h i s   p a v e s   t h e   w a y   t o   t h e   o p p o r t u n i t y   o f   h a v i n g   d e t a i l e d   a n d   g e o - r e f e r e n c e d   m e a s u r e s ,   t h e   d e s i g n   o f   t h e   s y s t e m s   h a s   t o   t a k e   i n t o   a c c o u n t   a d d i t i o n a l   d i f f i c u l t i e s   s u c h   a s   s c a l a b i l i t y ,   c o o r d i n a t i o n   a n d   s m a r t p h o n e s '   r e a c h a b i l i t y .   B e s i d e s   d e s c r i b i n g   t h e   P o r t o l a n ' s   a r c h i t e c t u r e ,   t h i s   p a p e r   a l s o   s h o w s   s o m e   p r e l i m i n a r y   r e s u l t s   t h a t   c o n f i r m   t h e   v a l i d i t y   o f   t h e   p r o p o s e d   a p p r o a c h . 	 [ G r e g o r i ,   E n r i c o ]   I t a l i a n   N a t l   R e s   C o u n c i l   C N R ,   I s t   I n f o r m a t   &   T e l e m a t ,   P i s a ,   I t a l y 	 G r e g o r i ,   E   ( r e p r i n t   a u t h o r ) ,   I t a l i a n   N a t l   R e s   C o u n c i l   C N R ,   I s t   I n f o r m a t   &   T e l e m a t ,   P i s a ,   I t a l y . 	 e n r i c o . g r e g o r i @ i i t . c n r . i t ;   l u c i a n o . l e n z i n i @ i e t . u n i p i . i t ;   v a l e r i o . l u c o n i @ i e t . u n i p i . i t ;   a l e s s i o . v e c c h i o @ i e t . u n i p i . i t 	 	 	 	 	 A u g u s t i n   B r i c e ,   2 0 0 7 ,   P   E 2 E M O N   M A Y ,   P 1 ;   A v e r s a   R . ,   2 0 1 1 ,   L N C S ,   V 6 5 8 6 ,   P 5 5 5 ;   B r o r i n g   A ,   2 0 1 1 ,   S E N S O R S - B A S E L ,   V 1 1 ,   P 2 6 5 2 ,   D O I   1 0 . 3 3 9 0 / s 1 1 0 3 0 2 6 5 2 ;   C h a n g   H ,   2 0 0 4 ,   C O M P U T   N E T W ,   V 4 4 ,   P 7 3 7 ,   D O I   1 0 . 1 0 1 6 / j . c o m n e t . 2 0 0 3 . 0 3 . 0 0 1 ;   C o h e n   R . ,   2 0 0 6 ,   I E E E   I N F O C O M ;   C u o m o   A n t o n i o ,   2 0 1 1 ,   P r o c e e d i n g s   o f   t h e   1 s t   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C l o u d   C o m p u t i n g   a n d   S e r v i c e s   S c i e n c e .   C L O S E R   2 0 1 1 ;   F a g g i a n i   A d r i a n o ,   2 0 1 2 ,   1 0   I N T   S   M O D   O P T   M O B ,   P 3 1 8 ;   F o e r s t e r   T ,   2 0 0 9 ,   I N T E R N A T I O N A L   C O N F E R E N C E   O N   A D V A N C E D   G E O G R A P H I C   I N F O R M A T I O N   S Y S T E M S   A N D   W E B   S E R V I C E S :   G E O W S   2 0 0 9 ,   P R O C E E D I N G S ,   P 9 8 ;   G a o   L X ,   2 0 0 1 ,   I E E E   A C M   T   N E T W O R K ,   V 9 ,   P 7 3 3 ;   N o r t o n   W . ,   2 0 1 1 ,   I N T E R N E T   P E E R I N G   P L A ;   O l i v e i r a   R ,   2 0 0 8 ,   P E R F   E   R   S I ,   V 3 6 ,   P 2 1 7 ,   D O I   1 0 . 1 1 4 5 / 1 3 8 4 5 2 9 . 1 3 7 5 4 8 2 ;   O l i v e i r a   R ,   2 0 1 0 ,   I E E E   A C M   T   N E T W O R K ,   V 1 8 ,   P 1 0 9 ,   D O I   1 0 . 1 1 0 9 / T N E T . 2 0 0 9 . 2 0 2 0 7 9 8 ;   R e k h t e r   Y ,   2 0 0 6 ,   4 2 7 1   R F C ;   S h a v i t t   Y ,   2 0 0 5 ,   A C M   S I G C O M M   C O M P   C O M ,   V 3 5 ,   P 7 1 ,   D O I   1 0 . 1 1 4 5 / 1 0 9 6 5 3 6 . 1 0 9 6 5 4 6 ;   S r i s u r e s h   P ,   2 0 0 1 ,   3 0 2 2   R F C ;   S t a s c h   C ,   2 0 1 2 ,   C O M P U T   G E O S C I - U K ,   V 4 7 ,   P 1 1 1 ,   D O I   1 0 . 1 0 1 6 / j . c a g e o . 2 0 1 1 . 1 1 . 0 0 8 ;   V e i t c h   D ,   2 0 0 9 ,   I E E E   I N F O C O M   S E R ,   P 1 3 9 5 ,   D O I   1 0 . 1 1 0 9 / I N F C O M . 2 0 0 9 . 5 0 6 2 0 5 5 	 1 7 	 4 	 4 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 6 7 3 - 5 0 7 7 - 8 ;   9 7 8 - 1 - 4 6 7 3 - 5 0 7 5 - 4 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 2 4 8 	 2 5 4 	 	 	 	 7 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 B H E 5 4 	 W O S : 0 0 0 3 2 5 1 7 8 4 0 0 0 4 5 	 	 
 B 	 E a g l i n ,   T ;   S u b r a m a n i a n ,   K ;   P a y t o n ,   J 	 	 	 I E E E 	 E a g l i n ,   T o d d ;   S u b r a m a n i a n ,   K a l p a t h i ;   P a y t o n ,   J a m i e 	 	 	 3 D   M o d e l i n g   B y   t h e   M a s s e s :   A   M o b i l e   A p p   f o r   M o d e l i n g   B u i l d i n g s 	 2 0 1 3   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   P E R V A S I V E   C O M P U T I N G   A N D   C O M M U N I C A T I O N S   W O R K S H O P S   ( P E R C O M   W O R K S H O P S ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   P e r v a s i v e   C o m p u t i n g   a n d   C o m m u n i c a t i o n s   W o r k s h o p s   ( P E R C O M   W o r k s h o p s ) 	 M A R   1 8 - 2 2 ,   2 0 1 3 	 S a n   D i e g o ,   C A 	 I E E E ,   I B M   R e s 	 	 3 D   g e o m e t r i c   m o d e l i n g ;   c r o w d s o u r c i n g ;   n a v i g a t i o n 	 	 K n o w l e d g e   o f   t h e   3 D   g e o m e t r y   o f   l a r g e   u r b a n   b u i l d i n g s   a n d   s u r r o u n d i n g   s t r u c t u r e s   i s   i m p o r t a n t   i n   i n d o o r   n a v i g a t i o n   a p p l i c a t i o n s ,   e m e r g e n c i e s ,   a n d   e v a c u a t i o n   r e s p o n s e .   V i s u a l   r e p r e s e n t a t i o n s   o f   t h e   3 D   g e o m e t r y   c a n   b e   u s e f u l   t o   u s e r s   n a v i g a t i n g   u n f a m i l i a r   b u i l d i n g s .   T h e   t r a d i t i o n a l   m e t h o d s   o f   c o n s t r u c t i n g   3 D   m o d e l s   f r o m   C A D   d r a w i n g s   o r   G I S   s y s t e m s   a r e   p r o n e   t o   e r r o r ,   d i f f i c u l t   t o   m o d i f y   i n   a   t i m e l y   m a n n e r ,   c a n   e a s i l y   b e c o m e   o u t - o f - d a t e ,   a n d   a r e   n o t   s c a l a b l e .   W e   e x p l o i t   t h e   p o w e r   o f   c u r r e n t   m o b i l e   d e v i c e s   ( s m a r t p h o n e s ,   t a b l e t s )   a n d   t h e i r   3 D   g r a p h i c s   r e n d e r i n g   c a p a b i l i t i e s   t o   p r e s e n t   a   m o b i l e   a p p l i c a t i o n   t h a t   u s e s   c r o w d s o u r c i n g   t o   b u i l d   3 D   m o d e l s   o f   l a r g e   b u i l d i n g s   a n d   u r b a n   s t r u c t u r e s .   O u r   s y s t e m   i s   b a s e d   o n   a   c l i e n t - s e r v e r   a r c h i t e c t u r e ,   w h e r e   u s e r s   o f   a   m o b i l e   a p p l i c a t i o n   c r e a t e ,   s u b m i t ,   a n d   v o t e   o n   3 D   m o d e l s   o f   b u i l d i n g   c o m p o n e n t s ;   t h e   s e r v e r   c o l l e c t s   a n d   u s e s   v o t e s   p e r t a i n i n g   t o   a c c u r a c y   a n d   c o m p l e t i o n   o f   a   m o d e l   t o   d e t e r m i n e   i f   a n   o b j e c t   m a y   b e   a p p r o v e d .   W e   d e s c r i b e   p r e l i m i n a r y   r e s u l t s   f r o m   u s i n g   t h e   s y s t e m   o n   a   f l o o r   o f   a n   a c a d e m i c   b u i l d i n g   a n d   p r o p o s e   i t s   d e p l o y m e n t   a n d   d e m o n s t r a t i o n   d u r i n g   P e r c o m   2 0 1 3   f o r   m a p p i n g   t h e   c o n f e r e n c e   v e n u e   b y   m e e t i n g   p a r t i c i p a n t s . 	 [ E a g l i n ,   T o d d ;   S u b r a m a n i a n ,   K a l p a t h i ;   P a y t o n ,   J a m i e ]   U n i v   N   C a r o l i n a ,   D e p t   C o m p   S c i ,   C h a r l o t t e ,   N C   2 8 2 2 3   U S A 	 E a g l i n ,   T   ( r e p r i n t   a u t h o r ) ,   U n i v   N   C a r o l i n a ,   D e p t   C o m p   S c i ,   C h a r l o t t e ,   N C   2 8 2 2 3   U S A . 	 t e a g l i n @ u n c c . e d u ;   k r s @ u n c c . e d u ;   p a y t o n @ u n c c . e d u 	 	 	 	 	 C o l l a d a ,   D I G   A S S   F X   E X C H   S C H E ;   G o o d c h i l d   M . F . ,   2 0 0 7 ,   G E O J O U R N A L ,   V 6 9 ,   P 2 1 1 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 7 - 9 1 1 1 - Y ;   G u e s t   J . ,   P   S P I E   C   V I S   D A T   A N ;   H a k l a y   M ,   2 0 0 8 ,   I E E E   P E R V A S   C O M P U T ,   V 7 ,   P 1 2 ,   D O I   1 0 . 1 1 0 9 / M P R V . 2 0 0 8 . 8 0 ;   K I M   S ,   2 0 0 7 ,   I E E E   S   V I S   A N A L ,   P 3 5 ;   L i u   J . ,   2 0 1 0 ,   P   S P I E   C   D E F   S E C   S E N ;   R i c e   A . ,   2 0 1 0 ,   8   A N N   I E E E E   I N T   C   P E ;   W o o d m a n   O . ,   2 0 0 8 ,   P   1 0   I N T   C   U B   C O M P ,   P 1 1 4 ,   D O I   1 0 . 1 1 4 5 / 1 4 0 9 6 3 5 . 1 4 0 9 6 5 1 	 8 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 6 7 3 - 5 0 7 7 - 8 ;   9 7 8 - 1 - 4 6 7 3 - 5 0 7 5 - 4 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 3 1 5 	 3 1 7 	 	 	 	 3 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 B H E 5 4 	 W O S : 0 0 0 3 2 5 1 7 8 4 0 0 0 5 8 	 	 
 B 	 A l z a n t o t ,   M ;   Y o u s s e f ,   M 	 	 	 I E E E 	 A l z a n t o t ,   M o u s t a f a ;   Y o u s s e f ,   M o u s t a f a 	 	 	 D e m o n s t r a t i n g   C r o w d I n s i d e :   A   S y s t e m   f o r   t h e   A u t o m a t i c   C o n s t r u c t i o n   o f   I n d o o r   F l o o r - p l a n s 	 2 0 1 3   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   P E R V A S I V E   C O M P U T I N G   A N D   C O M M U N I C A T I O N S   W O R K S H O P S   ( P E R C O M   W O R K S H O P S ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   P e r v a s i v e   C o m p u t i n g   a n d   C o m m u n i c a t i o n s   W o r k s h o p s   ( P E R C O M   W o r k s h o p s ) 	 M A R   1 8 - 2 2 ,   2 0 1 3 	 S a n   D i e g o ,   C A 	 I E E E ,   I B M   R e s 	 	 A u t o m a t i c   f l o o r - p l a n s   c o n s t r u c t i o n ;   c r o w d s o u r c i n g ;   m o b i l e   c o m p u t i n g 	 	 T h e   e x i s t e n c e   o f   a   w o r l d w i d e   i n d o o r   f l o o r - p l a n s   d a t a b a s e   c a n   l e a d   t o   s i g n i f i c a n t   g r o w t h   i n   p e r v a s i v e   c o m p u t i n g ,   e s p e c i a l l y   f o r   i n d o o r   e n v i r o n m e n t s .   I n   t h i s   d e m o n s t r a t i o n ,   w e   s h o w   C r o w d I n s i d e :   a   c r o w d s o u r c i n g - b a s e d   s y s t e m   f o r   t h e   a u t o m a t i c   c o n s t r u c t i o n   o f   b u i l d i n g s   f l o o r - p l a n s .   C r o w d I n s i d e   l e v e r a g e s   t h e   s m a r t   p h o n e s   s e n s o r s   t h a t   a r e   u b i q u i t o u s l y   a v a i l a b l e   w i t h   h u m a n s   w h o   u s e   a   b u i l d i n g   t o   a u t o m a t i c a l l y   a n d   t r a n s p a r e n t l y   c o n s t r u c t   a c c u r a t e   m o t i o n   t r a c e s .   C r o w d I n s i d e   p r o c e s s e s   t h e   c o l l e c t e d   m o t i o n   t r a c e s   f r o m   d i f f e r e n t   v i s i t o r s   o f   a   b u i l d i n g   t o   d e t e c t   i t s   o v e r a l l   f l o o r - p l a n   s h a p e   a s   w e l l   a s   h i g h e r   l e v e l   s e m a n t i c s   s u c h   a s   n u m b e r   o f   r o o m s ,   t h e i r   s h a p e s   a n d   l o c a t i o n s ,   a n d   c o r r i d o r s   s h a p e s   a l o n g   w i t h   a   v a r i e t y   o f   p o i n t s   o f   i n t e r e s t   i n   t h e   e n v i r o n m e n t .   T h e   g o a l   o f   t h i s   d e m o   i s   t o   s h o w   h o w   t h e   a c c u r a t e   m o t i o n   t r a c e s   a r e   c o n s t r u c t e d   a s   w e l l   a s   h o w   t h e   b u i l d i n g   f l o o r - p l a n   c a n   b e   a u t o m a t i c a l l y   g e n e r a t e d . 	 [ A l z a n t o t ,   M o u s t a f a ]   E g y p t   J a p a n   U n i v   S c   &   T e c h ,   W i r e l e s s   R e s   C t r ,   A l e x a n d r i a ,   E g y p t 	 A l z a n t o t ,   M   ( r e p r i n t   a u t h o r ) ,   E g y p t   J a p a n   U n i v   S c   &   T e c h ,   W i r e l e s s   R e s   C t r ,   A l e x a n d r i a ,   E g y p t . 	 m o u s t a f a . a l z a n t o t @ e j u s t . e d u . e g ;   m o u s t a f a @ c s . u m d . e d u 	 	 	 	 	 A l z a n t o t   M . ,   2 0 1 2 ,   W I R   C O M M   N E T W   C   W C N C ,   P 3 2 0 4 ;   A l z a n t o t   M .   F . ,   2 0 1 2 ,   P   2 0   A C M   S I G S P A T I A L ;   E D E L S B R U N N E R   H ,   1 9 8 3 ,   I E E E   T   I N F O R M   T H E O R Y ,   V 2 9 ,   P 5 5 1 ,   D O I   1 0 . 1 1 0 9 / T I T . 1 9 8 3 . 1 0 5 6 7 1 4 ;   W a n g   H . ,   2 0 1 2 ,   P   1 0   I N T   C   M O B   S Y S T ,   P 1 9 7 	 4 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 6 7 3 - 5 0 7 7 - 8 ;   9 7 8 - 1 - 4 6 7 3 - 5 0 7 5 - 4 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 3 2 1 	 3 2 3 	 	 	 	 3 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 B H E 5 4 	 W O S : 0 0 0 3 2 5 1 7 8 4 0 0 0 6 0 	 	 
 B 	 C a r r e r a s ,   I ;   M i o r a n d i ,   D ;   T a m i l i n ,   A ;   S s e b a g g a l a ,   E R ;   C o n c i ,   N 	 	 	 I E E E 	 C a r r e r a s ,   I a c o p o ;   M i o r a n d i ,   D a n i e l e ;   T a m i l i n ,   A n d r e i ;   S s e b a g g a l a ,   E m m a n u e l   R . ;   C o n c i ,   N i c o l a 	 	 	 C r o w d - S e n s i n g :   w h y   C o n t e x t   M a t t e r s 	 2 0 1 3   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   P E R V A S I V E   C O M P U T I N G   A N D   C O M M U N I C A T I O N S   W O R K S H O P S   ( P E R C O M   W O R K S H O P S ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   P e r v a s i v e   C o m p u t i n g   a n d   C o m m u n i c a t i o n s   W o r k s h o p s   ( P E R C O M   W o r k s h o p s ) 	 M A R   1 8 - 2 2 ,   2 0 1 3 	 S a n   D i e g o ,   C A 	 I E E E ,   I B M   R e s 	 	 M o b i l e   c r o w d s o u r c i n g ;   c r o w d - s e n s i n g ;   c o n t e x t - a w a r e ;   l o c a l i z a t i o n ;   e n e r g y - e f f i c i e n c y 	 	 C r o w d - s e n s i n g   i s   b e c o m i n g   a   p o p u l a r   c o m p u t i n g   a n d   s e n s i n g   p a r a d i g m   f o r   e n c l o s i n g   h u m a n s   i n   t h e   s e n s i n g   l o o p .   T h e   u n d e r l y i n g   i d e a   i s   t h a t   p e o p l e ,   t o g e t h e r   w i t h   t h e i r   m o b i l e   d e v i c e ,   c a n   a c t   a s   m o b i l e   a n d   p e r v a s i v e   s e n s o r s ,   g a t h e r i n g   i n f o r m a t i o n   a b o u t   t h e   s u r r o u n d i n g   e n v i r o n m e n t   a n d   p o t e n t i a l l y   p r o v i d i n g   d i r e c t   i n p u t .   I n   t h i s   w o r k   w e   f o c u s   o n   h o w   t o   e m b e d   c o n t e x t - a w a r e n e s s   i n   a   c r o w d - s e n s i n g   s y s t e m   i n   o r d e r   p r e s e r v e   t h e   b a t t e r y   o f   u s e r ' s   m o b i l e   d e v i c e ,   w h i l e   m a x i m i z i n g   t h e   u s e r   p a r t i c i p a t i o n   t o   c r o w d - s e n s i n g   c a m p a i g n s .   W e   p r e s e n t   t h e   d e s i g n   a n d   i m p l e m e n t a t i o n   o f   t h e   M a t a d o r   p l a t f o r m ,   a n d   a   p r e l i m i n a r y   e v a l u a t i o n   o b t a i n e d   t h r o u g h   a   s m a l l - s c a l e   p i l o t   s t u d y . 	 [ C a r r e r a s ,   I a c o p o ;   M i o r a n d i ,   D a n i e l e ]   C R E A T E   N E T ,   T r e n t o ,   I t a l y 	 C a r r e r a s ,   I   ( r e p r i n t   a u t h o r ) ,   C R E A T E   N E T ,   V i a   C a s c a t a   5 6 - D ,   T r e n t o ,   I t a l y . 	 i a c o p o . c a r r e r a s @ c r e a t e - n e t . o r g ;   d a n i e l e . m i o r a n d i @ c r e a t e - n e t . o r g ;   a n d r e i . t a m i l i n @ u - h o p p e r . c o m ;   e m m a n u e l . s s e b a g g a l a @ s t u d e n t i . u n i t n . i t ;   c o n c i @ d i s i . u n i t n . i t 	 	 	 	 	 B u r k e   J . ,   2 0 0 6 ,   P   W S W ;   F a u l k n e r   M . ,   2 0 1 1 ,   P   I P S N   2 0 1 1   A P R   1 2   1 ;   G a n t i   R K ,   2 0 1 1 ,   I E E E   C O M M U N   M A G ,   V 4 9 ,   P 3 2 ,   D O I   1 0 . 1 1 0 9 / M C O M . 2 0 1 1 . 6 0 6 9 7 0 7 ;   L i n   K . ,   2 0 1 0 ,   P   A C M   M O B I S Y S ;   M u n   M . ,   2 0 0 9 ,   P   A C M   M O B I S Y S ;   R a   M . - R . ,   2 0 1 2 ,   P   A C M   M O B I S Y S   J U N ;   R a n a   R .   K . ,   2 0 1 0 ,   P   I P S N   A P R ;   R a v i n d r a n a t h   L .   S . ,   2 0 1 2 ,   P   H O T M O B I L E ;   S c h w e i z e r   I . ,   P   P H O N E S E N S E   N O V ;   T a m i l i n   A . ,   2 0 1 2 ,   P   U B I M I   W O R K S H   P I T T S 	 1 0 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 6 7 3 - 5 0 7 7 - 8 ;   9 7 8 - 1 - 4 6 7 3 - 5 0 7 5 - 4 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 3 6 8 	 3 7 1 	 	 	 	 4 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 B H E 5 4 	 W O S : 0 0 0 3 2 5 1 7 8 4 0 0 0 7 2 	 	 
 J 	 Z o l t a n ,   S ;   J i n i l ,   Y 	 	 	 	 Z o l t a n ,   S z u t s ;   J i n i l ,   Y o o 	 	 	 T h e   H u n g a r i a n   C i v i l   c r o w d s o u r c i n g   a n d   c r o w d f u n d i n g   a   g o o d   p r a c t i c e .   -   I n t e r n e t   c o m m u n i t y ,   a   n e w   r o l e 	 C I V I L   S Z E M L E 	 	 	 H u n g a r i a n 	 A r t i c l e 	 	 	 	 	 	 	 I D E A S 	 	 [ Z o l t a n ,   S z u t s ]   K o d o l a n y i   J a n o s   U n i v   A p p l   S c i ,   D e p t   M e d i a   &   C o m m u n ,   B u d a p e s t ,   H u n g a r y ;   [ J i n i l ,   Y o o ]   H a n k u k   U n i v   F o r e i g n   S t u d i e s ,   H u n g a r i a n   D e p t ,   S e o u l ,   S o u t h   K o r e a 	 Z o l t a n ,   S   ( r e p r i n t   a u t h o r ) ,   K o d o l a n y i   J a n o s   U n i v   A p p l   S c i ,   D e p t   M e d i a   &   C o m m u n ,   B u d a p e s t ,   H u n g a r y . 	 s z u t s z o l t a n @ u r a n o s . k o d o l a n y i . h u ;   y o o j i n i l @ h u f s . a c . k r 	 	 	 	 	 [ A n o n y m o u s ] ,   2 0 1 3 ,   H O G Y A N   S Z E R E Z H E T N E K ;   [ A n o n y m o u s ] ,   2 0 1 2 ,   E L I N D U L T A K   A Z   E L S O   M ;   C h a f k i n   M a x ,   2 0 1 4 ,   K I C K S T A R T E R   C A N   F U N D ,   V 2 0 1 3 ,   P 9 2 ;   C o s t a l e s   F e r n a n d e z   A l b e r t o ,   2 0 1 2 ,   F O R U M ,   V 1 0 ,   P 1 1 5 ;   E b n e r   W ,   2 0 0 9 ,   R & D   M A N A G E ,   V 3 9 ,   P 3 4 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 9 . 0 0 5 6 4 . x ;   E l m q u i s t   M ,   2 0 0 9 ,   E U R O P E A N   J   I N N O V A T I O ,   V 1 2 ,   P 3 2 6 ;   G r e e n f i e l d   S u s a n ,   2 0 0 9 ,   I D E N T I T A S   2 1   S Z A Z A D B ;   H i n c h c l i f f e   D i o n ,   2 0 0 9 ,   C R O W D S O U R C I N G   5   R E A S ;   H o w e   J e f f ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 6 ;   T r a n   A n h t u a n ,   2 0 1 2 ,   I n d u s t r i a l   E n g i n e e e r i n g   &   M a n a g e m e n t   S y s t e m s   A n   I n t e r n a t i o n a l   J o u r n a l ,   V 1 1 ,   P 2 6 6 ,   D O I   1 0 . 7 2 3 2 / i e m s . 2 0 1 2 . 1 1 . 3 . 2 6 6 ;   M c C o r m a c k   D e r m o t ,   2 0 0 2 ,   W E B   2   0   2 0 0 3   0 8   A C   C ;   O ' R e i l l y   T i m ,   2 0 0 5 ,   W H A T   I S   W E B   2   0   D E S ;   P o e t z   M K ,   2 0 1 2 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 9 ,   P 2 4 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 1 1 . 0 0 8 9 3 . x ;   R o b e r t   P i n t e r ,   2 0 0 4 ,   C I V   S Z L E ,   V I I ,   P 2 5 ;   S h i l l e r   R J ,   2 0 1 3 ,   F I N A N C   A N A L   J ,   V 6 9 ,   P 2 1 ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   v o n   H a y e k   F r i e d r i c h ,   1 9 4 4 ,   R O A D   S E R F D O M ;   W e i s e r   M a r k ,   1 9 9 9 ,   A C M   S I G M O B I L E   M O B I L E ;   Z o l t a n   K a c s u k ,   2 0 1 1 ,   Z E N E I   H A L O Z A T O K   Z A N E ,   P 9 3 	 1 9 	 1 	 1 	 U J   M A N D A T U M   K O N Y V K I A D O 	 B U D A P E S T 	 F R A T E R   G Y O R G Y   T E R   1 1 ,   B U D A P E S T ,   1 1 4 9 ,   H U N G A R Y 	 1 7 8 6 - 3 3 4 1 	 	 	 C I V   S Z L E 	 C i v .   S z l e . 	 	 2 0 1 3 	 1 0 	 3 	 	 	 	 	 3 1 	 + 	 	 	 	 1 6 	 P u b l i c   A d m i n i s t r a t i o n 	 P u b l i c   A d m i n i s t r a t i o n 	 2 2 9 X N 	 W O S : 0 0 0 3 2 5 3 0 1 3 0 0 0 0 2 	 	 
 S 	 W i e l e n s ,   R 	 	 M a r t i n e z ,   M G 	 	 W i e l e n s ,   R . 	 	 	 A c c e l e r a t i n g   t h e   i n n o v a t i o n   c y c l e   t h r o u g h   i n t e r m e d i a t i o n :   t h e   c a s e   o f   K r a f t ' s   m e l t - p r o o f   c h o c o l a t e   b a r s 	 O P E N   I N N O V A T I O N   I N   T H E   F O O D   A N D   B E V E R A G E   I N D U S T R Y 	 W o o d h e a d   P u b l i s h i n g   i n   F o o d   S c i e n c e   T e c h n o l o g y   a n d   N u t r i t i o n 	 	 E n g l i s h 	 A r t i c l e ;   B o o k   C h a p t e r 	 	 	 	 	 	 c r o w d s o u r c i n g ;   e x p e r t   c r o w d s ;   o p e n   i n n o v a t i o n ;   n e e d s - d r i v e n   i n n o v a t i o n 	 	 T h e   s u c c e s s f u l   u s e   o f   o p e n   i n n o v a t i o n   b y   K r a f t   t o   f i n d   s o l u t i o n s   f o r   m e l t - p r o o f   c h o c o l a t e   b a r s   i s   d e s c r i b e d .   A   p r o b l e m   b r o a d c a s t i n g   m e t h o d o l o g y   e n a b l e d   K r a f t   t o   r e a c h   o u t   t o   o v e r   1 0   0 0 0   r e l e v a n t   e x p e r t s   w i t h   t h i s   s p e c i f i c   c h a l l e n g e   a n d   s o l u t i o n s   w e r e   p r o p o s e d   f r o m   t h e   o p e n   g l o b a l   i n n o v a t i o n   c o m m u n i t y   ( c r o w d s o u r c i n g ) .   T h e   k e y   r e c o m m e n d a t i o n s   f o r   o r g a n i z a t i o n s   t o   b e c o m e   m o r e   s u c c e s s f u l   i n   o p e n   i n n o v a t i o n   a r e   s u m m a r i z e d   a s   c l e a r l y   d e f i n e d   p r o b l e m   o w n e r s h i p ,   c r e a t i n g   a   g o o d   o p e n - i n n o v a t i o n   e n v i r o n m e n t ,   d e c i d i n g   a b o u t   t h e   s p a n   o f   c o n t r o l ,   c r e a t i n g   r e a l i s t i c   t i m e l i n e s   a n d   b u d g e t s ,   a n d   d e c i d i n g   r e s o u r c e   a l l o c a t i o n . 	 N i n e S i g m a ,   B - 3 0 0 0   L o u v a i n ,   B e l g i u m 	 W i e l e n s ,   R   ( r e p r i n t   a u t h o r ) ,   N i n e S i g m a ,   K o n i n g   L e o p o l d   1   S t r   3 ,   B - 3 0 0 0   L o u v a i n ,   B e l g i u m . 	 w i e l e n s @ n i n e s i g m a . c o m 	 	 	 	 	 B E Z O S   J .   P . ,   2 0 0 9 ,   A M A Z O N   C O M   A N N   R E P O R ;   C H E S B R O U G H   H . ,   2 0 1 1 ,   E U R   I N N   C   B I L L   D E N M ;   D I A L E G O ,   2 0 1 2 ,   F R O N T   E N D   I N N   E M E A   C ;   G a n s k y   L . ,   2 0 1 0 ,   M E S H   W H Y   F U T U R E   B U S I ;   M C G O N I C A L   J . ,   2 0 1 0 ,   T E D   C   L O N G   B E A C H   C A L ;   P I L L E R   F . ,   2 0 1 1 ,   B I L A T   U S   S   T R A N S   E U ;   P i l l e r   F . ,   2 0 0 9 ,   O P E N   I N N O V A T I O N   C U S T ;   R E S N I C K   D . ,   2 0 1 1 ,   B E H O L D   G R A N D   C H A L L E N 	 8 	 0 	 0 	 W O O D H E A D   P U B L   L T D 	 C A M B R I D G E 	 A B I N G T O N   H A L L   A B I N G T O N ,   C A M B R I D G E   C B 1   6 A H ,   C A M B S ,   E N G L A N D 	 2 0 4 2 - 8 0 4 9 	 	 9 7 8 - 0 - 8 5 7 0 9 - 7 2 4 - 8 ;   9 7 8 - 0 - 8 5 7 0 9 - 5 9 5 - 4 	 W O O D H E A D   P U B L   F O O D   S 	 W o o d h e a d   P u b l .   F o o d   S c i .   T e c h n o l .   N u t r . 	 	 2 0 1 3 	 	 2 4 3 	 	 	 	 	 6 3 	 7 3 	 	 1 0 . 1 5 3 3 / 9 7 8 0 8 5 7 0 9 7 2 4 8 . 1 . 6 3 	 1 0 . 1 5 3 3 / 9 7 8 0 8 5 7 0 9 7 2 4 8 	 1 1 	 B u s i n e s s ;   F o o d   S c i e n c e   &   T e c h n o l o g y 	 B u s i n e s s   &   E c o n o m i c s ;   F o o d   S c i e n c e   &   T e c h n o l o g y 	 B H I 5 6 	 W O S : 0 0 0 3 2 5 5 3 9 0 0 0 0 0 6 	 	 
 S 	 K e m p ,   S E 	 	 M a r t i n e z ,   M G 	 	 K e m p ,   S .   E . 	 	 	 C o n s u m e r s   a s   p a r t   o f   f o o d   a n d   b e v e r a g e   i n d u s t r y   i n n o v a t i o n 	 O P E N   I N N O V A T I O N   I N   T H E   F O O D   A N D   B E V E R A G E   I N D U S T R Y 	 W o o d h e a d   P u b l i s h i n g   i n   F o o d   S c i e n c e   T e c h n o l o g y   a n d   N u t r i t i o n 	 	 E n g l i s h 	 A r t i c l e ;   B o o k   C h a p t e r 	 	 	 	 	 	 c o - c r e a t i o n ;   c o m p a n y   c u l t u r e ;   c r o w d s o u r c i n g ;   i n n o v a t i o n ;   p r o s u m e r i s m 	 P R O D U C T   D E V E L O P M E N T 	 M o s t   n e w   f o o d   a n d   b e v e r a g e   p r o d u c t s   f a i l   c o m m e r c i a l l y .   T h e   c h a n c e   o f   s u c c e s s f u l   i n n o v a t i o n   c a n   b e   i m p r o v e d   b y   m a k i n g   c o n s u m e r s   p a r t   o f   t h e   i n n o v a t i o n   p r o c e s s .   C o n s u m e r - d r i v e n   f o o d   a n d   b e v e r a g e   i n n o v a t i o n ,   w h i c h   d e s i g n s   p r o d u c t s   t o   m e e t   c o n s u m e r   n e e d s ,   c a n   b e   a c h i e v e d   t h r o u g h   a   c o m p a n y   c u l t u r e   f o c u s e d   o n   t h e   c o n s u m e r   a n d   b y   a p p l y i n g   a p p r o p r i a t e   c o n s u m e r   i n p u t   t h r o u g h o u t   t h e   i n n o v a t i o n   p r o c e s s .   C o - c r e a t i o n   o f f e r s   a   n e w   w a y   t o   i n n o v a t e ,   i n   w h i c h   p r o s u m e r s   w o r k   i n   m u t u a l l y   b e n e f i c i a l   c o l l a b o r a t i o n   w i t h   c o m p a n i e s   t o   d e v e l o p   p r o d u c t s ,   o f t e n   t h r o u g h   s o c i a l   n e t w o r k i n g . 	 	 K e m p ,   S E   ( r e p r i n t   a u t h o r ) ,   3 1   C r o w   H i l l ,   B r o a d s t a i r s   C T 1 0   1 H T ,   K e n t ,   E n g l a n d . 	 s a r a h e k e m p @ b t i n t e r n e t . c o m 	 	 	 	 	 A C N F P ,   2 0 0 0 ,   G U I D   C O N D   T A S T   T R I A L ;   A S T M ,   2 0 0 7 ,   E 1 9 5 8 0 7 E 1   A S T M ;   A V A   R E S U R R E C C I O N ,   1 9 9 8 ,   C O N S   S E N S   T E S T   P R O D ;   B E A L L   A E ,   2 0 1 0 ,   S T R A T E G I C   M A R K E T   R E S ;   B E C K L E Y   J H ,   2 0 0 7 ,   A C C E L E R A T I N G   N E W   F O O ;   B I R N   R ,   2 0 0 2 ,   M A R K E T   R E S ;   B R A D L E Y   N ,   2 0 1 0 ,   M A R K E T I N G   R E S   T O O L S ;   B U I S S O N   P D ,   1 9 9 5 ,   F O O D   C H O I C E   C O N S U M E R ;   B U R G E R B U S I N E S S . C O M ,   2 0 1 1 ,   M C D O N   U S   S O C   M E D   M E N ;   C a r d e l l o   A V ,   2 0 0 7 ,   W O O D H E A D   P U B L   F O O D   S ,   P 2 2 3 ,   D O I   1 0 . 1 5 3 3 / 9 7 8 1 8 4 5 6 9 3 3 8 1 . 2 . 2 2 3 ;   C o o p e r   R . ,   1 9 9 8 ,   P O R T F O L I O   M A N A G E M E N T ;   C o o p e r   R .   G . ,   2 0 1 1 ,   W I N N I N G   N E W   P R O D U C T S ;   C o o p e r   R . G . ,   1 9 8 6 ,   W I N N I N G   N E W   P R O D U C T S ;   C o s t a   A I A ,   2 0 0 6 ,   T R E N D S   F O O D   S C I   T E C H ,   V 1 7 ,   P 4 5 7 ,   D O I   1 0 . 1 0 1 6 / j . t i f s . 2 0 0 6 . 0 2 . 0 0 3 ;   C o x   H . ,   2 0 0 4 ,   Q U A L I T A T I V E   M A R K E T   R ,   V 7 ,   P 9 ,   D O I   1 0 . 1 1 0 8 / 1 3 5 2 2 7 5 0 4 1 0 5 1 2 8 4 0 ;   E S O M A R ,   2 0 0 8 ,   I C C   E S O M A R   I N T   C O D   M ;   F l o w e r s   S ,   2 0 1 0 ,   P E R S P E C T I V E S   U S E R   I N ,   P 1 6 1 ;   G E L I N A S   A ,   1 9 9 6 ,   A S T M   S P E C I A L   T E C H N I C ;   G O T T L I E B   M ,   2 0 1 0 ,   U T A L K M A R K E T I N G ;   G R O C E R Y   M A N U F A C T U R E R S   A S S O C I A T I O N ,   2 0 0 9 ,   C P G   I N N   G R O W T H   D E V   R ;   H a g u e   P ,   2 0 0 4 ,   M A R K E T   R E S   P R A C T I C E ;   H o u g h   G . ,   2 0 1 0 ,   S E N S O R Y   S H E L F   L I F E   E ;   H U C K   S ,   2 0 1 1 ,   S T R A T E G I C   R E L E V A N C E ;   I F S T ,   2 0 1 0 ,   I F S T   G U I D   E T H   P R O F   P ;   J a e g e r   S r ,   2 0 1 0 ,   W O O D H E A D   P U B L   F O O D   S ,   P 1 ,   D O I   1 0 . 1 5 3 3 / 9 7 8 1 8 4 5 6 9 9 9 7 0 ;   K A R D E S   F R ,   2 0 1 0 ,   C O N S U M E R   B E H A V   S C I   P ;   K e m p   S . E . ,   2 0 0 9 ,   S E N S O R Y   E V A L U A T I O N   P ;   K I P P L E   K F ,   2 0 0 0 ,   C A M B R I D G E   W O R L D   H I S T ;   K o s t e r   E P ,   2 0 0 7 ,   W O O D H E A D   P U B L   F O O D   S ,   P 2 6 2 ,   D O I   1 0 . 1 5 3 3 / 9 7 8 1 8 4 5 6 9 3 3 8 1 . 2 . 2 6 2 ;   K o z i n e t s   R V ,   2 0 0 8 ,   J   M A C R O M A R K E T I N G ,   V 2 8 ,   P 3 3 9 ,   D O I   1 0 . 1 1 7 7 / 0 2 7 6 1 4 6 7 0 8 3 2 5 3 8 2 ;   F r e w e r   L . ,   2 0 0 3 ,   B r i t i s h   F o o d   J o u r n a l ,   V 1 0 5 ,   P 7 1 4 ,   D O I   1 0 . 1 1 0 8 / 0 0 0 7 0 7 0 0 3 1 0 5 0 6 2 6 3 ;   L a w l e s s   H .   T . ,   2 0 1 0 ,   S E N S O R Y   E V A L U A T I O N   F ;   L u n d a h l   D ,   2 0 1 2 ,   B R E A K T H R O U G H   F O O D   P R O D U C T   I N N O V A T I O N :   T H R O U G H   E M O T I O N S   R E S E A R C H ,   P 1 ;   M a c F i e   H ,   2 0 0 7 ,   W O O D H E A D   P U B L   F O O D   S ,   P 5 5 1 ,   D O I   1 0 . 1 5 3 3 / 9 7 8 1 8 4 5 6 9 3 3 8 1 . 3 . 5 5 1 ;   M A R I A M P O L S K I   H ,   2 0 1 2 ,   Q U A L I T A T I V E   M A R K E T   R ;   M a r s h a l l   D . ,   1 9 9 5 ,   F O O D   C H O I C E   C O N S U M E R ;   M c C l u r e   S M ,   2 0 0 4 ,   N E U R O N ,   V 4 4 ,   P 3 7 9 ,   D O I   1 0 . 1 0 1 6 / j . n e u r o n . 2 0 0 4 . 0 9 . 0 1 9 ;   M C Q U A R R I E   E F ,   2 0 1 1 ,   M A R K E T   R E S   T O O L B O X   C ;   M e i l g a a r d   M .   C . ,   2 0 0 6 ,   S E N S O R Y   E V A L U A T I O N   T ;   M e i s e l m a n   H .   L . ,   1 9 9 6 ,   F O O D   C H O I C E   A C C E P T A N ;   M e i s e l m a n   H L ,   2 0 0 7 ,   W O O D H E A D   P U B L   F O O D   S ,   P 3 ,   D O I   1 0 . 1 5 3 3 / 9 7 8 1 8 4 5 6 9 3 3 8 1 . 1 . 3 ;   M o s k o w i t z   H R ,   2 0 0 5 ,   C O N C E P T   R E S E A R C H   I N   F O O D   P R O D U C T   D E S I G N   A N D   D E V E L O P M E N T ,   P 1 ;   M o s k o w i t z   H ,   2 0 0 7 ,   W O O D H E A D   P U B L   F O O D   S ,   P 3 4 2 ,   D O I   1 0 . 1 5 3 3 / 9 7 8 1 8 4 5 6 9 3 3 8 1 . 3 . 3 4 2 ;   M o s k o w i t z   H . R . ,   2 0 0 6 ,   S E N S O R Y   C O N S U M E R   R E S ;   M R S ,   2 0 0 6 ,   C O N D   R E S   C H I L D R   Y O U N ;   M R S ,   2 0 1 0 ,   C O D   C O N D ;   M u n o z   A . M . ,   1 9 9 2 ,   S E N S O R Y   E V A L U A T I O N   Q ;   P l i n e r   P ,   2 0 0 6 ,   F R O N T   N U T R   S C I ,   P 7 5 ,   D O I   1 0 . 1 0 7 9 / 9 7 8 0 8 5 1 9 9 0 3 2 3 . 0 0 7 5 ;   P O P E   J L ,   1 9 9 3 ,   P R A C T I C A L   M A R K E T I N G ;   P R E N D E R G R A S T   M ,   2 0 0 0 ,   G O D   C O U N T R Y   C O C A   C O L ;   K i l c a s t   D ,   2 0 1 0 ,   W O O D H E A D   P U B L   F O O D   S ,   P 1 ,   D O I   1 0 . 1 5 3 3 / 9 7 8 1 8 4 5 6 9 9 5 1 2 ;   R o z i n   P ,   2 0 0 7 ,   W O O D H E A D   P U B L   F O O D   S ,   P 6 6 ,   D O I   1 0 . 1 5 3 3 / 9 7 8 1 8 4 5 6 9 3 3 8 1 . 1 . 6 6 ;   S a b a   A ,   2 0 0 7 ,   W O O D H E A D   P U B L   F O O D   S ,   P 1 0 8 ,   D O I   1 0 . 1 5 3 3 / 9 7 8 1 8 4 5 6 9 3 3 8 1 . 1 . 1 0 8 ;   S c h i f f e r s t e i n   H .   N .   J . ,   2 0 0 7 ,   P R O D U C T   E X P E R I E N C E ;   S c h i f f e r s t e i n   H . N . J . ,   2 0 0 1 ,   F O O D   P E O P L E   S O C   E U R O ;   S C H I N D L E R   R M ,   1 9 9 2 ,   M A R K   R E S ,   V 4 ,   P 2 2 ;   S H E P H E R D   R ,   2 0 1 0 ,   P S Y C H O L   F O O D   C H O I C E ;   S i e g r i s t   M ,   2 0 0 7 ,   W O O D H E A D   P U B L   F O O D   S ,   P 1 2 2 ,   D O I   1 0 . 1 5 3 3 / 9 7 8 1 8 4 5 6 9 3 3 8 1 . 1 . 1 2 2 ;   v a n   T r i j p   J C M ,   2 0 0 5 ,   I N N O V A T I O N   I N   A G R I - F O O D   S Y S T E M S :   P R O D U C T   Q U A L I T Y   A N D   C O N S U M E R   A C C E P T A N C E ,   P 8 7 ;   S t o n e   H ,   2 0 0 7 ,   W O O D H E A D   P U B L   F O O D   S ,   P 3 0 7 ,   D O I   1 0 . 1 5 3 3 / 9 7 8 1 8 4 5 6 9 3 3 8 1 . 3 . 3 0 7 ;   S t o n e   H . ,   2 0 0 4 ,   S E N S O R Y   E V A L U A T I O N   P ;   T h o m s o n   D ,   2 0 0 7 ,   W O O D H E A D   P U B L   F O O D   S ,   P 2 8 1 ,   D O I   1 0 . 1 5 3 3 / 9 7 8 1 8 4 5 6 9 3 3 8 1 . 2 . 2 8 1 ;   T o f f l e r   A . ,   1 9 8 0 ,   3   W A V E ;   T r a i l l   B . ,   1 9 9 7 ,   P R O D U C T   P R O C E S S   I N N O ;   T r a i t l e r   H ,   2 0 0 9 ,   F O O D   T E C H N O L - C H I C A G O ,   V 6 3 ,   P 2 2 ;   T u o r i l a   H ,   2 0 0 7 ,   W O O D H E A D   P U B L   F O O D   S ,   P 3 4 ,   D O I   1 0 . 1 5 3 3 / 9 7 8 1 8 4 5 6 9 3 3 8 1 . 1 . 3 4 ;   U r b a n   G .   L . ,   1 9 9 3 ,   D E S I G N   M A R K E T I N G   N E W ;   v a n   K l e e f   E ,   2 0 0 5 ,   F O O D   Q U A L   P R E F E R ,   V 1 6 ,   P 1 8 1 ,   D O I   1 0 . 1 0 1 6 / j . f o o d q u a l . 2 0 0 4 . 0 5 . 0 1 2 ;   v a n   K l e e f   E ,   2 0 0 7 ,   W O O D H E A D   P U B L   F O O D   S ,   P 3 2 1 ,   D O I   1 0 . 1 5 3 3 / 9 7 8 1 8 4 5 6 9 3 3 8 1 . 3 . 3 2 1 ;   v o n   H i p p e l   E ,   2 0 0 1 ,   J   P R O D   I N N O V A T   M A N A G ,   V 1 8 ,   P 2 4 7 ,   D O I   1 0 . 1 0 1 6 / S 0 7 3 7 - 6 7 8 2 ( 0 1 ) 0 0 0 9 0 - X ;   W A L K E R   H ,   2 0 0 2 ,   M E A L ;   W I L S O N   A ,   2 0 0 6 ,   M A R K E T I N G   R E S   I N T E G R ;   X U   J ,   2 0 0 5 ,   M A R K E T   R E S   H D B   M E A S U ;   Y e o m a n s   M R ,   2 0 0 7 ,   W O O D H E A D   P U B L   F O O D   S ,   P 8 1 ,   D O I   1 0 . 1 5 3 3 / 9 7 8 1 8 4 5 6 9 3 3 8 1 . 1 . 8 1 	 7 4 	 1 	 1 	 W O O D H E A D   P U B L   L T D 	 C A M B R I D G E 	 A B I N G T O N   H A L L   A B I N G T O N ,   C A M B R I D G E   C B 1   6 A H ,   C A M B S ,   E N G L A N D 	 2 0 4 2 - 8 0 4 9 	 	 9 7 8 - 0 - 8 5 7 0 9 - 7 2 4 - 8 ;   9 7 8 - 0 - 8 5 7 0 9 - 5 9 5 - 4 	 W O O D H E A D   P U B L   F O O D   S 	 W o o d h e a d   P u b l .   F o o d   S c i .   T e c h n o l .   N u t r . 	 	 2 0 1 3 	 	 2 4 3 	 	 	 	 	 1 0 9 	 1 3 8 	 	 1 0 . 1 5 3 3 / 9 7 8 0 8 5 7 0 9 7 2 4 8 . 2 . 1 0 9 	 1 0 . 1 5 3 3 / 9 7 8 0 8 5 7 0 9 7 2 4 8 	 3 0 	 B u s i n e s s ;   F o o d   S c i e n c e   &   T e c h n o l o g y 	 B u s i n e s s   &   E c o n o m i c s ;   F o o d   S c i e n c e   &   T e c h n o l o g y 	 B H I 5 6 	 W O S : 0 0 0 3 2 5 5 3 9 0 0 0 0 0 9 	 	 
 S 	 M a r t i n e z ,   M G ;   W a l t o n ,   B 	 	 M a r t i n e z ,   M G 	 	 M a r t i n e z ,   M .   G a r c i a ;   W a l t o n ,   B . 	 	 	 C r o w d s o u r c i n g :   t h e   p o t e n t i a l   o f   o n l i n e   c o m m u n i t i e s   a s   a   t o o l   f o r   d a t a   a n a l y s i s 	 O P E N   I N N O V A T I O N   I N   T H E   F O O D   A N D   B E V E R A G E   I N D U S T R Y 	 W o o d h e a d   P u b l i s h i n g   i n   F o o d   S c i e n c e   T e c h n o l o g y   a n d   N u t r i t i o n 	 	 E n g l i s h 	 A r t i c l e ;   B o o k   C h a p t e r 	 	 	 	 	 	 c r o w d s o u r c i n g ;   o p e n   i n n o v a t i o n ;   o n l i n e   c o m m u n i t i e s ;   p r e d i c t i v e   m o d e l l i n g   c o m p e t i t i o n ;   c o - c r e a t i o n ;   s h o p p e r   b e h a v i o u r ;   d a t a   a n a l y s i s 	 O P E N   I N N O V A T I O N ;   C O - C R E A T I O N ;   U S E R   C O M M U N I T I E S ;   A N O N Y M I Z A T I O N ;   P E R S P E C T I V E ;   I D E A S 	 T h e   p o t e n t i a l   o f   c r o w d s o u r c i n g   i s   e x a m i n e d   a s   a   t o o l   f o r   d a t a   a n a l y s i s   i n   o r d e r   t o   a d d r e s s   t h e   i n c r e a s i n g   p r o b l e m s   f a c e d   b y   c o m p a n i e s   i n   t r y i n g   t o   d e a l   w i t h   ' b i g   d a t a ' .   S p e c i f i c a l l y ,   c r o w d s o u r c i n g   i s   e v a l u a t e d   a s   a   w a y   o f   s o l v i n g   p r e d i c t i v e   m o d e l l i n g   p r o b l e m s .   P r e d i c t i v e   m o d e l l i n g   c o m p e t i t i o n s ,   a   p a r t i c u l a r   s u b s e t   o f   c r o w d s o u r c i n g   c o m p e t i t i o n s   w i t h   d i s t i n c t   f e a t u r e s   i n   t e r m s   o f   d e s i g n   a n d   p a r t i c i p a n t s '   k n o w l e d g e   a n d   m o t i v a t i o n ,   r e p r e s e n t   a   p o t e n t i a l   w i n - w i n   s c e n a r i o   f o r   a l l   i n v o l v e d :   c o n t e s t a n t s   g e t   a c c e s s   t o   r e a l - w o r l d   d a t a   t h a t   h a s   b e e n   c a r e f u l l y   a n o n y m i s e d   t o   e l i m i n a t e   p r i v a c y   c o n c e r n s   a n d   p r i z e   s p o n s o r s   r e a p   t h e   b e n e f i t s   o f   t h e   c o n t e s t a n t s '   c r e a t i v i t y .   T h e   e m p i r i c a l   s e t t i n g   o f   t h e   r e s e a r c h   i s   t h e   d a t a   p r e d i c t i v e   m o d e l l i n g   s t a r t - u p   K a g g l e ,   w h i c h   o p e r a t e s   a s   a   k n o w l e d g e   b r o k e r   b e t w e e n   c o m p a n i e s   a i m i n g   t o   o u t s o u r c e   p r e d i c t i v e   m o d e l l i n g   c o m p e t i t i o n s   a n d   a   n e t w o r k   o f   o v e r   3 1   0 0 0   d a t a   s c i e n t i s t s   c o m p e t i n g   t o   p r o d u c e   t h e   b e s t   s o l u t i o n s . 	 [ M a r t i n e z ,   M .   G a r c i a ;   W a l t o n ,   B . ]   U n i v   K e n t ,   K e n t   B u s i n e s s   S c h ,   C a n t e r b u r y   C T 2   7 P E ,   K e n t ,   E n g l a n d 	 M a r t i n e z ,   M G   ( r e p r i n t   a u t h o r ) ,   U n i v   K e n t ,   K e n t   B u s i n e s s   S c h ,   C a n t e r b u r y   C T 2   7 P E ,   K e n t ,   E n g l a n d . 	 m . g a r c i a @ k e n t . a c . u k ;   b c m w @ k e n t . a c . u k 	 	 	 	 	 A r c h a k   N . ,   2 0 1 0 ,   P   1 9   I N T   C   W O R L D   W I D ,   P 2 1 ,   D O I   1 0 . 1 1 4 5 / 1 7 7 2 6 9 0 . 1 7 7 2 6 9 4 ;   A r c h a k   N . ,   2 0 0 9 ,   P   3 0   I N T   C   I N F   S Y S T ;   B a l d w i n   C . ,   2 0 0 9 ,   M O D E L I N G   P A R A D I G M   S H ;   B a r b a r o   M i c h a e l ,   2 0 0 6 ,   N Y   T I M E S ;   B e n n e t t   J . ,   2 0 0 7 ,   P   K D D   C U P   W O R K S H   1 2 ;   B o g e r s   M ,   2 0 1 0 ,   J   M A N A G E ,   V 3 6 ,   P 8 5 7 ,   D O I   1 0 . 1 1 7 7 / 0 1 4 9 2 0 6 3 0 9 3 5 3 9 4 4 ;   C l i f t o n   C . ,   1 9 9 6 ,   P   1 9 9 6   A C M   S I G M O D   W O ;   D a h l a n d e r   L ,   2 0 0 6 ,   R E S   P O L I C Y ,   V 3 5 ,   P 1 2 4 3 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 6 . 0 9 . 0 1 1 ;   D a v e n p o r t   T .   H . ,   2 0 0 6 ,   C O M P E T I N G   A N A L   N E W   S ;   D a v e n p o r t   T H ,   2 0 1 1 ,   H A R V A R D   B U S   R E V ,   V 8 9 ,   P 8 4 ;   F r a n k e   N ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 5 7 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 2 ) 0 0 0 0 6 - 9 ;   F r e y   K ,   2 0 1 1 ,   L O N G   R A N G E   P L A N N ,   V 4 4 ,   P 3 9 7 ,   D O I   1 0 . 1 0 1 6 / j . l r p . 2 0 1 1 . 0 9 . 0 0 6 ;   F u l l e r   J ,   2 0 1 0 ,   C A L I F   M A N A G E   R E V ,   V 5 2 ,   P 9 8 ;   F u l l e r   J ,   2 0 0 6 ,   A D V   C O N S U M   R E S ,   V 3 3 ,   P 6 3 9 ;   G a n t z   J . ,   2 0 1 1 ,   E X T R A C T I N G   V A L U E   C H A ;   H a i r   J . F . ,   2 0 0 7 ,   E U R O P E A N   B U S I N E S S   R E ,   V 1 9 ,   P 3 0 3 ;   H a r g a d o n   A . ,   2 0 0 3 ,   B R E A K T H R O U G H S   H A P P E N ;   H a r r i s   J .   G . ,   2 0 0 7 ,   R E T A I L E R S   C O M P E T E   A N ;   H o w e   J . ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   P 1 4 0 6 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   H u i z i n g h   E K R E ,   2 0 1 1 ,   T E C H N O V A T I O N ,   V 3 1 ,   P 2 ,   D O I   1 0 . 1 0 1 6 / j . t e c h n o v a t i o n . 2 0 1 0 . 1 0 . 0 0 2 ;   H u m b y   C . ,   2 0 0 3 ,   S C O R I N G   P O I N T S   T E S C O ;   J e p p e s e n   L B ,   2 0 0 6 ,   O R G A N   S C I ,   V 1 7 ,   P 4 5 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 5 0 . 0 1 5 6 ;   L e i m e i s t e r   J M ,   2 0 0 9 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 6 ,   P 1 9 7 ,   D O I   1 0 . 2 7 5 3 / M I S 0 7 4 2 - 1 2 2 2 2 6 0 1 0 8 ;   M a h r   D ,   2 0 1 2 ,   R E S   P O L I C Y ,   V 4 1 ,   P 1 6 7 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 1 1 . 0 8 . 0 0 6 ;   M a j c h r z a k   A ,   2 0 0 4 ,   M A N A G E   S C I ,   V 5 0 ,   P 1 7 4 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 3 0 . 0 1 1 6 ;   M a n y i k a   J . ,   2 0 1 1 ,   B I G   D A T A   N E X T   F R O N T I ;   M o r g a n   J ,   2 0 1 0 ,   C A L I F   M A N A G E   R E V ,   V 5 2 ,   P 7 7 ;   M o r r i s o n   P D ,   2 0 0 4 ,   R E S   P O L I C Y ,   V 3 3 ,   P 3 5 1 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 3 . 0 9 . 0 0 7 ;   N a r a y a n a n   A ,   2 0 0 8 ,   P   I E E E   S   S E C U R   P R I V ,   P 1 1 1 ;   O h m   P ,   2 0 1 0 ,   U C L A   L A W   R E V ,   V 5 7 ,   P 1 7 0 1 ;   P A N E T T A   J .   A . ,   2 0 0 6 ,   V A L U E   O P E N N E S S   S C I   P ;   P O E T Z   M .   K . ,   2 0 0 9 ,   D R U I D   S U M M   C   2 0 0 9   J U ;   P o r t e r   A L ,   2 0 1 1 ,   T E C H N O V A T I O N ,   V 3 1 ,   P 1 7 1 ,   D O I   1 0 . 1 0 1 6 / j . t e c h n o v a t i o n . 2 0 1 1 . 0 1 . 0 0 1 ;   P r a h a l a d   C K ,   2 0 0 4 ,   J   I N T E R A C T   M A R K ,   V 1 8 ,   P 5 ,   D O I   1 0 . 1 0 0 2 / d i r . 2 0 0 1 5 ;   R o w l e y   J ,   2 0 0 7 ,   J   C O N S U M   M A R K ,   V 2 4 ,   P 3 6 6 ,   D O I   1 0 . 1 1 0 8 / 0 7 3 6 3 7 6 0 7 1 0 8 2 2 9 5 4 ;   S h a h   J .   Y . ,   2 0 0 0 ,   I N T R I N S I C   E X T R I N S I C ,   P 1 0 5 ,   D O I   1 0 . 1 0 1 6 / B 9 7 8 - 0 1 2 6 1 9 0 7 0 - 0 / 5 0 0 2 7 - 1 ;   S u r o w i e c k i   J ,   2 0 0 5 ,   W I S D O M   C R O W D S   W H Y   M A ;   T a p s c o t t   D . ,   2 0 0 6 ,   W I K I N O M I C S   M A S S   C O L L ;   T e r w i e s c h   C ,   2 0 0 8 ,   M A N A G E   S C I ,   V 5 4 ,   P 1 5 2 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 8 0 . 0 8 8 4 ;   T e r w i e s c h   C . ,   2 0 0 9 ,   I N N O V A T I O N   T O U R N A M E N ;   T s e n g   M .   M . ,   2 0 0 3 ,   C U S T O M E R   C E N T R I C   E N T ;   v o n   H i p p e l   E r i c ,   2 0 0 5 ,   D E M O C R A T I Z I N G   I N N O V A ;   W i r t z   B W ,   2 0 1 0 ,   L O N G   R A N G E   P L A N N ,   V 4 3 ,   P 2 7 2 ,   D O I   1 0 . 1 0 1 6 / j . l r p . 2 0 1 0 . 0 1 . 0 0 5 ;   Y a n g   J ,   2 0 0 8 ,   E C ' 0 8 :   P R O C E E D I N G S   O F   T H E   2 0 0 8   A C M   C O N F E R E N C E   O N   E L E C T R O N I C   C O M M E R C E ,   P 2 4 6 ;   Z w a s s   V ,   2 0 1 0 ,   I N T   J   E L E C T R O N   C O M M ,   V 1 5 ,   P 1 1 ,   D O I   1 0 . 2 7 5 3 / J E C 1 0 8 6 - 4 4 1 5 1 5 0 1 0 1 	 4 6 	 0 	 0 	 W O O D H E A D   P U B L   L T D 	 C A M B R I D G E 	 A B I N G T O N   H A L L   A B I N G T O N ,   C A M B R I D G E   C B 1   6 A H ,   C A M B S ,   E N G L A N D 	 2 0 4 2 - 8 0 4 9 	 	 9 7 8 - 0 - 8 5 7 0 9 - 7 2 4 - 8 ;   9 7 8 - 0 - 8 5 7 0 9 - 5 9 5 - 4 	 W O O D H E A D   P U B L   F O O D   S 	 W o o d h e a d   P u b l .   F o o d   S c i .   T e c h n o l .   N u t r . 	 	 2 0 1 3 	 	 2 4 3 	 	 	 	 	 3 3 2 	 3 4 2 	 	 1 0 . 1 5 3 3 / 9 7 8 0 8 5 7 0 9 7 2 4 8 . 4 . 3 3 2 	 1 0 . 1 5 3 3 / 9 7 8 0 8 5 7 0 9 7 2 4 8 	 1 1 	 B u s i n e s s ;   F o o d   S c i e n c e   &   T e c h n o l o g y 	 B u s i n e s s   &   E c o n o m i c s ;   F o o d   S c i e n c e   &   T e c h n o l o g y 	 B H I 5 6 	 W O S : 0 0 0 3 2 5 5 3 9 0 0 0 0 2 0 	 	 
 S 	 C a u d i l l ,   J G 	 	 M a r t i n e z ,   M G 	 	 C a u d i l l ,   J .   G . 	 	 	 T h e   r o l e   o f   i n f o r m a t i o n   s y s t e m s   i n   i n n o v a t i v e   f o o d   a n d   b e v e r a g e   o r g a n i z a t i o n s 	 O P E N   I N N O V A T I O N   I N   T H E   F O O D   A N D   B E V E R A G E   I N D U S T R Y 	 W o o d h e a d   P u b l i s h i n g   i n   F o o d   S c i e n c e   T e c h n o l o g y   a n d   N u t r i t i o n 	 	 E n g l i s h 	 A r t i c l e ;   B o o k   C h a p t e r 	 	 	 	 	 	 i n n o v a t i o n ;   i n f o r m a t i o n   s y s t e m s ;   f o o d   a n d   b e v e r a g e ;   c r o w d s o u r c i n g 	 T E C H N O L O G Y 	 C o n c e p t s   o f   i n f o r m a t i o n   s y s t e m s   a r e   i n t r o d u c e d   f o r   u s e   i n   i n n o v a t i v e   p r a c t i c e s .   S p e c i f i c a l l y ,   t h e   r o l e   o f   t e c h n o l o g y   i n   f a c i l i t a t i n g   i n n o v a t i o n   a n d   s p e c i f i c   t e c h n o l o g i e s   t h a t   s e r v e   t h i s   e n d   a r e   e x p l o r e d .   S u p p o r t i n g   t h e s e   r o l e s   a r e   m u l t i p l e   t e c h n i c a l   t o o l s   f o r   i n n o v a t i o n ,   i n c l u d i n g   i n f o r m a t i o n   a n d   c o m m u n i c a t i o n   t e c h n o l o g i e s ,   c o m p u t e r - s u p p o r t e d   c o l l a b o r a t i v e   w o r k   e n v i r o n m e n t s ,   W e b   2 . 0   c o n t r i b u t i o n s ,   t e c h n o l o g y   s u p p o r t i n g   c r e a t i v i t y ,   a n d   t h e   r i s i n g   p r a c t i c e   o f   c r o w d s o u r c i n g ,   a l l   o f   w h i c h   a r e   e x p l o r e d .   S o m e   o p e n   s o u r c e   t o o l s   a r e   i n t r o d u c e d   t o   s u p p o r t   o p e n   i n n o v a t i o n . 	 U n i v   T e n n e s s e e ,   K n o x v i l l e ,   T N   3 7 9 9 6   U S A 	 C a u d i l l ,   J G   ( r e p r i n t   a u t h o r ) ,   U n i v   T e n n e s s e e ,   5 2 5   J a n e   &   D a v i d   B a i l e y   E d u c   C o m p l e x , 1 1 2 2   V o l u n t e ,   K n o x v i l l e ,   T N   3 7 9 9 6   U S A . 	 j a s o n . c a u d i l l @ g m a i l . c o m 	 	 	 	 	 A w a z u   Y ,   2 0 0 9 ,   R E S   T E C H N O L   M A N A G E ,   V 5 2 ,   P 5 1 ;   B a l d w i n   C .   Y . ,   2 0 0 9 ,   1 0 0 3 8   H A R V   B U S   S C H ;   B a r t e l   A ,   2 0 0 7 ,   Q   J   E C O N ,   V 1 2 2 ,   P 1 7 2 1 ,   D O I   1 0 . 1 1 6 2 / q j e c . 2 0 0 7 . 1 2 2 . 4 . 1 7 2 1 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   C i c h o c k a   D ,   2 0 1 1 ,   J   B I O T E C H N O L ,   V 1 5 6 ,   P 3 8 2 ,   D O I   1 0 . 1 0 1 6 / j . j b i o t e c . 2 0 1 1 . 0 6 . 0 3 2 ;   F a g e r b e r g   J . ,   2 0 0 5 ,   O X F O R D   H D B   I N N O V A T I O ,   P 1 ;   F i s c h e r   G ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 4 3 5 ,   P 3 ;   G E I G E R   D . ,   2 0 1 1 ,   P   1 7   A M   C   I N F   S Y S T   A ;   H E R R M A N N   T . ,   2 0 0 8 ,   P   8   I N T   C   D E S   C O O P   S ,   P 1 7 9 ;   H O   S . ,   2 0 0 8 ,   P   4 1   A N N   H A W   I N T   C   S ;   H o w e   J ,   2 0 0 6 ,   W I R E D                       0 6 1 4 ;   K U H N E   B . ,   2 0 1 0 ,   P   1 1 6   E A A E   S E M   S P A T ;   L E O N A R D   F . ,   1 9 9 9 ,   S P A R K S   F L Y   I G N I T I N G ;   L u o n g   J H T ,   2 0 0 8 ,   B I O T E C H N O L   A D V ,   V 2 6 ,   P 4 9 2 ,   D O I   1 0 . 1 0 1 6 / j . b i o t e c h a d v . 2 0 0 8 . 0 5 . 0 0 7 ;   M A L I N S   J . ,   2 0 1 0 ,   P   D E S I R E   1 0   C   C R E A T ,   P 1 8 1 ;   M O H A M M A D J A F A R I   M . ,   2 0 1 0 ,   P   I N T   M U L T   E N G   C O M P ,   V 3 ;   R O B I D O U X   C . ,   2 0 1 1 ,   S O C   T E C H N   C O M M   5 8   A N ,   P 9 0 ;   R o b i n s o n   S . ,   2 0 0 4 ,   S I M U L A T I O N   P R A C T I C E ;   S c h e n k   E . ,   2 0 1 0 ,   J   I N N O V A T I O N   E C ,   V 1 ,   P 9 3 ;   S C H N E I D E R M A N   B . ,   2 0 0 0 ,   A C M   T   C O M P U T - H U M   I N T ,   V 7 ,   P 1 1 4 ;   S h n e i d e r m a n   B ,   2 0 0 7 ,   C O M M U N   A C M ,   V 5 0 ,   P 2 0 ,   D O I   1 0 . 1 1 4 5 / 1 3 2 3 6 8 8 . 1 3 2 3 6 8 9 ;   W a n g   C H ,   2 0 1 0 ,   T E C H N O V A T I O N ,   V 3 0 ,   P 4 4 7 ,   D O I   1 0 . 1 0 1 6 / j . t e c h n o v a t i o n . 2 0 0 9 . 1 1 . 0 0 1 ;   W A N G   X . ,   2 0 0 7 ,   I N T   J   P R O D   R E S ,   V 4 7 ,   P 2 8 6 5 ;   W i r t z   B W ,   2 0 1 0 ,   L O N G   R A N G E   P L A N N ,   V 4 3 ,   P 2 7 2 ,   D O I   1 0 . 1 0 1 6 / j . l r p . 2 0 1 0 . 0 1 . 0 0 5 	 2 4 	 0 	 0 	 W O O D H E A D   P U B L   L T D 	 C A M B R I D G E 	 A B I N G T O N   H A L L   A B I N G T O N ,   C A M B R I D G E   C B 1   6 A H ,   C A M B S ,   E N G L A N D 	 2 0 4 2 - 8 0 4 9 	 	 9 7 8 - 0 - 8 5 7 0 9 - 7 2 4 - 8 ;   9 7 8 - 0 - 8 5 7 0 9 - 5 9 5 - 4 	 W O O D H E A D   P U B L   F O O D   S 	 W o o d h e a d   P u b l .   F o o d   S c i .   T e c h n o l .   N u t r . 	 	 2 0 1 3 	 	 2 4 3 	 	 	 	 	 3 4 3 	 3 5 5 	 	 1 0 . 1 5 3 3 / 9 7 8 0 8 5 7 0 9 7 2 4 8 . 4 . 3 4 3 	 1 0 . 1 5 3 3 / 9 7 8 0 8 5 7 0 9 7 2 4 8 	 1 3 	 B u s i n e s s ;   F o o d   S c i e n c e   &   T e c h n o l o g y 	 B u s i n e s s   &   E c o n o m i c s ;   F o o d   S c i e n c e   &   T e c h n o l o g y 	 B H I 5 6 	 W O S : 0 0 0 3 2 5 5 3 9 0 0 0 0 2 1 	 	 
 J 	 S c h m i d ,   F ;   F r o m m b e r g e r ,   L ;   C a i ,   C ;   F r e k s a ,   C 	 	 V a n d e n b r o u c k e ,   D ;   B u c h e r ,   B ;   C r o m p v o e t s ,   J 	 	 S c h m i d ,   F a l k o ;   F r o m m b e r g e r ,   L u t z ;   C a i ,   C a i ;   F r e k s a ,   C h r i s t i a n 	 	 	 W h a t   Y o u   S e e   i s   W h a t   Y o u   M a p :   G e o m e t r y - P r e s e r v i n g   M i c r o - M a p p i n g   f o r   S m a l l e r   G e o g r a p h i c   O b j e c t s   w i t h   M A P I T 	 G E O G R A P H I C   I N F O R M A T I O N   S C I E N C E   A T   T H E   H E A R T   O F   E U R O P E 	 L e c t u r e   N o t e s   i n   G e o i n f o r m a t i o n   a n d   C a r t o g r a p h y 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 6 t h   A G I L E   C o n f e r e n c e   o n   G e o g r a p h i c   I n f o r m a t i o n   S c i e n c e 	 M A Y   1 4 - 1 7 ,   2 0 1 3 	 L e u v e n ,   B E L G I U M 	 A G I L E ,   E S R I ,   I n t e r g r a p h ,   G e o s p a r c ,   N a t l   G e o g r a p h   I n s t ,   A r e n b e r g   D o c t o r a l   S c h ,   G o o g l e 	 	 	 C L O S E - R A N G E   P H O T O G R A M M E T R Y ;   I N F O R M A T I O N 	 G e o g r a p h i c   i n f o r m a t i o n   i s   i n c r e a s i n g l y   c o n t r i b u t e d   b y   v o l u n t e e r s   v i a   c r o w d s o u r c i n g   p l a t f o r m s .   H o w e v e r ,   m o s t   t o o l s   a n d   m e t h o d s   r e q u i r e   a   h i g h   t e c h n i c a l   a f f i n i t y   o f   i t s   u s e r s   a n d   a   g o o d   u n d e r s t a n d i n g   o f   g e o g r a p h i c   c l a s s i f i c a t i o n   s y s t e m s .   T h e s e   t e c h n o l o g i c a l   a n d   e d u c a t i o n a l   b a r r i e r s   p r e v e n t   c a s u a l   u s e r s   t o   c o n t r i b u t e   s p a t i a l   d a t a .   I n   t h i s   c h a p t e r   w e   p r e s e n t   M A P I T ,   a   m e t h o d   t o   a c q u i r e   a n d   c o n t r i b u t e   c o m p l e x   g e o g r a p h i c   d a t a .   W e   f u r t h e r   i n t r o d u c e   t h e   c o n c e p t   o f   m i c r o - m a p p i n g ,   t h e   a c q u i s i t i o n   o f   g e o m e t r i c a l l y   c o r r e c t   g e o m e t r i c   d a t a   o f   s m a l l   g e o g r a p h i c   e n t i t i e s .   M A P I T   i s   a   m e t h o d   f o r   m i c r o - m a p p i n g   w i t h   s m a r t p h o n e s   w i t h   h i g h   g e o m e t r i c   p r e c i s i o n .   W e   s h o w   t h a t   M A P I T   i s   h i g h l y   a c c u r a t e   a n d   a b l e   t o   r e c o n s t r u c t   t h e   g e o m e t r y   o f   m a p p e d   e n t i t i e s   c o r r e c t l y .   P l e a s e   c h e c k   a n d   c o n f i r m   t h e   a u t h o r   n a m e s   a n d   i n i t i a l s   a r e   c o r r e c t . 	 [ S c h m i d ,   F a l k o ;   F r o m m b e r g e r ,   L u t z ;   C a i ,   C a i ;   F r e k s a ,   C h r i s t i a n ]   U n i v   B r e m e n ,   I n t   L a b   L o c a l   C a p a c   B l d g ,   C a p a c   L a b ,   D - 2 8 3 5 9   B r e m e n ,   G e r m a n y 	 S c h m i d ,   F   ( r e p r i n t   a u t h o r ) ,   U n i v   B r e m e n ,   I n t   L a b   L o c a l   C a p a c   B l d g ,   C a p a c   L a b ,   E n r i q u e   S c h m i d t   S t r   5 ,   D - 2 8 3 5 9   B r e m e n ,   G e r m a n y . 	 s c h m i d @ i n f o r m a t i k . u n i - b r e m e n . d e ;   l u t z @ i n f o r m a t i k . u n i - b r e m e n . d e ;   c a i @ i n f o r m a t i k . u n i - b r e m e n . d e ;   f r e k s a @ i n f o r m a t i k . u n i - b r e m e n . d e 	 	 	 	 	 A a n e n s e n   D M ,   2 0 0 9 ,   P L O S   O N E ,   V 4 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 0 6 9 6 8 ;   A s y r a f   H a m d a n i   M ,   2 0 1 1 ,   I E E E   7   I N T   C   S I G N   P R ,   P 3 1 8 ;   B i a g i o n i   J ,   2 0 1 2 ,   P   2 0   I N T   C   A D V   G E O G R ;   B r a n d o   C ,   2 0 1 1 ,   L E C T   N O T E S   G E O I N F   C A ,   P 4 7 9 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 9 7 8 9 - 5 _ 2 4 ;   D o u g l a s   D . ,   1 9 7 3 ,   C A N A D I A N   C A R T O G R A P H E ,   V 1 0 ,   P 1 1 2 ,   D O I   D O I   1 0 . 3 1 3 8 / F M 5 7 - 6 7 7 0 - U 7 5 U - 7 7 2 7 ;   D u   X G ,   2 0 0 9 ,   A D V   E N G   S O F T W ,   V 4 0 ,   P 4 9 7 ,   D O I   1 0 . 1 0 1 6 / j . a d v e n g s o f t . 2 0 0 8 . 0 9 . 0 0 2 ;   E l w o o d   S . ,   2 0 0 8 ,   G E O J O U R N A L ,   V 7 2 ,   P 1 7 3 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 0 8 - 0 0 8 - 9 1 8 6 - 0 ;   F o l e y   J D ,   1 9 9 3 ,   I N T R O   C O M P U T E R   G R A P H ;   F r a s e r   C ,   2 0 0 8 ,   P   2 1   I S P R S   C   C O M M   5 ,   V 1 ,   P 1 2 5 ;   F r o m m b e r g e r   L ,   2 0 1 2 ,   B A R R I E R   F R E E   M I C R O M A ;   G o o d c h i l d   M i c h a e l ,   2 0 0 9 ,   J o u r n a l   o f   L o c a t i o n   B a s e d   S e r v i c e s ,   V 3 ,   D O I   1 0 . 1 0 8 0 / 1 7 4 8 9 7 2 0 9 0 2 9 5 0 3 7 4 ;   G o o d c h i l d   M . F . ,   2 0 0 7 ,   G E O J O U R N A L ,   V 6 9 ,   P 2 1 1 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 7 - 9 1 1 1 - Y ;   H a k l a y   M ,   2 0 1 0 ,   E N V I R O N   P L A N N   B ,   V 3 7 ,   P 6 8 2 ,   D O I   1 0 . 1 0 6 8 / b 3 5 0 9 7 ;   J i a n g   R N ,   2 0 0 8 ,   M E A S U R E M E N T ,   V 4 1 ,   P 8 2 3 ,   D O I   1 0 . 1 0 1 6 / j . m e a s u r e m e n t . 2 0 0 7 . 1 2 . 0 0 5 ;   J o n e s   C E ,   2 0 1 2 ,   T   G I S ,   V 1 6 ,   P 5 2 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 6 7 1 . 2 0 1 2 . 0 1 3 1 9 . x ;   L u h m a n n   T ,   2 0 1 0 ,   I S P R S   J   P H O T O G R A M M ,   V 6 5 ,   P 5 5 8 ,   D O I   1 0 . 1 0 1 6 / j . i s p r s j p r s . 2 0 1 0 . 0 6 . 0 0 3 ;   L u o   J B ,   2 0 1 1 ,   M U L T I M E D   T O O L S   A P P L ,   V 5 1 ,   P 1 8 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 4 2 - 0 1 0 - 0 6 2 3 - y ;   M a i s o n n e u v e   N i c o l a s ,   2 0 1 2 ,   G e o g r a p h i c   I n f o r m a t i o n   S c i e n c e .   P r o c e e d i n g s   o f   t h e   7 t h   I n t e r n a t i o n a l   C o n f e r e n c e   ( G I S c i e n c e   2 0 1 2 ) ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 3 3 0 2 4 - 7 _ 9 ;   R a m m   F . ,   2 0 1 0 ,   O P E N S T R E E T M A P   U S I N G ;   S c h m i d   F ,   2 0 1 2 ,   W O R K S H   P L A C   R E L   K N O W ;   S c h m i d   F ,   2 0 1 2 ,   G E O G R   I N F   S C I   7   I N T ;   S u i   D Z ,   2 0 0 8 ,   C O M P U T   E N V I R O N   U R B A N ,   V 3 2 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / j . c o m p e n v u r b s y s . 2 0 0 7 . 1 2 . 0 0 1 ;   T u r n e r   A . ,   2 0 0 6 ,   I N T R O   N E O G E O G R A P H Y 	 2 3 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 1 8 6 3 - 2 2 4 6 	 	 9 7 8 - 3 - 3 1 9 - 0 0 6 1 5 - 4 	 L E C T   N O T E S   G E O I N F   C A 	 	 	 2 0 1 3 	 	 	 	 	 	 	 3 	 1 9 	 	 1 0 . 1 0 0 7 / 9 7 8 - 3 - 3 1 9 - 0 0 6 1 5 - 4 _ 1 	 	 1 7 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   G e o g r a p h y ,   P h y s i c a l 	 C o m p u t e r   S c i e n c e ;   P h y s i c a l   G e o g r a p h y 	 B G W 7 7 	 W O S : 0 0 0 3 2 4 4 0 3 6 0 0 0 0 1 	 	 
 B 	 B r a b h a m ,   D C 	 B r a b h a m ,   D C 	 	 	 B r a b h a m ,   D a r e n   C . 	 B r a b h a m ,   D C 	 	 C O N C E P T S ,   T H E O R I E S ,   A N D   C A S E S   O F   C R O W D S O U R C I N G 	 C R O W D S O U R C I N G 	 M I T   P r e s s   E s s e n t i a l   K n o w l e d g e   S e r i e s 	 	 E n g l i s h 	 A r t i c l e ;   B o o k   C h a p t e r 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 0 	 0 	 0 	 M I T   P R E S S 	 C A M B R I D G E 	 F I V E   C A M B R I D G E   C E N T E R ,   C A M B R I D G E ,   M A   0 2 1 4 2   U S A 	 	 	 9 7 8 - 0 - 2 6 2 - 3 1 4 2 3 - 7 	 M I T   P R E S S   E S S E N T 	 	 	 2 0 1 3 	 	 	 	 	 	 	 1 	 4 0 	 	 	 	 4 0 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B G M 3 3 	 W O S : 0 0 0 3 2 3 4 9 5 3 0 0 0 0 3 	 	 
 B 	 B r a b h a m ,   D C 	 	 	 	 B r a b h a m ,   D C 	 	 	 C r o w d s o u r c i n g 	 C R O W D S O U R C I N G 	 M I T   P r e s s   E s s e n t i a l   K n o w l e d g e   S e r i e s 	 	 E n g l i s h 	 B o o k 	 	 	 	 	 	 	 C O N T E S T S 	 	 	 	 	 	 	 	 	 A h n   L u i s   v o n ,   2 0 1 2 ,   C O L L   I N T   2 0 1 2   P ;   A m a b i l e   T .   M . ,   1 9 9 8 ,   H A R V A R D   B U S   R E V ,   P 7 7 ;   B e n k l e r   Y ,   2 0 0 2 ,   Y A L E   L A W   J ,   V 1 1 2 ,   P 3 6 9 ,   D O I   1 0 . 2 3 0 7 / 1 5 6 2 2 4 7 ;   B l u e s t e i n   F r a y d a ,   2 0 1 0 ,   F R E E   S P E E C H   R I G H T S   G ;   B o n g a r d   J o s h   C . ,   I E E E   T   S Y   A   I N   P R E S S ;   B R Z O Z O W S K I   M J ,   2 0 0 9 ,   P   A C M   I N T   C   S U P P   G R O ,   P 6 1 ,   D O I   1 0 . 1 1 4 5 / 1 5 3 1 6 7 4 . 1 5 3 1 6 8 4 ;   C a r e y   J . ,   1 9 8 9 ,   C O M M U N I C A T I O N   C U L T U R ;   C a r r   N i c h o l a s ,   2 0 1 0 ,   T Y P O L O G Y   C R O W D S ;   C h e s b r o u g h   H . ,   2 0 0 3 ,   O P E N   I N N O V A T I O N   N E W ;   D a v e y   N e i l ,   2 0 1 0 ,   M Y C U S T O M E R ;   D e c i   E .   L . ,   1 9 8 5 ,   I N T R I N S I C   M O T I V A T I O N ;   D O T Y   D H ,   1 9 9 4 ,   A C A D   M A N A G E   R E V ,   V 1 9 ,   P 2 3 0 ,   D O I   1 0 . 2 3 0 7 / 2 5 8 7 0 4 ;   D u n b a r   K . ,   1 9 9 8 ,   C O M P A N I O N   C O G N I T I V E ,   P 2 8 9 ;   E s t e l l e s - A r o l a s   E ,   2 0 1 2 ,   J   I N F   S C I ,   V 3 8 ,   P 1 8 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 2 4 3 7 6 3 8 ;   F o u r n i e r   V ,   1 9 9 9 ,   S O C I O L   R E V ,   V 4 7 ,   P 2 8 0 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 9 5 4 X . 0 0 1 7 3 ;   G a r t n e r   I n c . ,   2 0 1 2 ,   G A R T N   S A Y S   2 0 1 4   1 0   1 ;   G e i g e r   D . ,   2 0 1 1 ,   P   1 7   A M   C   I N F   S Y S T   D ;   G h o s h   R A ,   1 9 9 8 ,   1   M O N D A Y ,   V 3 ;   G o l d c o r p ,   2 0 0 1 ,   G O L D C   C H A L L   W I N N   G O L ;   H o n g   L ,   2 0 0 1 ,   J   E C O N   T H E O R Y ,   V 9 7 ,   P 1 2 3 ,   D O I   1 0 . 1 0 0 6 / j e t h . 2 0 0 0 . 2 7 0 9 ;   H o r o v i t z   B r u c e ,   2 0 0 9 ,   U S   T O D A Y                 1 2 3 1 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   H o w e   J e f f ,   2 0 0 6 ,   M I S S I O N   S T A T E M E N T ;   H o w e   J e f f ,   2 0 0 6 ,   W I R E D                         J U N ;   H o w e   J e f f ,   2 0 0 7 ,   W I R E D                       0 7 1 6 ;   H o w e   J e f f ,   2 0 0 6 ,   P U R E   U N A D U L T E R A T E D   S ;   H u b e r m a n   B A ,   2 0 0 9 ,   J   I N F   S C I ,   V 3 5 ,   P 7 5 8 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 0 9 3 4 6 7 8 6 ;   I n t e r n a t i o n a l   A s s o c i a t i o n   o f   B u s i n e s s   C o m m u n i c a t o r s ,   I A B C   C O D   E T H   P R O F   C O ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   X R D S   C R O S S R O A D S   A C M ,   V 1 7 ,   P 1 6 ;   J e n k i n s   H e n r i ,   2 0 0 6 ,   C O N V E R G E N C E   C U L T U R E ;   J e n k i n s   H e n r y ,   2 0 0 6 ,   C O N F R O N T I N G   C H A L L E N G ;   J e p p e s e n   L B ,   2 0 1 0 ,   O R G A N   S C I ,   V 2 1 ,   P 1 0 1 6 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 9 0 . 0 4 9 1 ;   K a l l e n b a c h   J a n ,   2 0 0 7 ,   M I N D T R E K   2 0 0 7   C   P ,   P 2 5 ;   K a z a i   G . ,   2 0 1 1 ,   P   2 0   A C M   I N T   C   I N F   K ,   P 1 9 4 1 ;   K n o k e   D a v i d ,   1 9 8 2 ,   R E S   S O C I O L O G Y   O R G ,   V 1 ,   P 2 0 9 ;   L a k h a n i   K .   R . ,   2 0 0 5 ,   P E R S P E C T I V E S   F R E E   O P ,   P 3 ;   L a k h a n i   K . R . ,   2 0 0 7 ,   V A L U E   O P E N N E S S   S C I   P ;   L e s s i g   L . ,   2 0 0 4 ,   F R E E   C U L T U R E   B I G   M E D ;   L e v y   P . ,   1 9 9 5 ,   C O L L E C T I V E   I N T E L L I G E ;   L i u   S u - H o u n ,   2 0 0 7 ,   I S S U E S   I N F O R M   S Y S T E M ,   V 8 ,   P 2 3 2 ;   M a r t i n e a u   E r i c ,   2 0 1 2 ,   T H E S I S   C O N C O R D I A   U   M ;   M e n   L i n j u a n   R i t a ,   2 0 1 1 ,   1 4   I N T   P U B L   R E L   R E S ,   P 1 0 2 6 ;   N O !   S P E C ,   N O   S P E C ;   N O V   O ,   2 0 0 8 ,   P   2 6   A N N   S I G C H I   C   H U ,   P 1 0 9 7 ,   D O I   1 0 . 1 1 4 5 / 1 3 5 7 0 5 4 . 1 3 5 7 2 2 5 ;   N o v   O ,   2 0 0 7 ,   C O M M U N   A C M ,   V 5 0 ,   P 6 0 ,   D O I   1 0 . 1 1 4 5 / 1 2 9 7 7 9 7 . 1 2 9 7 7 9 8 ;   N o v e c k   B e t h   S i m o n e ,   2 0 0 3 ,   B   U   J   S C I   T E C H   L ,   V 9 ,   P 1 ;   P a g e   S E ,   2 0 0 7 ,   D I F F E R E N C E :   H O W   T H E   P O W E R   O F   D I V E R S I T Y   C R E A T E S   B E T T E R   G R O U P S ,   F I R M S ,   S C H O O L S ,   A N D   S O C I E T I E S ,   P 1 ;   P E R R Y   J L ,   1 9 9 0 ,   P U B L I C   A D M I N   R E V ,   V 5 0 ,   P 3 6 7 ,   D O I   1 0 . 2 3 0 7 / 9 7 6 6 1 8 ;   P o s t   R ,   1 9 9 5 ,   C O N S T I T U T I O N A L   D O M A I ;   P u b l i c   R e l a t i o n s   S o c i e t y   o f   A m e r i c a ,   P U B L   R E L   S O C   A M   P R S A ;   R I T Z E R   G ,   1 9 7 5 ,   S O C   F O R C E S ,   V 5 3 ,   P 6 2 7 ,   D O I   1 0 . 2 3 0 7 / 2 5 7 6 4 7 8 ;   S c h e n k   E . ,   2 0 1 1 ,   J   I N N O V A T I O N   E C ,   V 2 0 1 1 / 1 ,   P 9 3 ,   D O I   D O I   1 0 . 3 9 1 7 / J I E . 0 0 7 . 0 0 9 3 ;   S u l e r   J ,   2 0 0 4 ,   C Y B E R P S Y C H O L   B E H A V ,   V 7 ,   P 3 2 1 ,   D O I   1 0 . 1 0 8 9 / 1 0 9 4 9 3 1 0 4 1 2 9 1 2 9 5 ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   T e r r a n o v a   T i z i a n a ,   2 0 0 4 ,   N E T W O R K   C U L T U R E   P O L I ;   T e r w i e s c h   C ,   2 0 0 8 ,   M A N A G E   S C I ,   V 5 4 ,   P 1 5 2 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 8 0 . 0 8 8 4 ;   T o u s c h n e r   P e t e r ,   2 0 1 1 ,   H A S T I N G S   S C I   T E C H N O L ,   V 3 ,   P 1 6 5 ;   U S   W h i t e   H o u s e ,   S A V E   A W ;   V a n   D i j c k   J ,   2 0 0 9 ,   N E W   M E D I A   S O C ,   V 1 1 ,   P 8 5 5 ,   D O I   1 0 . 1 1 7 7 / 1 4 6 1 4 4 4 8 0 9 1 0 5 3 5 6 ;   V i l l a r r o e l   J .   A n d r e i ,   2 0 1 0 ,   C R O W D C O N F   2 0 1 0   W O R L D ;   v o n   H i p p e l   E r i c ,   2 0 0 5 ,   D E M O C R A T I Z I N G   I N N O V A ;   v o n   A h n   L ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 1 ,   P 1 4 6 5 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 0 3 7 9 ;   V u k o v i c   M a j a ,   2 0 1 1 ,   P   5   I N T   C   W E B L   S O C   M ,   P 3 2 1 ;   W i g g i n s   A . ,   2 0 1 1 ,   P   4 4   H A W   I N T   C   S Y S T ;   W u   F a n g ,   2 0 0 9 ,   P   2 0 0 9   I E E E   I N T   C   S O ,   P 4 0 9 ;   Z h e n g   H C ,   2 0 1 1 ,   I N T   J   E L E C T R O N   C O M M ,   V 1 5 ,   P 5 7 ,   D O I   1 0 . 2 7 5 3 / J E C 1 0 8 6 - 4 4 1 5 1 5 0 4 0 2 	 6 6 	 9 	 9 	 M I T   P R E S S 	 C A M B R I D G E 	 F I V E   C A M B R I D G E   C E N T E R ,   C A M B R I D G E ,   M A   0 2 1 4 2   U S A 	 	 	 9 7 8 - 0 - 2 6 2 - 3 1 4 2 3 - 7 	 M I T   P R E S S   E S S E N T 	 	 	 2 0 1 3 	 	 	 	 	 	 	 1 	 1 3 8 	 	 	 	 1 3 8 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B G M 3 3 	 W O S : 0 0 0 3 2 3 4 9 5 3 0 0 0 0 7 	 	 
 B 	 B r a b h a m ,   D C 	 B r a b h a m ,   D C 	 	 	 B r a b h a m ,   D a r e n   C . 	 B r a b h a m ,   D C 	 	 C R O W D S O U R C I N G   P R E F A C E 	 C R O W D S O U R C I N G 	 M I T   P r e s s   E s s e n t i a l   K n o w l e d g e   S e r i e s 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l ;   B o o k   C h a p t e r 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 0 	 0 	 0 	 M I T   P R E S S 	 C A M B R I D G E 	 F I V E   C A M B R I D G E   C E N T E R ,   C A M B R I D G E ,   M A   0 2 1 4 2   U S A 	 	 	 9 7 8 - 0 - 2 6 2 - 3 1 4 2 3 - 7 	 M I T   P R E S S   E S S E N T 	 	 	 2 0 1 3 	 	 	 	 	 	 	 I X 	 + 	 	 	 	 9 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B G M 3 3 	 W O S : 0 0 0 3 2 3 4 9 5 3 0 0 0 0 1 	 	 
 B 	 B r a b h a m ,   D C 	 B r a b h a m ,   D C 	 	 	 B r a b h a m ,   D a r e n   C . 	 B r a b h a m ,   D C 	 	 C R O W D S O U R C I N G   I N T R O D U C T I O N 	 C R O W D S O U R C I N G 	 M I T   P r e s s   E s s e n t i a l   K n o w l e d g e   S e r i e s 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l ;   B o o k   C h a p t e r 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 0 	 0 	 0 	 M I T   P R E S S 	 C A M B R I D G E 	 F I V E   C A M B R I D G E   C E N T E R ,   C A M B R I D G E ,   M A   0 2 1 4 2   U S A 	 	 	 9 7 8 - 0 - 2 6 2 - 3 1 4 2 3 - 7 	 M I T   P R E S S   E S S E N T 	 	 	 2 0 1 3 	 	 	 	 	 	 	 X V 	 X X I V 	 	 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B G M 3 3 	 W O S : 0 0 0 3 2 3 4 9 5 3 0 0 0 0 2 	 	 
 B 	 B r a b h a m ,   D C 	 B r a b h a m ,   D C 	 	 	 B r a b h a m ,   D a r e n   C . 	 B r a b h a m ,   D C 	 	 O R G A N I Z I N G   C R O W D S O U R C I N G 	 C R O W D S O U R C I N G 	 M I T   P r e s s   E s s e n t i a l   K n o w l e d g e   S e r i e s 	 	 E n g l i s h 	 A r t i c l e ;   B o o k   C h a p t e r 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 0 	 0 	 0 	 M I T   P R E S S 	 C A M B R I D G E 	 F I V E   C A M B R I D G E   C E N T E R ,   C A M B R I D G E ,   M A   0 2 1 4 2   U S A 	 	 	 9 7 8 - 0 - 2 6 2 - 3 1 4 2 3 - 7 	 M I T   P R E S S   E S S E N T 	 	 	 2 0 1 3 	 	 	 	 	 	 	 4 1 	 5 9 	 	 	 	 1 9 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B G M 3 3 	 W O S : 0 0 0 3 2 3 4 9 5 3 0 0 0 0 4 	 	 
 B 	 B r a b h a m ,   D C 	 B r a b h a m ,   D C 	 	 	 B r a b h a m ,   D a r e n   C . 	 B r a b h a m ,   D C 	 	 I S S U E S   I N   C R O W D S O U R C I N G 	 C R O W D S O U R C I N G 	 M I T   P r e s s   E s s e n t i a l   K n o w l e d g e   S e r i e s 	 	 E n g l i s h 	 A r t i c l e ;   B o o k   C h a p t e r 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 0 	 0 	 0 	 M I T   P R E S S 	 C A M B R I D G E 	 F I V E   C A M B R I D G E   C E N T E R ,   C A M B R I D G E ,   M A   0 2 1 4 2   U S A 	 	 	 9 7 8 - 0 - 2 6 2 - 3 1 4 2 3 - 7 	 M I T   P R E S S   E S S E N T 	 	 	 2 0 1 3 	 	 	 	 	 	 	 6 1 	 9 7 	 	 	 	 3 7 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B G M 3 3 	 W O S : 0 0 0 3 2 3 4 9 5 3 0 0 0 0 5 	 	 
 B 	 B r a b h a m ,   D C 	 B r a b h a m ,   D C 	 	 	 B r a b h a m ,   D a r e n   C . 	 B r a b h a m ,   D C 	 	 T H E   F U T U R E   O F   C R O W D S O U R C I N G 	 C R O W D S O U R C I N G 	 M I T   P r e s s   E s s e n t i a l   K n o w l e d g e   S e r i e s 	 	 E n g l i s h 	 A r t i c l e ;   B o o k   C h a p t e r 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 0 	 0 	 0 	 M I T   P R E S S 	 C A M B R I D G E 	 F I V E   C A M B R I D G E   C E N T E R ,   C A M B R I D G E ,   M A   0 2 1 4 2   U S A 	 	 	 9 7 8 - 0 - 2 6 2 - 3 1 4 2 3 - 7 	 M I T   P R E S S   E S S E N T 	 	 	 2 0 1 3 	 	 	 	 	 	 	 9 9 	 1 1 5 	 	 	 	 1 7 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B G M 3 3 	 W O S : 0 0 0 3 2 3 4 9 5 3 0 0 0 0 6 	 	 
 J 	 J i m e n e z - C r e s p o ,   M A 	 	 	 	 J i m e n e z - C r e s p o ,   M i g u e l   A . 	 	 	 C r o w d s o u r c i n g ,   c o r p u s   u s e ,   a n d   t h e   s e a r c h   f o r   t r a n s l a t i o n   n a t u r a l n e s s   A   c o m p a r a b l e   c o r p u s   s t u d y   o f   F a c e b o o k   a n d   n o n - t r a n s l a t e d   s o c i a l   n e t w o r k i n g   s i t e s 	 T R A N S L A T I O N   A N D   I N T E R P R E T I N G   S T U D I E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 v o l u n t e e r   t r a n s l a t i o n ;   c r o w d s o u r c i n g ;   w e b   l o c a l i z a t i o n ;   u s e r - b a s e d   t r a n s l a t i o n   q u a l i t y ;   c o r p u s - b a s e d   t r a n s l a t i o n   s t u d i e s ;   t r a n s l a t i o n   t e c h n o l o g y 	 L O C A L I Z A T I O N ;   Q U A L I T Y ;   C O R P O R A ;   T E X T S 	 T h i s   p a p e r   a r g u e s   t h a t   c o r p u s   u s e   i n   t r a n s l a t i o n   a n d   t h e   F a c e b o o k   n o n - p r o f e s s i o n a l   c r o w d s o u r c i n g   m o d e l   b o t h   a i m   t o   c r e a t e   m o r e   n a t u r a l - s o u n d i n g   t r a n s l a t i o n s .   A   n u m b e r   o f   s t u d i e s   o n   c o r p u s   u s e   s u p p o r t   t h i s   h y p o t h e s i s ,   b u t ,   t o   d a t e ,   t h e r e   h a v e   b e e n   n o   e m p i r i c a l   s t u d i e s   o n   w h e t h e r   c r o w d s o u r c i n g   t r a n s l a t i o n s   p r o d u c e s   t e x t s   t h a t   c o m p l y   w i t h   t h e   c o n v e n t i o n s   u s e r s   e x p e c t ,   c o n s e q u e n t l y   a p p e a r i n g   m o r e   n a t u r a l .   A f t e r   a   t h e o r e t i c a l   d i s c u s s i o n   o n   h o w   c o r p u s   u s e   a n d   F a c e b o o k   c r o w d s o u r c i n g   b o t h   i n t e n d   t o   a c h i e v e   m o r e   n a t u r a l l y   s o u n d i n g   t r a n s l a t i o n s ,   t h e   e m p i r i c a l   s t u d y   c o n t r a s t s   t h e   c r o w d s o u r c e d   P e n i n s u l a r   S p a n i s h   v e r s i o n   o f   F a c e b o o k   t o   o r i g i n a l   S p a n i s h   s o c i a l   n e t w o r k i n g   s i t e s .   T h e   m e t h o d o l o g y   i s   b a s e d   o n   a   c o m p a r a b l e   c o r p u s   ( B a k e r   1 9 9 5 )   a n d   c o m p a r e s   a l l   t h e   i n t e r a c t i v e   s e g m e n t s ,   s u c h   a s   n a v i g a t i o n   m e n u s   a n d   d i a l o g   b o x e s ,   i n   t h i s   v e r s i o n   o f   F a c e b o o k   t o   a   s i m i l a r   c o r p u s   e x t r a c t e d   f r o m   t h e   t o p   2 5   s o c i a l   n e t w o r k s   l o c a l l y   p r o d u c e d   i n   S p a i n .   T h e   c o n t r a s t i v e   a n a l y s e s   f o c u s   o n   v e r b a l   u s e   a n d   t e r m i n o l o g i c a l   c o n v e n t i o n s .   T h e   r e s u l t s   c o n f i r m   t h a t   t h e   l i n g u i s t i c   f e a t u r e s   e x a m i n e d   i n   F a c e b o o k   a n d   p r o d u c e d   t h r o u g h   a   c r o w d s o u r c e d   n o n - p r o f e s s i o n a l   m o d e l   m a t c h   t h o s e   f o u n d   i n   t h e   c o r p u s   o f   n o n - t r a n s l a t e d   n e t w o r k i n g   s i t e s . 	 R u t g e r s   S t a t e   U n i v ,   D e p t   S p a n i s h   &   P o r t u g u e s e ,   N e w   B r u n s w i c k ,   N J   0 7 0 3 0   U S A 	 J i m e n e z - C r e s p o ,   M A   ( r e p r i n t   a u t h o r ) ,   R u t g e r s   S t a t e   U n i v ,   D e p t   S p a n i s h   &   P o r t u g u e s e ,   N e w   B r u n s w i c k ,   N J   0 7 0 3 0   U S A . 	 	 	 	 	 	 A d e l a n t o ,   2 0 0 9 ,   E S T U D I O   H A B I T O S   I N T E ;   A n g e l e l l i   C l a u d i a ,   2 0 0 9 ,   A T A   S C H O L A R L Y   M O N O G R ;   A N G E L E L L I   C V ,   2 0 0 9 ,   T E S T I N G   A S S E S S M E N T   T ,   V 1 4 ,   P 1 3 ;   B e e b y   A ,   2 0 0 5 ,   M E T A ,   V 5 0 ,   P 6 0 9 ;   B a k e r   M o n a ,   1 9 9 3 ,   T E X T   T E C H N O L O G Y   H O N O ,   P 2 3 3 ;   B a k e r   M o n a ,   1 9 9 9 ,   I N T   J   C O R P U S   L I N G U I S ,   V 4 ,   P 2 8 1 ,   D O I   1 0 . 1 0 7 5 / i j c l . 4 . 2 . 0 5 b a k ;   B A K E R   M o n a ,   1 9 9 6 ,   T E R M I N O L O G Y   L S P   T R A N ,   P 1 7 5 ;   B A K E R   M o n a ,   1 9 9 5 ,   T A R G E T ,   V 7 ,   P 2 2 3 ,   D O I   1 0 . 1 0 7 5 / t a r g e t . 7 . 2 . 0 3 b a k ;   B e e b y   A ,   2 0 0 9 ,   B E N J A M I N   T R A N S L   L I B ,   V 8 2 ,   P 1 ;   B e l l   R .   T . ,   1 9 9 1 ,   T R A N S L A T I O N   T R A N S L A T ;   B e r n a r d i n i   S i l v i a ,   2 0 0 8 ,   T O P I C S   L A N G U A G E   R E S O ,   P 3 9 ;   B i b e r   D . ,   1 9 9 3 ,   L I T   L I N G U I S T I C   C O M P U ,   V 8 ,   P 2 4 3 ,   D O I   1 0 . 1 0 9 3 / l l c / 8 . 4 . 2 4 3 ;   B o l a n o s   M e d i n a   A l i c i a ,   2 0 0 3 ,   I N T E R N E T   L I N G U I S T I C S ,   P 2 4 1 ;   B o w k e r   L ,   1 9 9 8 ,   M E T A ,   V 4 3 ,   P 6 3 1 ;   B o w k e r   L y n n e ,   2 0 0 2 ,   C O M P U T E R   A I D E D   T R A N S ;   B o w k e r   L y n n e ,   2 0 0 8 ,   T O P I C S   L A N G U A G E   R E S O ,   P 1 ;   B O W K E R   L y n n e ,   2 0 0 2 ,   W O R K I N G   S P E C I A L I Z E D ;   C H E S T E R M A N   A n d r e w ,   2 0 0 2 ,   C A N   T H E O R Y   H E L P   T R A N ;   C o l i n a   S ,   2 0 0 8 ,   T R A N S L A T O R ,   V 1 4 ,   P 9 7 ;   C r o n i n   M i c h a e l ,   2 0 1 3 ,   T R A N S L A T I O N   D I G I T A L ;   C r o n i n   M i c h a e l ,   2 0 1 0 ,   T R A D U M A T I C A ,   V 8 ;   C r o n i n   M i c h a e l ,   2 0 0 3 ,   T R A N S L A T I O N   G L O B A L I Z ;   D u n n e   K e i r a n ,   2 0 0 6 ,   P E R S P E C T I V E S   L O C A L I Z ,   P 1 ;   E r i c s s o n   K .   A . ,   2 0 0 0 ,   I N T E R P R E T I N G ,   V 5 ,   P 1 8 9 ,   D O I   1 0 . 1 0 7 5 / i n t p . 5 . 2 . 0 8 e r i ;   E u r o p e a n   C o m m i s s i o n ,   2 0 1 2 ,   S T U D   M U L T   T R A N S L ;   G l a s e r   R o s e m a r i e ,   1 9 9 0 ,   F A C H T E X T S O R T E N   E N G L I ,   V 1 3 ;   G O U A D E C   D a n i e l ,   2 0 0 7 ,   T R A N S L A T I O N   P R O F E S S I ;   H a l v e r s o n   S ,   1 9 9 8 ,   M E T A ,   V 4 3 ,   P 4 9 4 ;   H a r r i s   B . ,   1 9 7 8 ,   L A N G U A G E   I N T E R P R E T A T ,   P 1 5 5 ;   H a r r i s   B r i a n ,   1 9 7 6 ,   W O R K I N G   P A P E R S   T R A N S ;   H o e y   M . ,   2 0 0 5 ,   L E X I C A L   P R I M I N G   N E W ;   H o u s e   J ,   2 0 0 1 ,   M E T A ,   V 4 6 ,   P 2 4 3 ;   J a k o b s e n   A r n t   L y k k e ,   2 0 0 5 ,   K N O W L E D G E   S Y S T E M S   T R ,   P 1 7 3 ;   J i m e n e z - C r e s p o   M A ,   2 0 0 9 ,   L I N G   A N T V E R P   N E W   S E R ,   V 8 ,   P 2 1 3 ;   J i m e n e z - C r e s p o   M A ,   2 0 1 1 ,   P E R S P E C T   S T U D   T R A N S L ,   V 1 9 ,   P 3 1 5 ,   D O I   1 0 . 1 0 8 0 / 0 9 0 7 6 7 6 X . 2 0 1 1 . 6 1 5 4 0 9 ;   J i m e n e z - C r e s p o   M A ,   2 0 1 1 ,   T A R G E T - N E T H ,   V 2 3 ,   P 3 ,   D O I   1 0 . 1 0 7 5 / t a r g e t . 2 3 . 1 . 0 1 j i m ;   J i m e n e z - C r e s p o   M A ,   2 0 1 0 ,   T R A N S L   I N T E R P R E T   S T U ,   V 5 ,   P 1 8 6 ,   D O I   1 0 . 1 0 7 5 / t i s . 5 . 2 . 0 3 j i m ;   J i m e n e z - C r e s p o   M i g u e l   A . ,   2 0 0 8 ,   A P R O X I M A C I O N E S   C O G N I ,   P 2 5 9 ;   J i m e n e z - C r e s p o   M i g u e l   A . ,   2 0 0 8 ,   T H E S I S   U   G R A N A D A   S P A ;   J i m e n e z - C r e s p o   M i g u e l   A . ,   2 0 0 9 ,   J O S T R A N S   J   S P E C I A L I Z ,   V 1 2 ,   P 7 9 ;   J i m e n e z - C r e s p o   M i g u e l   A . ,   2 0 0 9 ,   T R A D U M A T I C A ,   P 7 ;   J i m e n e z - C r e s p o   M i g u e l   A . ,   2 0 1 2 ,   J O S T R A N S   J   S P E C I A L I S ,   V 1 7 ,   P 1 3 6 ;   J i m e n e z - C r e s p o   M i g u e l   A . ,   2 0 1 3 ,   T R A N S L A T I O N   W E B   L O C A ;   J i m e n e z - C r e s p o   M i g u e l   A . ,   2 0 1 1 ,   L I N G   A N T V E R P   N E W   S E R ,   V 1 2 ,   P 1 5 6 ;   K E N N Y   D o r o t h y ,   2 0 0 1 ,   L E X I S   C R E A T I V I T Y   T R A ;   K i r a l y   D .   C . ,   1 9 9 5 ,   P A T H W A Y S   T R A N S L A T I O N ;   K i r a l y   D .   C . ,   2 0 0 0 ,   S O C I A L   C O N S T R U C T I V I S ;   K R I N G S   H a n s   P e t e r ,   1 9 8 6 ,   W A S   K O P F E N   U B E R S E T Z E ;   K r u g   S t e v e n ,   2 0 0 6 ,   D O N T   M A K E   M E   T H I N K   C ;   K r u g e r   A l e t ,   2 0 1 1 ,   C O R P U S   B A S E D   T R A N S L A ;   K U J A M A K I   P e k k a ,   2 0 0 4 ,   T R A N S L A T I O N   U N I V E R S A ;   L a r o s e   R ,   1 9 9 8 ,   M E T A ,   V 4 3 ,   P 1 6 3 ;   L a v i o s a   S . ,   2 0 0 2 ,   C O R P U S   B A S E D   T R A N S L A ;   L e w i s   D .   K . ,   1 9 6 9 ,   C O N V E N T I O N   P H I L O S   S T ;   L I S A   ( L O C A L I S A T I O N   I N D U S T R Y   S T A N D A R D S   A S S O C I A T I O N ) ,   2 0 0 3 ,   L O C   I N D   P R I M ;   L o p e z   R o d r i g u e z   C l a r a   I n e s ,   2 0 0 8 ,   J   S P E C I A L I S E D   T R A N S L ,   V 9 ,   P 2 ;   M a h a d i   T e n g k u   S .   T . ,   2 0 1 0 ,   C O R P O R A   T R A N S L A T I O N ;   M a l m k j a e r   K i r s t e n ,   1 9 9 8 ,   M E T A ,   V 4 3 ,   P 5 3 2 ;   M a u r a n e n   A n n a ,   2 0 0 8 ,   I N C O R P O R A T I N G   C O R P O R ,   P 3 3 ;   M u n d a y   J . ,   2 0 1 2 ,   I N T R O   T R A N S L A T I O N   S T ;   M u n d a y   J e r e m y ,   2 0 1 0 ,   H D B   T R A N S L A T I O N   S T U D ;   M u n o z   M a r t i n   R i c a r d o ,   2 0 0 9 ,   M U T A T I S   M U T A N D I S ,   V 2 ,   P 2 4 ;   M u n o z   S a n c h e z   P . ,   2 0 0 9 ,   J   I N T   L O C A L I Z A T I O N ,   V 1 ,   P 1 6 8 ;   N i d a   E .   A . ,   1 9 6 4 ,   S C I   T R A N S L A T I N G   S P E C ;   N i e l s e n   J . ,   2 0 0 4 ,   N E E D   W E B   D E S I G N   S T A N ;   N i e l s e n   J . ,   2 0 0 6 ,   P R I O R I T I Z I N G   W E B   U S A ;   N i e l s e n   J . ,   2 0 0 2 ,   H O M E P A G E   U S A B I L I T Y   5 ;   N o b s   M a r i e ,   2 0 0 6 ,   T R A D U C C I O N   F O L L E T O S ;   N o r d   C . ,   1 9 9 7 ,   T R A N S L A T I N G   P U R P O S E F ;   N o r d   C . ,   1 9 9 1 ,   T E X T   A N A L   T R A N S L A T I O ;   O ' B r i e n   S h a r o n ,   2 0 1 1 ,   I A T I S   Y B   2 0 1 0 ;   O ' H a g a n   M i n a k o ,   2 0 0 6 ,   P E R S P E C T I V E S   S T U D I E S ,   V 1 4 ,   P 2 4 3 ;   O ' H a g a n   M i n a k o ,   2 0 1 1 ,   L I N G   A N T V E R P   N E W   S E R ,   V 1 0 ,   P 1 ;   O ' H a g a n   M i n a k o ,   2 0 0 9 ,   J   I N T   L O C A L I S A T I O N ,   V 1 ,   P 9 4 ;   O L O H A N   M a e v e ,   2 0 0 4 ,   I N T R O   C O R P O R A   T R A N S L ;   P A C T E ,   2 0 0 9 ,   L A N G U A G E S   C U L T U R E S ,   V 1 0 ,   P 2 0 7 ,   D O I   1 0 . 1 5 5 6 / A c r . 1 0 . 2 0 0 9 . 2 . 3 ;   P A C T E ,   2 0 0 1 ,   Q U A D E R N S   R E V   T R A D U C C ,   V 6 ,   P 3 9 ;   P r i c e   J . ,   2 0 0 2 ,   H O T   T E X T   W E B   W R I T I N G ;   P y m   A . ,   2 0 1 0 ,   E X P L O R I N G   T R A N S L A T I O ;   R a y   R ,   2 0 1 1 ,   C R O W D S O U R C E D   T R A N S L A ;   R e i s s   K . ,   1 9 8 4 ,   G R U N D L E G U N G   A L L G E M E I ;   R o d r i g u e z   I n e s   P a t r i c i a ,   2 0 1 0 ,   I N T E R P R E T   T R A N S L   T R A ,   V 4 ,   P 2 5 1 ;   S c o t t   M i k e ,   2 0 0 1 ,   P A T T E R N   T E X T   H O N O U R ,   P 1 0 2 ;   S e l e s k o v i t c h   D a n i c a ,   1 9 6 8 ,   I N T E R P R E T E   C   I N T   P R O ;   S h r e v e   G r e g o r y ,   1 9 9 7 ,   C O G N I T I V E   P R O C E S S ,   P 2 3 3 ;   S h r e v e   G r e g o r y ,   2 0 0 6 ,   J   T R A N S L A T I O N   S T U D I E ,   V 9 ,   P 2 7 ;   S h r e v e   G r e g o r y   M . ,   2 0 0 6 ,   P E R S P E C T I V E S   L O C A L I Z ,   P 3 0 9 ;   S n e l l - H o r n b y   M a r y ,   1 9 8 8 ,   T R A N S L A T I O N   S T U D I E S ;   T e i c h   E l k e ,   2 0 0 3 ,   C R O S S   L I N G U I S T I C   V A R ;   T o g n i n i - B o n e l l i   E . ,   2 0 0 1 ,   C O R P U S   L I N G U I S T I C S   W ;   T o g n i n i - B o n e l l i   E l e n a ,   1 9 9 6 ,   C O R P U S   T H E O R Y   P R A C T I ;   T o u r y   G i d e o n ,   1 9 9 5 ,   D E S C R I P T I V E   S T U D I E S ;   T R O S B O R G   A n n a ,   1 9 9 7 ,   T E X T   T Y P O L O G Y   T R A N S L ,   P 3 ;   T y m o c z k o   M ,   2 0 0 5 ,   M E T A ,   V 5 0 ,   P 1 0 8 2 ;   V a u g h a n   M W ,   2 0 0 6 ,   I N T   J   H U M - C O M P U T   S T ,   V 6 4 ,   P 5 0 2 ,   D O I   1 0 . 1 0 1 6 / j . i j h c s . 2 0 0 5 . 1 1 . 0 0 2 ;   W i l l i a m s   M i c h a e l ,   2 0 0 3 ,   T R A N S L A T I O N   Q U A L I T Y ;   W u   X i a n w e i ,   2 0 1 0 ,   T R A N S L   H U M   C   U   I L L   U ;   Z a n e t t i n   F . ,   2 0 0 1 ,   L E A R N I N G   C O R P O R A ,   P 1 7 7 ;   Z a n e t t i n   F ,   1 9 9 8 ,   M E T A ,   V 4 3 ,   P 6 1 6 ;   Z A N E T T I N   F e d e r i c o ,   2 0 0 3 ,   C O R P O R A   T R A N S L A T O R   E 	 1 0 0 	 0 	 0 	 J O H N   B E N J A M I N S   P U B L I S H I N G   C O M P A N Y 	 A M S T E R D A M 	 P O   B O X   3 6 2 2 4 ,   1 0 2 0   M E   A M S T E R D A M ,   N E T H E R L A N D S 	 1 9 3 2 - 2 7 9 8 	 	 	 T R A N S L   I N T E R P R E T   S T U 	 T r a n s .   I n t e r p r e t .   S t u d . 	 	 2 0 1 3 	 8 	 1 	 	 	 	 	 2 3 	 4 9 	 	 1 0 . 1 0 7 5 / t i s . 8 . 1 . 0 2 j i m 	 	 2 7 	 L i n g u i s t i c s ;   L a n g u a g e   &   L i n g u i s t i c s 	 L i n g u i s t i c s 	 1 8 6 X D 	 W O S : 0 0 0 3 2 2 0 7 8 4 0 0 0 0 2 	 	 
 J 	 Z h a o ,   Y X ;   L i u ,   J ;   T a n g ,   J ;   Z h u ,   Q H 	 	 	 	 Z h a o ,   Y u x i a n g ;   L i u ,   J i a n g ;   T a n g ,   J i a n ;   Z h u ,   Q i n g h u a 	 	 	 C o n c e p t u a l i z i n g   p e r c e i v e d   a f f o r d a n c e s   i n   s o c i a l   m e d i a   i n t e r a c t i o n   d e s i g n 	 A S L I B   P R O C E E D I N G S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 A f f o r d a n c e ;   P e r c e i v e d   a f f o r d a n c e ;   S o c i a l   m e d i a ;   I n t e r a c t i o n   d e s i g n ;   I T   a r t e f a c t ;   U s e r   t y p e   a n d   r o l e ;   A p p l i c a t i o n   d o m a i n ;   S o c i o m a t e r i a l i t y ;   S o c i a l   i n t e r a c t i o n ;   P e r c e p t i o n ;   U s e r   i n t e r f a c e s 	 I D E N T I T Y   C R I S I S ;   C A L L 	 P u r p o s e   -   T h e   p u r p o s e   o f   t h i s   p a p e r   i s   t o   t h e o r e t i c a l l y   d e v e l o p   t h e   c o n c e p t   o f   p e r c e i v e d   a f f o r d a n c e   b a s e d   o n   t h e   e x i s t i n g   s t u d i e s ,   a n d   t o   c o n s t r u c t   a   c o n c e p t u a l   f r a m e w o r k   t o   s h o w   h o w   p e r c e i v e d   a f f o r d a n c e s   c a n   f a c i l i t a t e   t h e   i n t e r a c t i o n   d e s i g n   o f   s o c i a l   m e d i a .   D e s i g n / m e t h o d o l o g y / a p p r o a c h   -   T h e   p a p e r   p r o v i d e s   a   r e v i e w   o f   t h e   r e l e v a n t   l i t e r a t u r e   o n   a f f o r d a n c e   a n d   p e r c e i v e d   a f f o r d a n c e ,   a n d   c o n c e p t u a l l y   p r o p o s e s   a   t y p o l o g y   o f   p e r c e i v e d   a f f o r d a n c e s   i n   s o c i a l   m e d i a   a n d   a n   i n t e g r a t i v e   f r a m e w o r k   f o r   i n t e r a c t i o n   d e s i g n   f r o m   s o c i o m a t e r i a l i t y   p e r s p e c t i v e .   F u r t h e r m o r e ,   a   b r i e f   e m p i r i c a l   e x a m p l e   o n   t h e   i n t e r a c t i o n   d e s i g n   o f   c r o w d s o u r c i n g   s y s t e m s   i s   u s e d   t o   g r o u n d   a n d   i l l u s t r a t e   t h e   a u t h o r s '   c o n c e p t u a l   f r a m e w o r k .   F i n d i n g s   -   T h e   p a p e r   s h o w s   t h a t   t h e   p e r c e i v e d   a f f o r d a n c e s   m a y   h a v e   m u l t i - f a c e t   c h a r a c t e r i s t i c s   a n d   t h e   i n t e r a c t i o n   d e s i g n   o f   s o c i a l   m e d i a   s h o u l d   r e f l e c t   t h e   m u l t i - d i m e n s i o n a l   p e r c e i v e d   a f f o r d a n c e s .   T h e   p e r c e i v e d   a f f o r d a n c e s   c a n   s u p p o r t   o r   f a c i l i t a t e   t h e   d e s i g n   o f   b a s i c   e l e m e n t s   o f   s o c i a l   m e d i a ,   s u c h   a s   c o n t e n t   a n d   f o r m ,   t o   e n h a n c e   b o t h   u s a b i l i t y   ( h u m a n - c o m p u t e r   i n t e r a c t i o n )   a n d   s o c i a b i l i t y   ( h u m a n - h u m a n   i n t e r a c t i o n ) .   A   p o s i t i o n   o f   c o n s t i t u t i v e   e n t a n g l e m e n t   d o e s   n o t   p r i v i l e g e   e i t h e r   u s e r s   o r   s o c i a l   m e d i a   a r t i f a c t s ,   n o r   d o e s   i t   p r o v i d e   a   r i g i d   t r i a n g l e   a m o n g   t h e s e   t h r e e   c o m p o n e n t s .   I n s t e a d ,   t h e   p e r c e i v e d   a f f o r d a n c e s   p l a y   a   c r i t i c a l   r o l e   i n   i n t e g r a t i n g   t h e   k e y   c o m p o n e n t s   i n   s o c i a l   m e d i a   i n t e r a c t i o n   d e s i g n   a s   a n   e n s e m b l e .   O r i g i n a l i t y / v a l u e   -   T h e   p a p e r   a t t e m p t s   t o   e x p l o r e   a n d   d e v e l o p   t h e   c o n c e p t   o f   p e r c e i v e d   a f f o r d a n c e   a n d   e m p l o y   i t   a s   a   t h e o r e t i c a l   l e n s   t o   u n d e r p i n   i n t e r a c t i o n   d e s i g n   o f   s o c i a l   m e d i a .   O v e r a l l ,   t h e   a u t h o r s '   s t u d y   c o n t r i b u t e s   t o   t h e   d e s i g n   s c i e n c e   l i t e r a t u r e   i n   t h e   i n f o r m a t i o n   m a n a g e m e n t   f i e l d   b y   e l a b o r a t i n g   a   n e w   t h e o r e t i c a l   p e r s p e c t i v e   a n d   p r o v i d i n g   a   c o n c e p t u a l   f r a m e w o r k   f o r   t h e   r e s e a r c h e r s   a n d   d e s i g n e r s . 	 [ Z h a o ,   Y u x i a n g ;   L i u ,   J i a n g ;   Z h u ,   Q i n g h u a ]   N a n j i n g   U n i v ,   S c h   I n f o r m a t   M a n a g e m e n t ,   N a n j i n g   2 1 0 0 0 8 ,   J i a n g s u ,   P e o p l e s   R   C h i n a ;   [ T a n g ,   J i a n ]   S y r a c u s e   U n i v ,   S c h   I n f o r m a t   S t u d i e s ,   S y r a c u s e ,   N Y   U S A 	 Z h a o ,   Y X   ( r e p r i n t   a u t h o r ) ,   N a n j i n g   U n i v ,   S c h   I n f o r m a t   M a n a g e m e n t ,   N a n j i n g   2 1 0 0 0 8 ,   J i a n g s u ,   P e o p l e s   R   C h i n a . 	 c h r i s t 4 1 1 @ y a h o o . c n 	 	 	 N a t i o n a l   P l a n n i n g   O f f i c e   o f   P h i l o s o p h y   a n d   S o c i a l   S c i e n c e   [ 1 1 Z D 1 6 9 ] ;   N a t i o n a l   S o c i a l   S c i e n c e   F o u n d a t i o n   i n   C h i n a   [ 1 0 A T Q 0 0 4 ] 	 T h i s   w o r k   i s   j o i n t l y   s u p p o r t e d   b y   t h e   N a t i o n a l   P l a n n i n g   O f f i c e   o f   P h i l o s o p h y   a n d   S o c i a l   S c i e n c e   u n d e r   G r a n t   1 1 & Z D 1 6 9 ,   a n d   N a t i o n a l   S o c i a l   S c i e n c e   F o u n d a t i o n   i n   C h i n a   ( G r a n t   N o .   1 0 A T Q 0 0 4 ) .   F i r s t ,   t h e   a u t h o r s   s i n c e r e l y   a p p r e c i a t e   t w o   a n o n y m o u s   r e v i e w e r s '   t h o u g h t f u l   c o m m e n t s .   S e c o n d l y ,   t h e   a u t h o r s   a l s o   w o u l d   l i k e   t o   t h a n k   P r o f e s s o r   P i n g   Z h a n g   f r o m   S y r a c u s e   U n i v e r s i t y   f o r   h e r   i n s i g h t f u l   a n d   c o n s t r u c t i v e   s u g g e s t i o n s   o n   t h i s   p a p e r . 	 A g a r w a l   R ,   2 0 0 5 ,   M I S   Q U A R T ,   V 2 9 ,   P 3 8 1 ;   B & A E L I G ; r e n t s e n   K .   B . ,   2 0 0 2 ,   P   2   N O R D   C   H U M   C O M P ,   P 5 1 ;   B a r a d   K ,   2 0 0 3 ,   S I G N S ,   V 2 8 ,   P 8 0 1 ,   D O I   1 0 . 1 0 8 6 / 3 4 5 3 2 1 ;   B e n b a s a t   I ,   2 0 0 3 ,   M I S   Q U A R T ,   V 2 7 ,   P 1 8 3 ;   C h e m e r o   A ,   2 0 0 3 ,   E C O L   P S Y C H O L ,   V 1 5 ,   P 1 8 1 ,   D O I   1 0 . 1 2 0 7 / S 1 5 3 2 6 9 6 9 E C O 1 5 0 2 _ 5 ;   D e S a n c t i s   G ,   2 0 0 6 ,   A D V   M A N A G   I N F O R M   S Y S ,   V 5 ,   P 4 8 ;   G i b s o n   J .   J ,   1 9 5 0 ,   P E R C E P T I O N   V I S U A L   W O ;   G i b s o n   J a m e s ,   1 9 7 9 ,   E C O L O G I C A L   A P P R O A C H ;   G i b s o n   J . J . ,   2 0 0 0 ,   E C O L O G I C A L   A P P R O A C H ;   G r a n g e   C . ,   2 0 1 1 ,   S P R O U T S   W O R K I N G   P A P E ;   H a r t s o n   R . ,   2 0 0 3 ,   B E H A V   I N F O R M   T E C H N O L ,   V 2 5 ,   P 3 1 5 ;   H e v n e r   A R ,   2 0 0 4 ,   M I S   Q U A R T ,   V 2 8 ,   P 7 5 ;   J o r d a n   P . ,   2 0 0 1 ,   D E S I G N   P L E A S U R A B L E   P ;   K a n o   N . ,   1 9 9 6 ,   B E S T   Q U A L I T Y ,   P 1 6 5 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   K u   M . ,   2 0 1 1 ,   P   I N T   C   I N F   S Y S T   I C I ;   M a i e r   J . R . ,   2 0 0 8 ,   R E S   E N G   D E S ,   V 2 0 ,   P 1 3 ;   M a r k u s   M L ,   2 0 0 8 ,   J   A S S O C   I N F   S Y S T ,   V 9 ,   P 6 0 9 ;   N i e l s e n   J . ,   1 9 9 6 ,   P   C H I   9 L ,   P 3 3 0 ;   N o r m a n   D . ,   1 9 8 8 ,   P S Y C H O L   E V E R Y D A Y   T H I ;   N o r m a n   D .   A . ,   1 9 9 9 ,   I n t e r a c t i o n s ,   V 6 ,   D O I   1 0 . 1 1 4 5 / 3 0 1 1 5 3 . 3 0 1 1 6 8 ;   N o r m a n   D o n a l d   A ,   2 0 0 8 ,   I n t e r a c t i o n s ,   V 1 5 ,   D O I   1 0 . 1 1 4 5 / 1 4 0 9 0 4 0 . 1 4 0 9 0 4 4 ;   O r l i k o w s k i   W J ,   2 0 0 8 ,   A C A D   M A N A G   A N N ,   V 2 ,   P 4 3 3 ,   D O I   1 0 . 1 0 8 0 / 1 9 4 1 6 5 2 0 8 0 2 2 1 1 6 4 4 ;   O r l i k o w s k i   W J ,   2 0 0 1 ,   I N F O R M   S Y S T   R E S ,   V 1 2 ,   P 1 2 1 ,   D O I   1 0 . 1 2 8 7 / i s r e . 1 2 . 2 . 1 2 1 . 9 7 0 0 ;   O r l i k o w s k i   W . J . ,   2 0 0 7 ,   O R G A N   S T U D ,   V 2 8 ,   P 1 4 3 3 ;   P r e e c e   J ,   2 0 0 0 ,   O N L I N E   C O M M U N I T I E S   D ;   R e e d   E .   S . ,   1 9 9 6 ,   E N C O U N T E R I N G   W O R L D ;   R o u s e   A . ,   2 0 1 0 ,   A C I S   2 0 1 0   P ;   S a d l e r   E ,   2 0 0 7 ,   J   D O C ,   V 6 3 ,   P 1 1 5 ,   D O I   1 0 . 1 1 0 8 / 0 0 2 2 0 4 1 0 7 1 0 7 2 3 9 1 1 ;   S c h e n k   E . ,   2 0 0 9 ,   H A L   I T S   S E R I E S   W O R K I ;   S h n e i d e r m a n   B e n ,   2 0 0 9 ,   A I S   T   H U M A N   C O M P U T E R ,   V 1 ,   P 1 3 ;   T e ' e n i   D ,   2 0 0 7 ,   H U M A N   C O M P U T E R   I N T E R ;   T h a m b u s a m y   R . ,   2 0 1 1 ,   P   I N T   C   I N F   S Y S T   I C I ;   T u r v e y   M .   T . ,   1 9 9 2 ,   E c o l o g i c a l   P s y c h o l o g y ,   V 4 ,   P 1 7 3 ,   D O I   1 0 . 1 2 0 7 / s 1 5 3 2 6 9 6 9 e c o 0 4 0 3 _ 3 ;   V a n   O s c h   W . ,   2 0 1 1 ,   P   I N T   C   I N F   S Y S T   I C I ;   W a g n e r   E L ,   2 0 1 0 ,   J   A S S O C   I N F   S Y S T ,   V 1 1 ,   P 2 7 6 ;   W h i t l a   P . ,   2 0 0 9 ,   C O N T   M A N A G E M E N T   R E S ,   V 5 ,   P 1 5 ;   Y a n g   J ,   2 0 0 8 ,   E C ' 0 8 :   P R O C E E D I N G S   O F   T H E   2 0 0 8   A C M   C O N F E R E N C E   O N   E L E C T R O N I C   C O M M E R C E ,   P 2 4 6 ;   Y o o   Y ,   2 0 1 0 ,   M I S   Q U A R T ,   V 3 4 ,   P 2 1 3 ;   Z h a n g   P . ,   2 0 0 8 ,   D E S I G N I N G   I N F O R M   O R G ,   P 4 5 ;   Z h a n g   P . ,   2 0 1 1 ,   P   5   C H I N   S U M M   W O R K S H ;   Z h a n g   P . ,   2 0 0 8 ,   C O M M U N   A C M ,   V 2 1 ,   P 1 4 5 ;   Z h a o   Y X ,   2 0 1 0 ,   A D V   I N T E L   S Y S   R E S ,   V 1 4 ,   P 4 3 4 	 4 3 	 1 	 1 	 E M E R A L D   G R O U P   P U B L I S H I N G   L I M I T E D 	 B I N G L E Y 	 H O W A R D   H O U S E ,   W A G O N   L A N E ,   B I N G L E Y   B D 1 6   1 W A ,   W   Y O R K S H I R E ,   E N G L A N D 	 0 0 0 1 - 2 5 3 X 	 	 	 A S L I B   P R O C 	 A s l i b   P r o c . 	 	 2 0 1 3 	 6 5 	 3 	 	 	 	 	 2 8 9 	 3 0 2 	 	 1 0 . 1 1 0 8 / 0 0 0 1 2 5 3 1 3 1 1 3 3 0 6 5 6 	 	 1 4 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 C o m p u t e r   S c i e n c e ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 1 8 3 F W 	 W O S : 0 0 0 3 2 1 8 0 0 8 0 0 0 0 4 	 	 
 S 	 H u y n h ,   A ;   P o n t o ,   K ;   L i n ,   A Y M ;   K u e s t e r ,   F 	 	 	 I E E E 	 H u y n h ,   A n d r e w ;   P o n t o ,   K e v i n ;   L i n ,   A l b e r t   Y u - M i n ;   K u e s t e r ,   F a l k o 	 	 	 V i s u a l   A n a l y t i c s   o f   I n h e r e n t l y   N o i s y   C r o w d s o u r c e d   D a t a   o n   U l t r a   H i g h   R e s o l u t i o n   D i s p l a y s 	 2 0 1 3   I E E E   A E R O S P A C E   C O N F E R E N C E 	 I E E E   A e r o s p a c e   C o n f e r e n c e   P r o c e e d i n g s 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   A e r o s p a c e   C o n f e r e n c e 	 M A R   0 2 - 0 9 ,   2 0 1 3 	 B i g   S k y ,   M T 	 I E E E 	 	 	 B A N D W I D T H   S E L E C T I O N ;   D E N S I T Y - E S T I M A T I O N ;   V I S U A L I Z A T I O N 	 T h e   i n c r e a s i n g   p r e v a l e n c e   o f   d i s t r i b u t e d   h u m a n   m i c r o t a s k i n g ,   c r o w d s o u r c i n g ,   h a s   f o l l o w e d   t h e   e x p o n e n t i a l   i n c r e a s e   i n   d a t a   c o l l e c t i o n   c a p a b i l i t i e s .   T h e   l a r g e   s c a l e   a n d   d i s t r i b u t e d   n a t u r e   o f   t h e s e   m i c r o t a s k s   p r o d u c e   o v e r w h e l m i n g   a m o u n t s   o f   i n f o r m a t i o n   t h a t   i s   i n h e r e n t l y   n o i s y   d u e   t o   t h e   n a t u r e   o f   h u m a n   i n p u t .   F u r t h e r m o r e ,   t h e s e   i n p u t s   c r e a t e   a   c o n s t a n t l y   c h a n g i n g   d a t a s e t   w i t h   a d d i t i o n a l   i n f o r m a t i o n   a d d e d   o n   a   d a i l y   b a s i s .   M e t h o d s   t o   q u i c k l y   v i s u a l i z e ,   f i l t e r ,   a n d   u n d e r s t a n d   t h i s   i n f o r m a t i o n   o v e r   t e m p o r a l   a n d   g e o s p a t i a l   c o n s t r a i n t s   i s   k e y   t o   t h e   s u c c e s s   o f   c r o w d s o u r c i n g .   T h i s   p a p e r   p r e s e n t   n o v e l   m e t h o d s   t o   v i s u a l l y   a n a l y z e   g e o s p a t i a l   d a t a   c o l l e c t e d   t h r o u g h   c r o w d s o u r c i n g   o n   t o p   o f   r e m o t e   s e n s i n g   s a t e l l i t e   i m a g e r y .   A n   u l t r a   h i g h   r e s o l u t i o n   t i l e d   d i s p l a y   s y s t e m   i s   u s e d   t o   e x p l o r e   t h e   r e l a t i o n s h i p   b e t w e e n   h u m a n   a n d   s a t e l l i t e   r e m o t e   s e n s i n g   d a t a   a t   s c a l e .   A   c a s e   s t u d y   i s   p r o v i d e d   t h a t   e v a l u a t e s   t h e   p r e s e n t e d   t e c h n i q u e   i n   t h e   c o n t e x t   o f   a n   a r c h a e o l o g i c a l   f i e l d   e x p e d i t i o n .   A   t e a m   i n   t h e   f i e l d   c o m m u n i c a t e d   i n   r e a l - t i m e   w i t h   a n d   w a s   g u i d e d   b y   r e s e a r c h e r s   i n   t h e   r e m o t e   v i s u a l   a n a l y t i c s   l a b o r a t o r y ,   s w i f t l y   s i f t i n g   t h r o u g h   i n c o m i n g   c r o w d s o u r c e d   d a t a   t o   i d e n t i f y   t a r g e t   l o c a t i o n s   t h a t   w e r e   i d e n t i f i e d   a s   v i a b l e   a r c h a e o l o g i c a l   s i t e s . 	 [ H u y n h ,   A n d r e w ]   U n i v   C a l i f   S a n   D i e g o ,   S a n   D i e g o ,   C A   9 2 1 0 3   U S A 	 H u y n h ,   A   ( r e p r i n t   a u t h o r ) ,   U n i v   C a l i f   S a n   D i e g o ,   S a n   D i e g o ,   C A   9 2 1 0 3   U S A . 	 a 5 h u y n h @ u c s d . e d u ;   k b p o n t o @ w i s c . e d u ;   a 5 l i n @ u c s d . e d u ;   f k u e s t e r @ u c s d . e d u 	 	 	 	 	 A n k e r s t   M . ,   1 9 9 9 ,   P   A C M   S I G M O D   I N T   C   M ,   P 4 9 ,   D O I   1 0 . 1 1 4 5 / 3 0 4 1 8 2 . 3 0 4 1 8 7 ;   B a l l   R o b e r t ,   2 0 0 5 ,   C H I   0 5 ,   P 1 1 9 6 ,   D O I   1 0 . 1 1 4 5 / 1 0 5 6 8 0 8 . 1 0 5 6 8 7 5 ;   B r u n n e r   D o m i n i k ,   2 0 0 9 ,   S E L E C T E D   T O P I C S   A P P L ,   V 2 ,   P 3 3 ;   C o o p e r   S ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 7 5 6 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 9 3 0 4 ;   D a b b i s h   L a u r a ,   2 0 0 4 ,   P   2 0 0 4   C   H U M   F A C T   C O ,   V 6 ,   P 3 1 9 ;   D e F a n t i   T A ,   2 0 0 9 ,   F U T U R E   G E N E R   C O M P   S Y ,   V 2 5 ,   P 1 1 4 ,   D O I   1 0 . 1 0 1 6 / j . f u t u r e . 2 0 0 8 . 0 6 . 0 1 6 ;   D o e r r   K U ,   2 0 1 1 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 7 ,   P 3 2 0 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 1 0 . 5 9 ;   D o l l n e r   J ,   2 0 0 0 ,   I E E E   V I S U A L ,   P 2 2 7 ;   G u o   D ,   2 0 0 5 ,   C A R T O G R   G E O G R   I N F   S C ,   V 3 2 ,   P 1 1 3 ,   D O I   D O I   1 0 . 1 5 5 9 / 1 5 2 3 4 0 4 0 0 5 3 7 2 2 1 5 0 ;   G u o   D S ,   2 0 0 6 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 2 ,   P 1 4 6 1 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 0 6 . 8 4 ;   H A R N A D   S ,   1 9 9 0 ,   P H Y S I C A   D ,   V 4 2 ,   P 3 3 5 ,   D O I   1 0 . 1 0 1 6 / 0 1 6 7 - 2 7 8 9 ( 9 0 ) 9 0 0 8 7 - 6 ;   H a r t i g a n   J .   A . ,   1 9 7 9 ,   J   R O Y A L   S T A T   S O C   C ,   V 2 8 ,   P 1 0 0 ,   D O I   D O I   1 0 . 2 3 0 7 / 2 3 4 6 8 3 0 ;   J e r n   M ,   2 0 0 6 ,   I n f o r m a t i o n   V i s u a l i z a t i o n ,   P 2 5 ;   J o n e s   M C ,   1 9 9 6 ,   J   A M   S T A T   A S S O C ,   V 9 1 ,   P 4 0 1 ,   D O I   1 0 . 2 3 0 7 / 2 2 9 1 4 2 0 ;   K i d w e l l   P ,   2 0 0 8 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 4 ,   P 1 3 5 6 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 0 8 . 1 8 1 ;   L A M P E   O D ,   2 0 1 1 ,   P   2 0 1 1   I E E E   P A C   V I S ,   P 1 7 1 ;   L i n t o t t   C J ,   2 0 0 8 ,   M O N   N O T   R   A S T R O N   S O C ,   V 3 8 9 ,   P 1 1 7 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 9 6 6 . 2 0 0 8 . 1 3 6 8 9 . x ;   M a c i e j e w s k i   R ,   2 0 0 8 ,   I E E E   S   V I S   A N A L ,   P 3 5 ;   M o r a v e c   H . ,   1 9 9 8 ,   J   E V O L U T I O N   T E C H N O L O ,   V 1 ,   P 1 ;   P o n t o   K ,   2 0 1 0 ,   F U T U R E   G E N E R   C O M P   S Y ,   V 2 6 ,   P 6 9 3 ,   D O I   1 0 . 1 0 1 6 / j . f u t u r e . 2 0 0 9 . 1 2 . 0 0 7 ;   P o n t o   K e v i n ,   2 0 1 0 ,   P   A E R   C   2 0 1 0   I E E E ;   R i e s e n h u b e r   M ,   2 0 0 0 ,   N A T   N E U R O S C I ,   V 3 ,   P 1 1 9 9 ,   D O I   1 0 . 1 0 3 8 / 8 1 4 7 9 ;   R o b e r t s   J . C . ,   2 0 0 4 ,   E X P L O R I N G   G E O V I S U A L I ;   S e o   J ,   2 0 0 2 ,   C O M P U T E R ,   V 3 5 ,   P 8 0 ;   S H E A T H E R   S J ,   1 9 9 1 ,   J   R O Y   S T A T   S O C   B   M E T ,   V 5 3 ,   P 6 8 3 ;   S h n e i d e r m a n   B . ,   1 9 9 6 ,   P r o c e e d i n g s .   I E E E   S y m p o s i u m   o n   V i s u a l   L a n g u a g e s   ( C a t .   N o . 9 6 T B 1 0 0 0 6 6 ) ,   D O I   1 0 . 1 1 0 9 / V L . 1 9 9 6 . 5 4 5 3 0 7 ;   S M I T H   M .   J . ,   2 0 0 7 ,   G E O S P A T I A L   A N A L   C O M P ;   S t o c k l i   R e t o ,   2 0 0 5 ,   E A R T H ;   T h o m a s   J . ,   2 0 0 5 ,   I L L U M I N A T I N G   P A T H   R E ;   T u r n b u l l   D o u g l a s ,   2 0 0 7 ,   C   M U S ,   P 2 ;   v o n   A h n   L u i s ,   2 0 0 8 ,   C O M M U N   A C M ,   V 5 1 ,   P 5 7 ,   D O I   1 0 . 1 1 4 5 / 1 3 7 8 7 0 4 . 1 3 7 8 7 1 9 	 3 1 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 0 9 5 - 3 2 3 X 	 	 9 7 8 - 1 - 4 6 7 3 - 1 8 1 1 - 2 	 A E R O S P   C O N F   P R O C 	 	 	 2 0 1 3 	 	 	 	 	 	 	 	 	 	 	 	 8 	 E n g i n e e r i n g ,   A e r o s p a c e ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 E n g i n e e r i n g 	 B F J 6 2 	 W O S : 0 0 0 3 2 0 1 2 3 9 0 3 0 8 4 	 	 
 J 	 R i c e ,   M T ;   J a c o b s o n ,   R D ;   C a l d w e l l ,   D R ;   M c D e r m o t t ,   S D ;   P a e z ,   F I ;   A b u r i z a i z a ,   A O ;   C u r t i n ,   K M ;   S t e f a n i d i s ,   A ;   Q i n ,   H 	 	 	 	 R i c e ,   M a t t h e w   T . ;   J a c o b s o n ,   R .   D a n i e l ;   C a l d w e l l ,   D o u g l a s   R . ;   M c D e r m o t t ,   S c o t t   D . ;   P a e z ,   F a b i a n a   I . ;   A b u r i z a i z a ,   A h m a d   O . ;   C u r t i n ,   K e v i n   M . ;   S t e f a n i d i s ,   A n t h o n y ;   Q i n ,   H a n 	 	 	 C r o w d s o u r c i n g   t e c h n i q u e s   f o r   a u g m e n t i n g   t r a d i t i o n a l   a c c e s s i b i l i t y   m a p s   w i t h   t r a n s i t o r y   o b s t a c l e   i n f o r m a t i o n 	 C A R T O G R A P H Y   A N D   G E O G R A P H I C   I N F O R M A T I O N   S C I E N C E 	 	 	 E n g l i s h 	 A r t i c l e ;   P r o c e e d i n g s   P a p e r 	 I n t e r n a t i o n a l   C a r t o g r a p h i c   C o n f e r e n c e   ( I C C ) 	 A U G   2 5 - 3 0 ,   2 0 1 3 	 D r e s d e n ,   G E R M A N Y 	 	 	 c r o w d s o u r c i n g ;   a c c e s s i b i l i t y ;   b l i n d n e s s 	 G E O G R A P H I C A L   I N F O R M A T I O N ;   M A R I T I M E   E N V I R O N M E N T ;   S Y S T E M ;   B L I N D ;   R E P R E S E N T A T I O N S ;   O P E N S T R E E T M A P ;   G U I D A N C E ;   W E B 	 O n e   o f   t h e   m o s t   s c r u t i n i z e d   c o n t e m p o r a r y   t e c h n i q u e s   f o r   g e o s p a t i a l   d a t a   c o l l e c t i o n   a n d   p r o d u c t i o n   i s   c r o w d s o u r c i n g .   T h i s   i n v e r t s   t h e   t r a d i t i o n a l   t o p - d o w n   g e o s p a t i a l   d a t a   p r o d u c t i o n   a n d   d i s t r i b u t i o n   m e t h o d s   b y   e m p h a s i z i n g   o n   t h e   p a r t i c i p a t i o n   o f   t h e   e n d   u s e r   o r   c o m m u n i t y .   T h e   t e c h n i q u e   h a s   b e e n   s h o w n   t o   b e   p a r t i c u l a r l y   u s e f u l   i n   t h e   d o m a i n   o f   a c c e s s i b i l i t y   m a p p i n g ,   w h e r e   i t   c a n   a u g m e n t   t r a d i t i o n a l   m a p p i n g   m e t h o d s   a n d   s y s t e m s   b y   p r o v i d i n g   i n f o r m a t i o n   a b o u t   t r a n s i t o r y   o b s t a c l e s   i n   t h e   b u i l t   e n v i r o n m e n t .   T h i s   r e s e a r c h   p a p e r   p r e s e n t s   d e t a i l s   o f   t e c h n i q u e s   a n d   a p p l i c a t i o n s   o f   c r o w d s o u r c i n g   a n d   r e l a t e d   m e t h o d s   f o r   i m p r o v i n g   t h e   p r e s e n c e   o f   t r a n s i t o r y   o b s t a c l e s   i n   a c c e s s i b i l i t y   m a p p i n g   s y s t e m s .   T h e   o b s t a c l e s   a r e   v e r y   d i f f i c u l t   t o   i n c o r p o r a t e   w i t h   a n y   o t h e r   t r a d i t i o n a l   m a p p i n g   w o r k f l o w ,   s i n c e   t h e y   t y p i c a l l y   a p p e a r   i n   a n   u n p l a n n e d   m a n n e r   a n d   d i s a p p e a r   j u s t   a s   q u i c k l y .   N e v e r t h e l e s s ,   t h e s e   o b s t a c l e s   p r e s e n t   a   m a j o r   i m p e d i m e n t   t o   n a v i g a t i n g   a n   u n f a m i l i a r   e n v i r o n m e n t .   F o r t u n a t e l y ,   t h e s e   o b s t a c l e s   c a n   b e   r e p o r t e d ,   d e f i n e d ,   a n d   c a p t u r e d   t h r o u g h   a   v a r i e t y   o f   c r o w d s o u r c i n g   t e c h n i q u e s ,   i n c l u d i n g   g a z e t t e e r - b a s e d   g e o p a r s i n g   a n d   a c t i v e   s o c i a l   m e d i a   h a r v e s t i n g ,   a n d   t h e n   r e f e r e n c e d   i n   a   c r o w d s o u r c e d   m a p p i n g   s y s t e m .   T h e s e   t e c h n i q u e s   a r e   p r e s e n t e d ,   a l o n g   w i t h   c o n t e x t   f r o m   r e s e a r c h   i n   t a c t i l e   c a r t o g r a p h y   a n d   g e o - e n a b l e d   a c c e s s i b i l i t y   s y s t e m s . 	 [ R i c e ,   M a t t h e w   T . ;   M c D e r m o t t ,   S c o t t   D . ;   P a e z ,   F a b i a n a   I . ;   A b u r i z a i z a ,   A h m a d   O . ;   C u r t i n ,   K e v i n   M . ;   S t e f a n i d i s ,   A n t h o n y ;   Q i n ,   H a n ]   G e o r g e   M a s o n   U n i v ,   D e p t   G e o g   &   G e o i n f o r m a t   S c i ,   F a i r f a x ,   V A   2 2 0 3 0   U S A ;   [ J a c o b s o n ,   R .   D a n i e l ]   U n i v   C a l g a r y ,   D e p t   G e o g ,   C a l g a r y ,   A B   T 2 N   1 N 4 ,   C a n a d a ;   [ C a l d w e l l ,   D o u g l a s   R . ]   U S A ,   E n g n   R e s   &   D e v   C t r ,   A l e x a n d r i a ,   V A   2 2 3 1 5   U S A ;   [ S t e f a n i d i s ,   A n t h o n y ]   G e o r g e   M a s o n   U n i v ,   C t r   G e o s p a t i a l   I n t e l l i g e n c e ,   F a i r f a x ,   V A   2 2 0 3 0   U S A 	 R i c e ,   M T   ( r e p r i n t   a u t h o r ) ,   G e o r g e   M a s o n   U n i v ,   D e p t   G e o g   &   G e o i n f o r m a t   S c i ,   F a i r f a x ,   V A   2 2 0 3 0   U S A . 	 r i c e @ g m u . e d u 	 	 	 	 	 A n d o g a h   G ,   2 0 1 2 ,   D A T A   K N O W L   E N G ,   V 8 1 - 8 2 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / j . d a t a k . 2 0 1 2 . 0 7 . 0 0 2 ;   B a r b e a u   S J ,   2 0 1 0 ,   I E T   I N T E L L   T R A N S P   S Y ,   V 4 ,   P 1 2 ,   D O I   1 0 . 1 0 4 9 / i e t - i t s . 2 0 0 9 . 0 0 2 8 ;   C o u l s e n   M . ,   1 9 9 1 ,   M A P P   N A T   1 5   C   9   G E N ,   V 1 ,   P 1 6 7 ;   C r o i t o r u   A . ,   2 0 1 2 ,   P   3   I N T   C   C O M P   G E O S P ,   D O I   1 0 . 1 1 4 5 / 2 3 4 5 3 1 6 . 2 3 4 5 3 3 8 ;   C r o o k s   A ,   2 0 1 3 ,   T   G I S ,   V 1 7 ,   P 1 2 4 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 6 7 1 . 2 0 1 2 . 0 1 3 5 9 . x ;   E l w o o d   S ,   2 0 1 2 ,   A N N   A S S O C   A M   G E O G R ,   V 1 0 2 ,   P 5 7 1 ,   D O I   1 0 . 1 0 8 0 / 0 0 0 4 5 6 0 8 . 2 0 1 1 . 5 9 5 6 5 7 ;   E l w o o d   S ,   2 0 1 0 ,   P R O G   H U M   G E O G ,   V 3 4 ,   P 3 4 9 ,   D O I   1 0 . 1 1 7 7 / 0 3 0 9 1 3 2 5 0 9 3 4 0 7 1 1 ;   E r i k s s o n   Y . ,   2 0 0 1 ,   P   2 0   I N T   C A R T   C   B E I J ,   P 2 9 1 4 ;   G a r d n e r   J .   A . ,   2 0 0 1 ,   P   2 0 0 1   C S U N   I N T   C   T E ;   G o l l e d g e   R .   G . ,   2 0 0 1 ,   C O N V O C A T I O N   A D D R E S S ;   G o l l e d g e   R .   G . ,   2 0 0 7 ,   A S S   A M   G E O G R   A A G   1 0 4 ;   G o l l e d g e   R G ,   1 9 9 8 ,   I N T   J   G E O G R   I N F   S C I ,   V 1 2 ,   P 7 2 7 ;   G o l l e d g e   R G ,   2 0 0 5 ,   P R O F   G E O G R ,   V 5 7 ,   P 3 3 9 ,   D O I   1 0 . 1 1 1 1 / j . 0 0 3 3 - 0 1 2 4 . 2 0 0 5 . 0 0 4 8 2 . x ;   G o o d c h i l d   M i c h a e l ,   2 0 0 9 ,   J o u r n a l   o f   L o c a t i o n   B a s e d   S e r v i c e s ,   V 3 ,   D O I   1 0 . 1 0 8 0 / 1 7 4 8 9 7 2 0 9 0 2 9 5 0 3 7 4 ;   G o o d c h i l d   M . F . ,   2 0 0 7 ,   G E O J O U R N A L ,   V 6 9 ,   P 2 1 1 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 7 - 9 1 1 1 - Y ;   G o o d c h i l d   M F ,   2 0 1 0 ,   I N T   J   D I G I T   E A R T H ,   V 3 ,   P 2 3 1 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 1 0 0 3 7 5 9 2 5 5 ;   G r i f f i n   A . ,   2 0 0 1 ,   C A R T O G R A P H I C   P E R S P E C ,   V 3 9 ,   P 1 2 ;   H a k l a y   M ,   2 0 0 8 ,   I E E E   P E R V A S   C O M P U T ,   V 7 ,   P 1 2 ,   D O I   1 0 . 1 1 0 9 / M P R V . 2 0 0 8 . 8 0 ;   H a k l a y   M ,   2 0 1 0 ,   E N V I R O N   P L A N N   B ,   V 3 7 ,   P 6 8 2 ,   D O I   1 0 . 1 0 6 8 / b 3 5 0 9 7 ;   H e l b i c h   M ,   2 0 1 3 ,   C A R T O G R   G E O G R   I N F   S C ,   V 4 0 ,   P 3 2 6 ,   D O I   1 0 . 1 0 8 0 / 1 5 2 3 0 4 0 6 . 2 0 1 3 . 7 7 9 7 8 0 ;   H i l l   L .   L . ,   2 0 0 9 ,   G E O R E F E R E N C I N G   G E O G R ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   J a n s s o n   G . ,   1 9 7 2 ,   E U R   C   E D   R E S   V I S   H A N ;   J o n e s   C B ,   2 0 0 8 ,   I N T   J   G E O G R   I N F   S C I ,   V 2 2 ,   P 1 0 4 5 ,   D O I   [ 1 0 . 1 0 8 0 / 1 3 6 5 8 8 1 0 7 0 1 8 5 0 5 4 7 ,   1 0 . 1 0 8 0 / 0 0 2 0 7 7 2 0 8 0 2 0 8 5 2 4 5 ] ;   K L A T Z K Y   R L ,   1 9 9 3 ,   P E R C E P T I O N ,   V 2 2 ,   P 5 9 7 ,   D O I   1 0 . 1 0 6 8 / p 2 2 0 5 9 7 ;   L a r s o n   R .   R . ,   2 0 1 1 ,   S I G S P A T I A L   S P E C I A L ,   V 3 ,   P 3 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 0 4 7 2 9 6 . 2 0 4 7 3 0 5 ;   L o b b e n   A . ,   2 0 0 5 ,   P   2 2   I N T   C A R T   C   I C C ;   L o o m i s   J M ,   2 0 0 1 ,   F U N D A M E N T A L S   O F   W E A R A B L E   C O M P U T E R S   A N D   A U G M E N T E D   R E A L I T Y ,   P 4 2 9 ;   M a r s t o n   J R ,   2 0 0 7 ,   J   V I S U A L   I M P A I R   B L I N ,   V 1 0 1 ,   P 2 0 3 ;   M a r s t o n   J . R . ,   2 0 0 6 ,   A C M   T   A P P L   P E R C E P T ,   V 3 ,   P 1 1 0 ,   D O I   1 0 . 1 1 4 5 / 1 1 4 1 8 9 7 . 1 1 4 1 9 0 0 ;   M i e l e   J .   A . ,   2 0 0 4 ,   P   C S U N   I N T   C   T E C H N   P ;   M i e l e   J .   A . ,   2 0 1 1 ,   T A C T I L E   M A P   A U T O M A T E ;   M i e l e   J .   A . ,   2 0 0 7 ,   I N T   C A R T   C   M O S C   A U G ;   M i e l e   J .   A . ,   2 0 0 5 ,   P   C S U N   2 0   A N N   I N T   C ;   M o n t e l l o   D .   R . ,   2 0 0 2 ,   C A R T O G R   G E O G R   I N F   S C ,   V 2 9 ,   P 2 8 3 ,   D O I   1 0 . 1 5 5 9 / 1 5 2 3 0 4 0 0 2 7 8 2 0 0 8 5 0 3 ;   N u e r n b e r g e r   A . ,   2 0 0 8 ,   T H E S I S   U   C A L I F O R N I A ;   O b e r m e y e r   N .   J . ,   1 9 9 8 ,   C A R T O G R   G E O G R   I N F   S C ,   V 2 5 ,   P 6 5 ,   D O I   1 0 . 1 5 5 9 / 1 5 2 3 0 4 0 9 8 7 8 2 5 9 4 5 9 9 ;   P e r k i n s   C ,   2 0 0 2 ,   P R O G   H U M   G E O G ,   V 2 6 ,   P 5 2 1 ,   D O I   1 0 . 1 1 9 1 / 0 3 0 9 1 3 2 5 0 2 p h 3 8 3 p r ;   P e r k i n s   C . ,   2 0 0 1 ,   P   2 0   I N T   C A R T   C   I C C ,   V 5 ,   P 2 9 0 6 ;   P r z y s z e w s k a   K . ,   2 0 1 1 ,   S E S S   E 3   M A P P   C O L   B L I ;   R a u c h   E . ,   2 0 0 3 ,   P   H L T   N A A C L   2 0 0 3   W O R ,   V 1 ,   P 5 0 ,   D O I   [ 1 0 . 3 1 1 5 / 1 1 1 9 3 9 4 . 1 1 1 9 4 0 2 ,   D O I   1 0 . 3 1 1 5 / 1 1 1 9 3 9 4 . 1 1 1 9 4 0 2 ] ;   R i c e   M .   T . ,   2 0 0 5 ,   C A R T O G R   G E O G R   I N F   S C ,   V 3 2 ,   P 3 8 1 ,   D O I   1 0 . 1 5 5 9 / 1 5 2 3 0 4 0 0 5 7 7 5 1 9 4 6 5 6 ;   R i c e   M T ,   2 0 1 2 ,   T   G I S ,   V 1 6 ,   P 1 7 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 6 7 1 . 2 0 1 2 . 0 1 3 1 8 . x ;   R o b i n s o n   A .   H . ,   1 9 7 6 ,   N A T U R E   M A P S   E S S A Y S   U ;   R u i t t o n - A l l i n i e u   A .   M . ,   2 0 1 1 ,   T H E S I S   A A L T O   U ;   S i e b e r   R .   E . ,   2 0 0 1 ,   C A R T O G R A P H I C A ,   V 3 8 ,   P 1 ,   D O I   1 0 . 3 1 3 8 / A 4 1 0 - 0 7 7 7 - U 3 5 Q - 1 N 4 4 ;   S i m o n n e t   M ,   2 0 1 0 ,   J   M A P S ,   P 2 8 9 ,   D O I   1 0 . 4 1 1 3 / j o m . 2 0 1 0 . 1 0 8 7 ;   S i m o n n e t   M ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 7 5 6 ,   P 2 1 2 ;   S i m o n n e t   M ,   2 0 1 1 ,   J   V I S U A L   I M P A I R   B L I N ,   V 1 0 5 ,   P 2 2 2 ;   S t e f a n i d i s   A . ,   2 0 1 3 ,   G E O J O U R N A L ,   V 7 8 ,   P 3 1 9 ;   S U I   D ,   2 0 1 3 ,   C R O W D S O U R C I N G   G E O G R A ;   T a t h a m   A .   F . ,   1 9 9 1 ,   M A P P   N A T   P   1 5   C   9   G E ,   V 1 ,   P 1 5 7 ;   T a t h a m   A .   F . ,   1 9 8 8 ,   P   2   I N T   S   M A P S   G R A P H ;   T a y l o r   D .   R .   F . ,   2 0 0 1 ,   P   2 0   I N T   C A R T   C   I C C ,   V 5 ,   P 2 8 9 4 ;   V a i d   S . ,   2 0 0 5 ,   A D V   S P A T I A L   T E M P O R A L ,   V 3 6 3 3 ,   P 9 2 3 ;   W a y a n t   N . ,   2 0 1 2 ,   G I S C I E N C E   2 0 1 2   C O L   O ;   W i e d e l   J .   W . ,   1 9 8 3 ,   P   1   I N T   S   M A P S   G R A P H ;   Z o o k   M . ,   2 0 1 0 ,   W o r l d   M e d i c a l   a n d   H e a l t h   P o l i c y ,   V 2 ,   P 7 ,   D O I   1 0 . 2 2 0 2 / 1 9 4 8 - 4 6 8 2 . 1 0 6 9 	 5 8 	 0 	 0 	 T A Y L O R   &   F R A N C I S   I N C 	 P H I L A D E L P H I A 	 3 2 5   C H E S T N U T   S T ,   S U I T E   8 0 0 ,   P H I L A D E L P H I A ,   P A   1 9 1 0 6   U S A 	 1 5 2 3 - 0 4 0 6 	 	 	 C A R T O G R   G E O G R   I N F   S C 	 C a r t o g r .   G e o g r .   I n f .   S c i . 	 	 2 0 1 3 	 4 0 	 3 	 	 	 S I 	 	 2 1 0 	 2 1 9 	 	 1 0 . 1 0 8 0 / 1 5 2 3 0 4 0 6 . 2 0 1 3 . 7 9 9 7 3 7 	 	 1 0 	 G e o g r a p h y 	 G e o g r a p h y 	 1 7 8 M Q 	 W O S : 0 0 0 3 2 1 4 5 2 5 0 0 0 0 8 	 	 
 J 	 M o r a i s ,   S ;   R a m o s ,   I 	 	 R a m o s ,   I ;   M e s q u i t a ,   A 	 	 M o r a i s ,   S u s a n a ;   R a m o s ,   I s a b e l 	 	 	 C r o w d s o u r c i n g :   P e r s o n a l   V a l u e s   a n d   S e l f - E f f i c a c y   a s   A n t e c e d e n t s   t o   C r e a t i v e   B e h a v i o r 	 P R O C E E D I N G S   O F   T H E   1 2 T H   E U R O P E A N   C O N F E R E N C E   O N   R E S E A R C H   M E T H O D O L O G Y   F O R   B U S I N E S S   A N D   M A N A G E M E N T   S T U D I E S 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 2 t h   E u r o p e a n   C o n f e r e n c e   o n   R e s e a r c h   M e t h o d o l o g y   f o r   B u s i n e s s   a n d   M a n a g e m e n t   S t u d i e s 	 J U L   0 4 - 0 5 ,   2 0 1 3 	 G u i m a r a e s ,   P O R T U G A L 	 	 U n i v   M i n h o 	 c r o w d s o u r c i n g ;   i n n o v a t i o n ;   c r e a t i v i t y ;   s e l f - e f f i c a c y ;   v a l u e s 	 M O T I V A T I O N S 	 C r e a t i v e   c r o w d s o u r c i n g   a n d   c r o w d s o u r c i n g   f o r   i n n o v a t i o n   i n i t i a t i v e s   ( h e r e i n a f t e r   c a l l e d   C C I )   a r e   a   b u s i n e s s   m o d e l   t h a t   a l l o w s   c o m p a n i e s   t o   l e v e r a g e   t h e   c r o w d ' s   s k i l l s   a n d   k n o w - h o w   t h r o u g h   o n l i n e   p l a t f o r m s   w h e r e   t h e   i n d i v i d u a l s   ( s o l v e r s )   v o l u n t a r i l y   s u p p l y   t h e m   w i t h   i d e a s   a n d   s o l u t i o n s .   C C I   i n i t i a t i v e s   a r e   s i m i l a r   t o   o p e n   c o n t e s t s   a n d   d e p e n d   h e a v i l y   o n   s u b m i s s i o n s   t h a t   a c t u a l l y   s o l v e   t h e   p o s t e d   c h a l l e n g e s .   D e s p i t e   t h e   f r e q u e n t   u s e   o f   i n c e n t i v e s   ( f i n a n c i a l   a n d   o t h e r s )   C C I   d y n a m i c s   r e l i e s   a b o v e   a l l   o n   t h e   i n d i v i d u a l s '   p r e d i s p o s i t i o n   a n d   m o t i v a t i o n s .   U n d e r s t a n d i n g   t h e   i m p a c t   o f   p e r s o n a l   v a l u e s   a n d   s e l f - e f f i c a c y   o n   t h i s   k i n d   o f   i n i t i a t i v e s   w i l l   d e c r e a s e   t h e   l e v e l   o f   u n c e r t a i n t y   c a u s e d   b y   t h e   l a c k   o f   a n y   p r e v i o u s l y   r e l a t i o n ,   l i n k   o r   c o n t a c t   b e t w e e n   t h e   c o m p a n i e s   a n d   t h e   s o l v e r s   ( w h i c h   a r e   a n o n y m o u s ) .   C e r t a i n   s t u d i e s   p o i n t   t o   a   c o r r e l a t i o n   a m o n g   s o m e   v a l u e s   a n d   s e l f - e f f i c a c y   w i t h   c r e a t i v i t y .   W h i l e   i t   i s   d i f f i c u l t   t o   c h a n g e   p e r s o n a l   v a l u e s ,   s e l f - e f f i c a c y   i s   a   w e l l - d o c u m e n t e d   a p p r o a c h   t o   c h a n g e   b e h a v i o r s .   I n   o r d e r   t o   a n s w e r   t h e   r e s e a r c h   q u e s t i o n   " H o w   d o   t h e   m o t i v a t i o n a l   a n t e c e d e n t s   a f f e c t   t h e   p a r t i c i p a n t s '   c r e a t i v e   b e h a v i o r   i n   C C I   i n i t i a t i v e s ? "   t h e   r e s e a r c h   w i l l   p u r s u e   t h e   f o l l o w i n g   t o p i c s :   a s s e s s   s o l v e r s '   v a l u e s ;   -   e v a l u a t e   t h e i r   s e l f - e f f i c a c y   l e v e l s ;   -   e s t a b l i s h   c o n n e c t i o n s   b e t w e e n   t h e   s o l v e r s '   v a l u e s   a n d   s e l f - e f f i c a c y .   G i v e n   t h e   n e e d   t o   c a p t u r e   t h e   p h e n o m e n a   a s   a   w h o l e   t h i s   i n v e s t i g a t i o n   w i l l   a d o p t   a   q u a l i t a t i v e   a p p r o a c h   b a s e d   o n   n e t n o g r a p h y   m e t h o d o l o g y .   C o n s i d e r i n g   t h e   r e s e a r c h   q u e s t i o n   a n d   t h e   t h e o r e t i c a l   b a c k g r o u n d   b a s e d   o n   v a l u e s   a n d   s e l f - e f f i c a c y ,   i t   w i l l   a d o p t   a   p r e l i m i n a r y   s t e p   c o m p r i s i n g   a n   a n o n y m o u s   o n l i n e   q u e s t i o n n a i r e   i s s u e d   t o   c r e a t i v e   s o l v e r s .   T h e   r e s e a r c h   w i l l   f o l l o w   w i t h   o n l i n e   i n t e r v i e w s   h o p i n g   t o   s e i z e   t h e   i n t e r v i e w e e s '   e x p e r i e n c e s ,   i n   o r d e r   t o   d r a w   a l l   p o s s i b l e   i n s i g h t s   r e l a t e d   w i t h   t h e i r   C C I   i n i t i a t i v e s   e n g a g e m e n t . 	 [ M o r a i s ,   S u s a n a ;   R a m o s ,   I s a b e l ]   U n i v   M i n h o ,   A l g o r i t m i   C t r ,   G u i m a r a e s ,   P o r t u g a l 	 	 a n d r e a m o r a i s _ @ h o t m a i l . c o m ;   i r a m o s @ d s i . u m i n h o . p t 	 	 	 	 	 A m a b i l e   T . ,   1 9 9 6 ,   9 3 9 6 2 3 9   H A R V   B U S   S C H ;   A r i e l y   D . ,   2 0 0 5 ,   0 5 1 1   F E D   R E S   B A N K   B O ;   B a n d u r a   A . ,   1 9 9 7 ,   S E L F   E F F I C A C Y   E X E R C I ;   B a y u s   B . ,   2 0 1 0 ,   C R O W D S O U R C I N G   I N D I V I ;   B r a b h a m   D . ,   2 0 0 8 ,   M O V I N G   C R O W D   I S T O C K P ;   C h e s h i r e   C ,   2 0 0 8 ,   J   C O M P U T - M E D I A T   C O M M ,   V 1 3 ,   P 7 0 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 0 8 3 - 6 1 0 1 . 2 0 0 8 . 0 0 4 1 6 . x ;   D e c i   E L ,   2 0 0 8 ,   C A N   P S Y C H O L ,   V 4 9 ,   P 1 8 2 ,   D O I   1 0 . 1 0 3 7 / a 0 0 1 2 8 0 1 ;   D e l l a r o c a s   C . ,   2 0 1 0 ,   M I T   S L O A N   M A N A G E M E N T ,   V 5 1 ;   D o l l i n g e r   S J ,   2 0 0 7 ,   C R E A T I V I T Y   R E S   J ,   V 1 9 ,   P 9 1 ;   F o r d   C M ,   1 9 9 6 ,   A C A D   M A N A G E   R E V ,   V 2 1 ,   P 1 1 1 2 ,   D O I   1 0 . 2 3 0 7 / 2 5 9 1 6 6 ;   F r e y   B S ,   2 0 0 1 ,   J   E C O N   S U R V ,   V 1 5 ,   P 5 8 9 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 6 4 1 9 . 0 0 1 5 0 ;   G I S T   M E ,   1 9 9 2 ,   A C A D   M A N A G E   R E V ,   V 1 7 ,   P 1 8 3 ,   D O I   1 0 . 2 3 0 7 / 2 5 8 7 7 0 ;   G r a m s   D .   G . ,   2 0 0 1 ,   R U D I M E N T S   U   I N   P R E S S ;   H a r s   A ,   2 0 0 2 ,   I N T   J   E L E C T R O N   C O M M ,   V 6 ,   P 2 5 ;   H o w e   J . ,   2 0 0 8 ,   C R O U W D S O U R C I N G ;   K a s o f   J ,   2 0 0 7 ,   C R E A T I V I T Y   R E S   J ,   V 1 9 ,   P 1 0 5 ;   K o z i n e t s   R . ,   2 0 0 1 ,   F I E L D   S C R E E N   U S I N G   N ;   L a k h a n i   K .   R . ,   2 0 0 7 ,   0 7 0 5 0   H A R V   B U S   S C H ;   L e i m e i s t e r   J M ,   2 0 0 9 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 6 ,   P 1 9 7 ,   D O I   1 0 . 2 7 5 3 / M I S 0 7 4 2 - 1 2 2 2 2 6 0 1 0 8 ;   L o u r e i r o - K o e c h l i n   C . ,   2 0 1 2 ,   W O R K I N G   P A P E R   S E R I E S ,   V 1 2 0 1 ;   M a l o n e   T .   W . ,   2 0 0 9 ,   2 0 0 9 0 0 1   M I T   C T R   C O L L ;   O r e g   S ,   2 0 0 8 ,   C O M P U T   H U M   B E H A V ,   V 2 4 ,   P 2 0 5 5 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 0 7 . 0 9 . 0 0 7 ;   R y a n   R M ,   2 0 0 0 ,   C O N T E M P   E D U C   P S Y C H O L ,   V 2 5 ,   P 5 4 ,   D O I   1 0 . 1 0 0 6 / c e p s . 1 9 9 9 . 1 0 2 0 ;   S c h e n k   E . ,   2 0 1 1 ,   J   I N N O V A T I O N   E C ,   V 2 0 1 1 / 1 ,   P 9 3 ,   D O I   D O I   1 0 . 3 9 1 7 / J I E . 0 0 7 . 0 0 9 3 ;   S C H W A R T Z   S H ,   1 9 9 4 ,   J   S O C   I S S U E S ,   V 5 0 ,   P 1 9 ;   S h a l l e y   C E ,   2 0 0 4 ,   J   M A N A G E ,   V 3 0 ,   P 9 3 3 ,   D O I   1 0 . 1 0 1 6 / j . j m . 2 0 0 4 . 0 6 . 0 0 7 ;   S h n e i d e r m a n   B e n ,   2 0 0 9 ,   A I S   T   H U M A N   C O M P U T E R ,   V 1 ,   P 1 3 ;   T i e r n e y   P ,   2 0 0 2 ,   A C A D   M A N A G E   J ,   V 4 5 ,   P 1 1 3 7 ,   D O I   1 0 . 2 3 0 7 / 3 0 6 9 4 2 9 	 2 8 	 0 	 0 	 A C A D     C O N F E R E N C E S   L T D 	 N R   R E A D I N G 	 C U R T I S   F A R M ,   K I D M O R E   E N D ,   N R   R E A D I N G ,   R G 4   9 A Y ,   E N G L A N D 	 	 	 9 7 8 - 1 - 9 0 9 5 0 7 - 3 2 - 6 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 3 8 3 	 3 8 8 	 	 	 	 6 	 B u s i n e s s ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 B F U 8 2 	 W O S : 0 0 0 3 2 1 4 9 0 4 0 0 0 4 7 	 	 
 B 	 V a r s h n e y ,   L R 	 	 	 I E E E 	 V a r s h n e y ,   L a v   R . 	 	 	 P a r t i c i p a t i o n   i n   C r o w d   S y s t e m s 	 2 0 1 2   5 0 T H   A N N U A L   A L L E R T O N   C O N F E R E N C E   O N   C O M M U N I C A T I O N ,   C O N T R O L ,   A N D   C O M P U T I N G   ( A L L E R T O N ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 5 0 t h   A n n u a l   A l l e r t o n   C o n f e r e n c e   o n   C o m m u n i c a t i o n ,   C o n t r o l ,   a n d   C o m p u t i n g   ( A l l e r t o n ) 	 O C T   0 1 - 0 5 ,   2 0 1 2 	 M o n t i c e l l o ,   I L 	 C o o r d i n a t e d   S c i   L a b ,   U n i v   I l l i n o i s   U r b a n a   C h a m p a i g n ,   D e p t   E l e c t   &   C o m p   E n g n ,   I E E E ,   I E E E   I n f o r m a t   T h e o r y   S o c ,   I E E E   C o n t r o l   S y s t   S o c   ( C S S ) ,   U n i v   I l l i n o i s ,   C o l l   E n g n 	 	 	 I N T R I N S I C   M O T I V A T I O N ;   P R O D U C T I V I T Y ;   C O M P U T A T I O N ;   E C O N O M I C S 	 T h e r e   i s   g r o w i n g   i n t e r e s t   i n   u s i n g   c r o w d s   o f   h u m a n   w o r k e r s   t o   p e r f o r m   i n f o r m a t i o n   p r o c e s s i n g   t a s k s   t h a t   a r e   d i f f i c u l t   f o r   m a c h i n e s .   A t   I B M ,   w e   h a v e   d e p l o y e d   a   l a r g e   i n t e r n a l   c r o w d s o u r c i n g   c o n t e s t   s y s t e m   f o r   s o f t w a r e   d e v e l o p m e n t ,   w h i c h   h a s   n o w   s u c c e s s f u l l y   c o m p l e t e d   t h o u s a n d s   o f   t a s k s .   C o n t r a r y   t o   c o n c e r n s   o f   p o w e r   e f f i c i e n c y   a n d   b a n d w i d t h   i n   m a c h i n e   s y s t e m s ,   p l a y e r   p a r t i c i p a t i o n   a n d   m o t i v a t i o n   a r e   k e y   c o n c e r n s   i n   s u c h   c r o w d - b a s e d   h u m a n   c o m p u t a t i o n   s y s t e m s .   I n   t h i s   p a p e r ,   w e   d e m o n s t r a t e   t h a t   p l a y e r   p a r t i c i p a t i o n   i s   w e l l - d e s c r i b e d   b y   a   p o w e r - l a w   d i s t r i b u t i o n ,   m u c h   l i k e   L o t k a ' s   L a w   o f   s c i e n t i f i c   p r o d u c t i v i t y .   W e   f u r t h e r   d e s c r i b e   a   m o m e n t u m - b a s e d   g e n e r a t i v e   m o d e l   f o r   p a r t i c i p a t i o n   t h a t   e x p l a i n s   t h e   o b s e r v e d   e m p i r i c a l   p h e n o m e n o n   a n d   p r o v i d e   a   t h e r m o d y n a m i c   i n t e r p r e t a t i o n ,   d i s c u s s i n g   w h a t   i t   m e a n s   f o r   a   c r o w d   s y s t e m   t o   h e a t   u p .   O v e r a l l ,   p l a y e r   m o t i v a t i o n   i s   e s s e n t i a l   f o r   d r i v i n g   p a r t i c i p a t i o n   a n d   e n s u r i n g   a   r e l i a b l e   d e l i v e r y   p l a t f o r m ;   s e v e r a l   i n t r i n s i c ,   e x t r i n s i c ,   a n d   s o c i a l   m o t i v a t o r s   h a v e   b e e n   i d e n t i f i e d . 	 I B M   T h o m a s   J   W a t s o n   R e s   C t r ,   Y o r k t o w n   H t s ,   N Y   1 0 5 9 8   U S A 	 V a r s h n e y ,   L R   ( r e p r i n t   a u t h o r ) ,   I B M   T h o m a s   J   W a t s o n   R e s   C t r ,   Y o r k t o w n   H t s ,   N Y   1 0 5 9 8   U S A . 	 	 	 	 	 	 A f u a h   A ,   2 0 1 2 ,   A C A D   M A N A G E   R E V ,   V 3 7 ,   P 3 5 5 ,   D O I   1 0 . 5 4 6 5 / a m r . 2 0 1 0 . 0 1 4 6 ;   A t t w e l l   D ,   2 0 0 1 ,   J   C E R E B R   B L O O D   F   M E T ,   V 2 1 ,   P 1 1 3 3 ;   B a a r d   P P ,   2 0 0 4 ,   J   A P P L   S O C   P S Y C H O L ,   V 3 4 ,   P 2 0 4 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 5 9 - 1 8 1 6 . 2 0 0 4 . t b 0 2 6 9 0 . x ;   B E N N E T T   C H ,   1 9 8 2 ,   I N T   J   T H E O R   P H Y S ,   V 2 1 ,   P 9 0 5 ,   D O I   1 0 . 1 0 0 7 / B F 0 2 0 8 4 1 5 8 ;   B i g h a m   J .   P . ,   2 0 1 0 ,   P   I E E E   C   C O M P   V I S   P A ,   P 6 5 ;   B i t z e r   J ,   2 0 0 7 ,   J   C O M P   E C O N ,   V 3 5 ,   P 1 6 0 ,   D O I   1 0 . 1 0 1 6 / j . j c e . 2 0 0 6 . 1 0 . 0 0 1 ;   B o k e l b e r g   E .   H . ,   2 0 1 2 ,   L I Q U I D   H A R N E S S   U N P U B ;   B r a n s o n   S ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 3 1 4 ,   P 4 3 8 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 5 5 6 1 - 1 _ 3 2 ;   C a r d w e l l   D .   S .   L . ,   1 9 7 1 ,   W A T T   C L A S U S I U S   R I S E ;   D a v e n p o r t   T .   H . ,   2 0 0 1 ,   A T T E N T I O N   E C   U N D E R S T ;   d e   S o l l a   P r i c e   D .   J . ,   1 9 6 3 ,   L I T T L E   S C I   B I G   S C I ;   D E C I   E L ,   1 9 7 2 ,   J   P E R S   S O C   P S Y C H O L ,   V 2 2 ,   P 1 1 3 ,   D O I   1 0 . 1 0 3 7 / h 0 0 3 2 3 5 5 ;   D e c i   E .   L . ,   2 0 1 2 ,   O X F O R D   H D B   H U M A N   M O T ,   P 8 5 ,   D O I   D O I   1 0 . 1 0 9 3 / O X F O R D H B / 9 7 8 0 1 9 5 3 9 9 8 2 0 . 0 1 3 . 0 0 0 6 ;   D o r n   C ,   2 0 1 2 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 6 ,   P 7 2 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 1 2 . 3 3 ;   D u s t d a r   S ,   2 0 1 1 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 5 ,   P 6 4 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 1 1 . 6 8 ;   G a o   H ,   2 0 1 1 ,   I E E E   I N T E L L   S Y S T ,   V 2 6 ,   P 1 0 ;   G r i e r   D .   A . ,   2 0 1 1 ,   P   A A A I   W O R K S H   H U M   C O ,   P 3 2 ;   G r i e r   D . A . ,   2 0 0 5 ,   C O M P U T E R S   W E R E   H U M A N ;   H o n g   L ,   2 0 0 1 ,   J   E C O N   T H E O R Y ,   V 9 7 ,   P 1 2 3 ,   D O I   1 0 . 1 0 0 6 / j e t h . 2 0 0 0 . 2 7 0 9 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   H u b e r m a n   B A ,   2 0 0 9 ,   J   I N F   S C I ,   V 3 5 ,   P 7 5 8 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 0 9 3 4 6 7 8 6 ;   K i t c h e n h a m   B ,   2 0 0 4 ,   I E E E   T   S O F T W A R E   E N G ,   V 3 0 ,   P 1 0 2 3 ,   D O I   1 0 . 1 1 0 9 / T S E . 2 0 0 4 . 1 0 4 ;   L a k h a n i   K .   R . ,   2 0 0 5 ,   P E R S P E C T I V E S   F R E E   O P ,   P 3 ;   L e n n i e   P ,   2 0 0 3 ,   C U R R   B I O L ,   V 1 3 ,   P 4 9 3 ,   D O I   1 0 . 1 0 1 6 / S 0 9 6 0 - 9 8 2 2 ( 0 3 ) 0 0 1 3 5 - 0 ;   L e r n e r   J ,   2 0 0 2 ,   J   I N D   E C O N ,   V 5 0 ,   P 1 9 7 ;   L i t t l e   G . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 5 7 ,   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 4 0 ;   M a l o n e   T W ,   2 0 1 0 ,   M I T   S L O A N   M A N A G E   R E V ,   V 5 1 ,   P 2 1 ;   M a s o n   W ,   2 0 0 9 ,   P   A C M   S I G K D D   W O R K S H ,   P 7 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 6 0 0 1 5 0 . 1 6 0 0 1 7 5 ;   M i t z e n m a c h e r   M . ,   2 0 0 4 ,   I N T E R N E T   M A T H ,   V 1 ,   P 2 2 6 ,   D O I   D O I   1 0 . 1 0 8 0 / 1 5 4 2 7 9 5 1 . 2 0 0 4 . 1 0 1 2 9 0 8 8 ;   O p p e n h e i m   D V ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 7 0 8 4 ,   P 6 6 9 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 5 5 3 5 - 9 _ 5 4 ;   P a r i k h   D . ,   2 0 1 1 ,   2   W O R K S H   C O M P   S O C   S C ;   P e n g   H . - K . ,   2 0 1 2 ,   P   C O L L   I N T   C   2 0 1 2   A P ;   P i n k   D H ,   2 0 0 9 ,   D R I V E   S U R P R I S I N G   T R U ;   R a n a d e   G .   V . ,   2 0 1 2 ,   P   A A A I   W O R K S H   H U M   C O ,   P 1 5 0 ;   S a u e r m a n n   H ,   2 0 1 0 ,   M A N A G E   S C I ,   V 5 6 ,   P 2 1 3 4 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 0 0 . 1 2 4 1 ;   S t e p h a n   P E ,   1 9 9 6 ,   J   E C O N   L I T ,   V 3 4 ,   P 1 1 9 9 ;   S t e w a r t   O . ,   2 0 1 0 ,   C R O W D S O U R C I N G   P A R T I C ,   P 3 0 ;   T a p s c o t t   D . ,   2 0 0 6 ,   W I K I N O M I C S   M A S S   C O L L ;   V a r s h n e y   L .   R . ,   2 0 1 2 ,   P r o c e e d i n g s   o f   t h e   2 0 1 2   A n n u a l   S R I I   G l o b a l   C o n f e r e n c e   ( S R I I ) ,   D O I   1 0 . 1 1 0 9 / S R I I . 2 0 1 2 . 1 7 ;   W i l k i n s o n   D M ,   2 0 0 8 ,   E C ' 0 8 :   P R O C E E D I N G S   O F   T H E   2 0 0 8   A C M   C O N F E R E N C E   O N   E L E C T R O N I C   C O M M E R C E ,   P 3 0 2 ;   Y a n g   J ,   2 0 0 8 ,   E C ' 0 8 :   P R O C E E D I N G S   O F   T H E   2 0 0 8   A C M   C O N F E R E N C E   O N   E L E C T R O N I C   C O M M E R C E ,   P 2 4 6 	 4 1 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 6 7 3 - 4 5 3 9 - 2 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 9 9 6 	 1 0 0 1 	 	 	 	 6 	 A u t o m a t i o n   &   C o n t r o l   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 A u t o m a t i o n   &   C o n t r o l   S y s t e m s ;   C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 B F N 8 2 	 W O S : 0 0 0 3 2 0 6 5 4 0 0 0 1 3 6 	 	 
 J 	 W a d e ,   A D ;   N e l s o n ,   A J 	 	 	 	 W a d e ,   A n d r e w   D . ;   N e l s o n ,   A n d r e w   J . 	 	 	 T h e   M u m m i p a e d i a   P r o j e c t :   C r o w d s o u r c i n g   t o   e x p a n d   t h e   I M P A C T   R a d i o l o g i c a l   M u m m y   D a t a b a s e 	 A M E R I C A N   J O U R N A L   O F   P H Y S I C A L   A N T H R O P O L O G Y 	 	 	 E n g l i s h 	 M e e t i n g   A b s t r a c t 	 8 2 n d   A n n u a l   M e e t i n g   o f   t h e   A m e r i c a n - A s s o c i a t i o n - o f - P h y s i c a l - A n t h r o p o l o g i s t s 	 A P R   0 9 - 1 3 ,   2 0 1 3 	 K n o x v i l l e ,   T N 	 A m e r   A s s o c   P h y s   A n t h r o p o l o g i s t s 	 	 	 	 	 [ W a d e ,   A n d r e w   D . ;   N e l s o n ,   A n d r e w   J . ]   U n i v   W e s t e r n   O n t a r i o ,   L o n d o n ,   O N   N 6 A   3 K 7 ,   C a n a d a 	 	 	 	 	 	 	 	 0 	 0 	 0 	 W I L E Y - B L A C K W E L L 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 0 0 0 2 - 9 4 8 3 	 	 	 A M   J   P H Y S   A N T H R O P O L 	 A m .   J .   P h y s .   A n t h r o p o l . 	 	 2 0 1 3 	 1 5 0 	 	 	 5 6 	 S I 	 	 2 8 1 	 2 8 1 	 	 	 	 1 	 A n t h r o p o l o g y ;   E v o l u t i o n a r y   B i o l o g y 	 A n t h r o p o l o g y ;   E v o l u t i o n a r y   B i o l o g y 	 1 3 2 B R 	 W O S : 0 0 0 3 1 8 0 4 3 2 0 2 4 2 6 	 	 
 J 	 B u r n s ,   P D ;   P h i l l i p s ,   J B ;   W i l l i a m s ,   D 	 	 B u r n s ,   P D ;   T r i a n t a p h i l l i d o u ,   S 	 	 B u r n s ,   P e t e r   D . ;   P h i l l i p s ,   J o n a t h a n   B . ;   W i l l i a m s ,   D o n 	 	 	 A d a p t i n g   I S O   2 0 4 6 2   S o f t c o p y   Q u a l i t y   R u l e r   M e t h o d   f o r   o n - l i n e   I m a g e   Q u a l i t y   S t u d i e s 	 I M A G E   Q U A L I T Y   A N D   S Y S T E M   P E R F O R M A N C E   X 	 P r o c e e d i n g s   o f   S P I E 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 C o n f e r e n c e   o n   I m a g e   Q u a l i t y   a n d   S y s t e m   P e r f o r m a n c e   X 	 F E B   0 5 - 0 7 ,   2 0 1 3 	 B u r l i n g a m e ,   C A 	 S o c   I m a g i n g   S c i   &   T e c h n o l   ( I S & T ) ,   S P I E ,   Q u a l c o m m   I n c 	 	 s o f t c o p y   q u a l i t y   r u l e r ;   I S O   2 0 4 6 2 ;   s u b j e c t i v e   i m a g e   q u a l i t y ;   o n l i n e   s u r v e y ;   c r o w d s o u r c i n g ;   S u r v e y   M o n k e y 	 	 T h e   I S O   2 0 4 6 2   m e t h o d   f o r   s u b j e c t i v e   i m a g e   q u a l i t y   e v a l u a t i o n   r e l i e s   o n   a   s e t   o f   r e f e r e n c e   i m a g e s ,   w h i c h   a r e   c a l i b r a t e d   i n   t e r m s   o f   k n o w n   a b s o l u t e   q u a l i t y   d i f f e r e n c e s .   T h e   o r i g i n a l   r e f e r e n c e   i m a g e s ,   S t a n d a r d   R e f e r e n c e   S t i m u l i   ( S R S ) ,   w e r e   i n   t h e   f o r m   o f   p h o t o g r a p h i c   p r i n t s ,   t o   b e   v i e w e d   u n d e r   c o n t r o l l e d   l i g h t i n g   a n d   f i x e d   v i e w i n g   c o n d i t i o n s .   T h i s   m e t h o d   w a s   t h e n   e x t e n d e d   f o r   s c e n e s   p r e s e n t e d   o n   c o m p u t e r   m o n i t o r s   a s   D i g i t a l   R e f e r e n c e   S t i m u l i   ( D R S ) .   T h i s   s o f t c o p y   r u l e r   m e t h o d   w a s   d e v e l o p e d   a s   p a r t   o f   t h e   C a m e r a   P h o n e   I m a g e   Q u a l i t y   ( C P I Q )   I n i t i a t i v e   a n d   h a s   n o w   b e e n   a d o p t e d   a s   a n   u p d a t e d   I S O   2 0 4 6 2   m e t h o d   ( I S O   2 0 4 6 2 - 3 :   2 0 1 2 ) .   T h i s   e x t e n d e d   m e t h o d   o f   u s i n g   t h e   s o f t c o p y   r u l e r s   w a s   v a l i d a t e d   b y   C P I Q   u s i n g   t w o   s y s t e m s   o f   l a b o r a t o r y   l i g h t i n g   a n d   d i s p l a y .   T h a t   e f f o r t ,   w h i l e   s u c c e s s f u l ,   r e q u i r e d   s i g n i f i c a n t   e f f o r t   a n d   r e s o u r c e s   t o   a c c o m p l i s h .   C h i e f   a m o n g   t h e s e   w a s   g a t h e r i n g   a   s u f f i c i e n t   n u m b e r   o f   q u a l i f i e d   v i e w e r s   w h o   c o u l d   c o m m i t   t o   v i e w i n g   i m a g e s   o n   a   n a r r o w l y   d e f i n e d   s c h e d u l e   a t   a   l i m i t e d   n u m b e r   o f   l a b o r a t o r i e s .   I n   o u r   s t u d y ,   w e   i n v e s t i g a t e   w h e t h e r   a n d   t o   w h a t   e x t e n t   t h e   I S O   2 0 4 6 2   s o f t c o p y   r u l e r   m e t h o d   c a n   b e   a d a p t e d   t o   I n t e r n e t - b a s e d   s u b j e c t i v e   e v a l u a t i o n s .   O u r   o b j e c t i v e   i s   t o   d e v e l o p   a n d   t e s t   a   m e t h o d   t h a t   u s e s   a   c o m m e r c i a l   o n l i n e   s u r v e y   s e r v i c e .   W e   d e s c r i b e   s e v e r a l   l i m i t a t i o n s   t o   b e   o v e r c o m e ,   i n c l u d i n g   i m a g e   f i l e   s i z e ,   a n d   a   s t a t i c   i n t e r f a c e   r a t h e r   t h a n   o n e   a l l o w i n g   d y n a m i c   u p d a t i n g   o f   t h e   r e f e r e n c e   i m a g e .   T h e   m e t h o d   t h a t   w e   d e v e l o p e d   a n d   t e s t e d   u s e s   r e f e r e n c e   a n c h o r   i m a g e s   r a t h e r   t h a n   t h e   s l i d e r - s e l e c t e d   r e f e r e n c e .   H o w e v e r ,   o u r   a n c h o r s   w e r e   d r a w n   f r o m   t h e   I S O   2 0 4 6 2   s e t ,   a n d   t h e r e f o r e   w e r e   t a k e n   a s   c a l i b r a t e d   r e f e r e n c e   i m a g e s ,   a l b e i t   v i e w e d   u n d e r   u n c o n t r o l l e d   c o n d i t i o n s .   W e   d e s c r i b e   t h e   v e r i f i c a t i o n   s t u d y   t h a t   w a s   c o m p l e t e d   u s i n g   S u r v e y   M o n k e y   ( R ) ,   a n d   c o m p a r e   r e s u l t s   w i t h   t h e   c o r r e s p o n d i n g   S o f t c o p y   R u l e r   d a t a .   S i m i l a r   r e s u l t s   w e r e   o b t a i n e d   f o r   o b s e r v e r   r a t i n g s   a n d   t h e i r   s c e n e - d e p e n d e n c y .   W e   c o n c l u d e   t h a t   c r o w d s o u r c i n g   i s   u s e f u l ,   p a r t i c u l a r l y   w h e n   c o m m o n   n o n - l a b o r a t o r y   i m a g e   v i e w i n g   i s   t h e   i n t e n t .   W h e n   c a l i b r a t e d   s u b j e c t i v e   i m a g e   q u a l i t y   m e a s u r e s   a r e   n e e d e d ,   o u r   a d a p t e d   m e t h o d   s h o u l d   b e   c o n s i d e r e d   a n   e f f i c i e n t   a l t e r n a t i v e   t o   t h e   I S O   2 0 4 6 2   s t a n d a r d ,   p r o v i d e d   t h a t   c o m m o n   r e f e r e n c e   i m a g e s   a r e   u s e d . 	 	 	 	 	 	 	 	 [ A n o n y m o u s ] ,   2 0 1 2 ,   2 0 4 6 2 3   I S O ;   J i n   E . ,   2 0 0 9 ,   P   S O C   P H O T O - O P T   I N S ,   V 7 2 4 2 ;   P h i l l i p s   J . ,   2 0 0 9 ,   P   S O C   P H O T O - O P T   I N S ,   V 7 2 4 2 ;   R i b e i r o   F . ,   2 0 1 1 ,   P   1 8   I E E E   I N T   C   I M   P ,   P 3 1 5 8 	 4 	 1 	 1 	 S P I E - I N T   S O C   O P T I C A L   E N G I N E E R I N G 	 B E L L I N G H A M 	 1 0 0 0   2 0 T H   S T ,   P O   B O X   1 0 ,   B E L L I N G H A M ,   W A   9 8 2 2 7 - 0 0 1 0   U S A 	 0 2 7 7 - 7 8 6 X 	 	 9 7 8 - 0 - 8 1 9 4 - 9 4 2 6 - 9 	 P R O C   S P I E 	 	 	 2 0 1 3 	 8 6 5 3 	 	 	 	 	 	 	 	 	 1 0 . 1 1 1 7 / 1 2 . 2 0 0 7 4 8 0 	 	 1 0 	 O p t i c s ;   I m a g i n g   S c i e n c e   &   P h o t o g r a p h i c   T e c h n o l o g y 	 O p t i c s ;   I m a g i n g   S c i e n c e   &   P h o t o g r a p h i c   T e c h n o l o g y 	 B F F 8 2 	 W O S : 0 0 0 3 1 9 6 8 3 2 0 0 0 1 2 	 	 
 S 	 W i l l i a m s ,   A J ;   T k a c h e n k o ,   V ;   P s h e n i c h n o v ,   A 	 	 S o u l s b y ,   D ;   A n n a ,   L J ;   W a l l n e r ,   A S 	 	 W i l l i a m s ,   A n t o n y   J . ;   T k a c h e n k o ,   V a l e r y ;   P s h e n i c h n o v ,   A l e x e y 	 	 	 C h e m S p i d e r :   H o w   a   F r e e   C o m m u n i t y   R e s o u r c e   o f   D a t a   C a n   S u p p o r t   t h e   T e a c h i n g   o f   N M R   S p e c t r o s c o p y 	 N M R   S P E C T R O S C O P Y   I N   T H E   U N D E R G R A D U A T E   C U R R I C U L U M 	 A C S   S y m p o s i u m   S e r i e s 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 N M R   S p e c t r o s c o p y   i n   t h e   U n d e r g r a d u a t e   C u r r i c u l u m   S y m p o s i u m   /   2 4 3 r d   A m e r i c a n - C h e m i c a l - S o c i e t y   N a t i o n a l   M e e t i n g 	 M A R   2 5 - 2 9 ,   2 0 1 2 	 S a n   D i e g o ,   C A 	 A m e r   C h e m   S o c ,   D i v   C h e m   E d u c ,   B r u k e r   &   A n a s a z i   I n s t r u m e n t s 	 	 	 	 T h e   R o y a l   S o c i e t y   o f   C h e m i s t r y   ( R S C )   h o s t s   a   n u m b e r   o f   r e s o u r c e s   o f   d i r e c t   b e n e f i t   t o   t e a c h i n g   c h e m i s t r y .   O n e   o f   t h e s e   r e s o u r c e s ,   C h e m   S p i d e r ,   i s   a   f r e e   c h e m i c a l   d a t a b a s e   c o n t a i n i n g   d a t a   f o r   m i l l i o n s   o f   c h e m i c a l   c o m p o u n d s .   T h e   d a t a   i n c l u d e s   t h o u s a n d s   o f   s p e c t r a ,   p r i m a r i l y   c o n t r i b u t e d   b y   m e m b e r s   o f   t h e   s c i e n t i f i c   c o m m u n i t y   a s   C h e m   S p i d e r   d e p e n d s   o n   c r o w d s o u r c i n g   f o r   c e r t a i n   t y p e s   o f   d a t a .   T h e   N M R   s p e c t r a l   d a t a   h o s t e d   o n   C h e m   S p i d e r   a r e   i n t e g r a t e d   t o   v a r i o u s   o t h e r   R S C   s y s t e m s   i n c l u d i n g   a n   e d u c a t i o n a l   w i k i   a n d   a   m i c r o p u b l i s h i n g   p l a t f o r m   f o r   r e a c t i o n   s y n t h e s e s .   T h e   d a t a   a r e   a l s o   a v a i l a b l e   p r o g r a m m a t i c a l l y   t o   t h e   c o m m u n i t y   a n d   h a v e   b e e n   u s e d   a s   t h e   b a s i s   o f   a   g a m e   t o   t e a c h   N M R   s p e c t r o s c o p y . 	 [ W i l l i a m s ,   A n t o n y   J . ;   T k a c h e n k o ,   V a l e r y ;   P s h e n i c h n o v ,   A l e x e y ]   R o y a l   S o c   C h e m ,   U S   O f f ,   D e p t   e S c i ,   W a k e   F o r e s t ,   N C   2 7 5 8 7   U S A 	 W i l l i a m s ,   A J   ( r e p r i n t   a u t h o r ) ,   R o y a l   S o c   C h e m ,   U S   O f f ,   D e p t   e S c i ,   9 0 4   T a m a r a s   C i r c l e ,   W a k e   F o r e s t ,   N C   2 7 5 8 7   U S A . 	 w i l l i a m s a @ r s c . o r g 	 	 	 	 	 B r a d l e y   J C ,   2 0 0 9 ,   J   C H E M I N F O R M A T I C S ,   V 1 ,   D O I   1 0 . 1 1 8 6 / 1 7 5 8 - 2 9 4 6 - 1 - 9 ;   L a n c a s h i r e   R J ,   2 0 0 7 ,   C H E M   C E N T   J ,   V 1 ,   D O I   1 0 . 1 1 8 6 / 1 7 5 2 - 1 5 3 X - 1 - 3 1 ;   P e n c e   H E ,   2 0 1 0 ,   J   C H E M   E D U C ,   V 8 7 ,   P 1 1 2 3 ,   D O I   1 0 . 1 0 2 1 / e d 1 0 0 6 9 7 w ;   W i l l i a m s   A .   J . ,   2 0 1 2 ,   F R E E   O P E N   S O U R C E   S O F 	 4 	 0 	 0 	 A M E R   C H E M I C A L   S O C 	 W A S H I N G T O N 	 1 1 5 5   S I X T E E N T H   S T   N W ,   W A S H I N G T O N ,   D C   2 0 0 3 6   U S A 	 0 0 9 7 - 6 1 5 6 	 	 9 7 8 - 0 - 8 4 1 2 - 2 7 9 4 - 1 	 A C S   S Y M   S E R 	 A C S   S y m p .   S e r . 	 	 2 0 1 3 	 1 1 2 8 	 	 	 	 	 	 3 0 7 	 3 1 9 	 	 	 	 1 3 	 E d u c a t i o n ,   S c i e n t i f i c   D i s c i p l i n e s ;   S p e c t r o s c o p y 	 E d u c a t i o n   &   E d u c a t i o n a l   R e s e a r c h ;   S p e c t r o s c o p y 	 B F C 2 6 	 W O S : 0 0 0 3 1 9 1 6 9 4 0 0 0 2 0 	 	 
 J 	 V i l l a r r o e l ,   J A 	 	 H u f f ,   A S ;   M o s l e i n ,   K M ;   R e i c h w a l d ,   R 	 	 V i l l a r r o e l ,   J .   A n d r e i 	 	 	 S t r a t e g i c   C r o w d s o u r c i n g :   T h e   E m e r g e n c e   o f   O n l i n e   D i s t r i b u t e d   I n n o v a t i o n 	 L E A D I N G   O P E N   I N N O V A T I O N 	 	 	 E n g l i s h 	 A r t i c l e ;   B o o k   C h a p t e r 	 	 	 	 	 	 	 	 	 [ V i l l a r r o e l ,   J .   A n d r e i ]   C a t o l i c a   L i s b o n   S c h   B u s i n e s s   &   E c o n ,   L i s b o n ,   P o r t u g a l 	 	 	 	 	 	 	 [ A n o n y m o u s ] ,   2 0 0 6 ,   F A T   F L A W   R E F   R E C   S T U ;   [ A n o n y m o u s ] ,   1 9 9 5 ,   C O M M U N I C A T I O N       0 2 0 3 ;   B a l d w i n   C .   Y . ,   2 0 0 9 ,   4 7 6 4 0 9   M I T   S L O A N   S C H ;   B A R N E Y   J ,   1 9 9 1 ,   J   M A N A G E ,   V 1 7 ,   P 9 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 4 9 2 0 6 3 9 1 0 1 7 0 0 1 0 8 ;   B R I S C O E   B ,   2 0 0 6 ,   I E E E   S P E C T R U M ,   V 4 3 ,   P 3 4 ;   C h e s b r o u g h   H . ,   2 0 0 6 ,   O P E N   B U S I N E S S   M O D E L S ;   C h e s b r o u g h   H . ,   2 0 0 3 ,   O P E N   I N N O V A T I O N   N E W ;   E i s e n h a r d t   K M ,   2 0 0 0 ,   S T R A T E G I C   M A N A G E   J ,   V 2 1 ,   P 1 1 0 5 ,   D O I   1 0 . 1 0 0 2 / 1 0 9 7 - 0 2 6 6 ( 2 0 0 0 1 0 / 1 1 ) 2 1 : 1 0 / 1 1 < 1 1 0 5 : : A I D - S M J 1 3 3 > 3 . 0 . C O ; 2 - E ;   E t h i r a j   S K ,   2 0 0 4 ,   M A N A G E   S C I ,   V 5 0 ,   P 1 5 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 3 0 . 0 1 4 5 ;   G E I G E R   D . ,   2 0 1 1 ,   P   1 7   A M   C   I N F   S Y S T   A ;   G e n t r y   C . ,   2 0 0 5 ,   P   6   A C M   C   E L   C O M M   E C ;   G H E M A W A T   P ,   2 0 0 1 ,   S T R A T E G Y   B U S I N E S S   L A ;   G h e m a w a t   P . ,   1 9 9 1 ,   C O M M I T M E N T   D Y N A M I C   S ;   G i b b o n s   R . ,   2 0 1 1 ,   O R G   S C I   I N   P R E S S ;   G i l e s   J ,   2 0 0 5 ,   N A T U R E ,   V 4 3 8 ,   P 9 0 0 ,   D O I   1 0 . 1 0 3 8 / 4 3 8 9 0 0 a ;   G r e e n s t e i n   S . ,   2 0 0 6 ,   C R I S I S   E N C Y   B R I T A N N I ;   H A N N A N   M T ,   1 9 8 4 ,   A M   S O C I O L   R E V ,   V 4 9 ,   P 1 4 9 ,   D O I   1 0 . 2 3 0 7 / 2 0 9 5 5 6 7 ;   H a y e k   F A ,   1 9 4 5 ,   A M   E C O N   R E V ,   V 3 5 ,   P 5 1 9 ;   H o b d a y   M ,   1 9 9 8 ,   R E S   P O L I C Y ,   V 2 6 ,   P 6 8 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 9 7 ) 0 0 0 4 4 - 9 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ;   L a k h a n i   K .   R . ,   2 0 0 7 ,   I N N O V A T I O N S   T E C H N O L O ,   V 2 ,   P 9 7 ,   D O I   1 0 . 1 1 6 2 / i t g g . 2 0 0 7 . 2 . 3 . 9 7 ;   M a l o n e   T W ,   2 0 1 0 ,   M I T   S L O A N   M A N A G E   R E V ,   V 5 1 ,   P 2 1 ;   M e t c a l f e   R . ,   1 9 9 6 ,   N E W   Y O R K   T I M E S     0 7 1 5 ;   M o o r e   G .   E . ,   1 9 6 5 ,   E L E C T R O N I C S ,   V 3 8 ,   P 1 1 4 ;   N a t u r e ,   2 0 0 5 ,   N A T U R E ,   P 9 0 0 ;   O r t e g a   J .   F . ,   2 0 0 9 ,   T H E S I S   E S C U E L A   T E C N I ;   P O R T E R   M E ,   1 9 7 9 ,   R E V   E C O N   S T A T ,   V 6 1 ,   P 2 1 4 ,   D O I   1 0 . 2 3 0 7 / 1 9 2 4 5 8 9 ;   Q u i n n   A .   J . ,   2 0 1 1 ,   H U M A N   C O M P U T E R   I N T E R ,   V 2 7 ,   P 1 4 0 3 ;   R a y m o n d   E .   S . ,   1 9 9 9 ,   K N O W L E D G E   T E C H N O L O G Y ,   V 1 2 ,   P 2 3 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 2 1 3 0 - 9 9 9 - 1 0 2 6 - 0 ;   R e e d   D .   P . ,   1 9 9 9 ,   C O N T E X T   M A G A Z I N E   S P R ;   S & E   I n d i c a t o r s ,   2 0 1 0 ,   S C I   E N G   I N D   2 0 1 0 ;   S o r k i n   A .   R . ,   2 0 0 6 ,   N E W   Y O R K   T I M E S     1 0 0 9 ;   S t o n e   B . ,   2 0 0 7 ,   N E W   Y O R K   T I M E S     1 0 2 5 ;   S t r o s s   R .   E . ,   1 9 9 6 ,   M I C R O S O F T   W A Y   R E A L   S ;   V a n   d e n   E n d e   J . ,   2 0 0 9 ,   P   A C   M A N   A N N   M   A U G   1 ;   V i l l a r r o e l   J .   A . ,   2 0 1 0 ,   P   C R O W D C   2 0 1 0   W O R L D S ;   V i l l a r r o e l   J .   A . ,   2 0 1 1 ,   P   A C   M A N   A N N   M   A U G   1 ;   V i l l a r r o e l   J .   A . ,   2 0 0 8 ,   P   A C   M A N   A N N   M   A U G   8 ;   V i l l a r r o e l   J .   A . ,   2 0 1 0 ,   P   W O R L D S   1   C   F U T   D I S ;   V i l l a r r o e l   J .   A . ,   2 0 0 8 ,   T H E S I S   E P F L   S W I T Z E R L ;   V i l l a r r o e l   J .   A . ,   2 0 0 7 ,   P   N   A M   A S S   C O M P   S O C ;   V i l l a r r o e l   J .   A . ,   2 0 1 0 ,   P   S T R A T   M A N   S O C   I N T ;   V i l l a r r o e l   J .   A . ,   2 0 1 0 ,   P   I N F   2 0 1 0   S E R V   S C I ;   V i l l a r r o e l   J .   A . ,   2 0 0 7 ,   P   A C   M A N   A N N   M   A U G   6 ;   V i l l a r r o e l   J .   A . ,   2 0 1 2 ,   P   A C   M A N   A N N   M   A U G   7 ;   v o n   H i p p e l   E ,   2 0 0 2 ,   M A N A G E   S C I ,   V 4 8 ,   P 8 2 1 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 8 . 7 . 8 2 1 . 2 8 1 7 	 4 6 	 1 	 1 	 M I T   P R E S S 	 C A M B R I D G E 	 F I V E   C A M B R I D G E   C E N T E R ,   C A M B R I D G E ,   M A   0 2 1 4 2   U S A 	 	 	 9 7 8 - 0 - 2 6 2 - 0 1 8 4 9 - 4 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 1 7 1 	 2 0 0 	 	 	 	 3 0 	 B u s i n e s s ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 B E U 7 6 	 W O S : 0 0 0 3 1 8 2 2 6 3 0 0 0 1 1 	 	 
 B 	 F u l l e r ,   J ;   H u t t e r ,   K ;   H a u t z ,   J 	 	 H u f f ,   A S ;   M o s l e i n ,   K M ;   R e i c h w a l d ,   R 	 	 F u e l l e r ,   J o h a n n ;   H u t t e r ,   K a t j a ;   H a u t z ,   J u l i a 	 	 	 T h e   F u t u r e   o f   C r o w d s o u r c i n g :   F r o m   I d e a   C o n t e s t s   t o   M A S S i v e   I d e a t i o n 	 L E A D I N G   O P E N   I N N O V A T I O N 	 	 	 E n g l i s h 	 A r t i c l e ;   B o o k   C h a p t e r 	 	 	 	 	 	 	 I N N O V A T I O N ;   T O U R N A M E N T S 	 	 [ F u e l l e r ,   J o h a n n ]   U n i v   I n n s b r u c k ,   S c h   M a n a g e m e n t ,   A - 6 0 2 0   I n n s b r u c k ,   A u s t r i a ;   [ H u t t e r ,   K a t j a ;   H a u t z ,   J u l i a ]   U n i v   I n n s b r u c k ,   S c h   M a n a g e m e n t ,   D e p t   S t r a t e g   M a n a g e m e n t   M k t   &   T o u r i s m ,   A - 6 0 2 0   I n n s b r u c k ,   A u s t r i a 	 	 j o h a n n . f u e l l e r @ h y v e . d e 	 	 	 	 	 B i r k i n s h a w   J ,   2 0 1 1 ,   M I T   S L O A N   M A N A G E   R E V ,   V 5 2 ,   P 4 3 ;   B j e l l a n d   O M ,   2 0 0 8 ,   M I T   S L O A N   M A N A G E   R E V ,   V 5 0 ,   P 3 2 ;   D a h a n   E ,   2 0 0 2 ,   J   P R O D   I N N O V A T   M A N A G ,   V 1 9 ,   P 3 3 2 ,   D O I   1 0 . 1 1 1 1 / 1 5 4 0 - 5 8 8 5 . 1 9 5 0 3 3 2 ;   D a r r o c h   J . ,   2 0 0 5 ,   J o u r n a l   o f   K n o w l e d g e   M a n a g e m e n t ,   V 9 ,   D O I   1 0 . 1 1 0 8 / 1 3 6 7 3 2 7 0 5 1 0 6 0 2 8 0 9 ;   F l e m i n g   L ,   2 0 0 7 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 9 ,   P 6 9 ;   F u l l e r t o n   R ,   1 9 9 9 ,   E C O N   I N Q ,   V 3 7 ,   P 6 2 4 ;   K A T Z   R ,   1 9 8 2 ,   R & D   M A N A G E ,   V 1 2 ,   P 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 1 9 8 2 . t b 0 0 4 7 8 . x ;   K o z i n e t s   R .   V . ,   1 9 9 9 ,   E U R O P E A N   M A N A G E M E N T ,   V 1 7 ,   P 2 5 2 ,   D O I   D O I   1 0 . 1 0 1 6 / S 0 2 6 3 - 2 3 7 3 ( 9 9 ) 0 0 0 0 4 - 3 ;   L a k h a n i   K R ,   2 0 0 7 ,   H A R V A R D   B U S   R E V ,   V 8 5 ,   P 3 0 ;   L e o n a r d - B a r t o n   D . ,   1 9 9 5 ,   W E L L S P R I N G S   K N O W L E D G ;   M o r g a n   J ,   2 0 1 0 ,   C A L I F   M A N A G E   R E V ,   V 5 2 ,   P 7 7 ;   P i l l e r   F T ,   2 0 0 6 ,   R & D   M A N A G E ,   V 3 6 ,   P 3 0 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 6 . 0 0 4 3 2 . x ;   S i e g l e r   M .   G . ,   2 0 0 9 ,   O N E   Y E A R   L A T E R   G O O G L ;   S o b e l   D a v a ,   1 9 9 6 ,   L O N G I T U D E   T R U E   S T O R Y ;   T a p s c o t t   D . ,   2 0 0 6 ,   W I K I N O M I C S   M A S S   C O L L ;   T e r w i e s c h   C ,   2 0 0 8 ,   M A N A G E   S C I ,   V 5 4 ,   P 1 5 2 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 8 0 . 0 8 8 4 ;   T h o m k e   S ,   2 0 0 2 ,   H A R V A R D   B U S   R E V ,   V 8 0 ,   P 7 4 ;   T o u b i a   O ,   2 0 0 7 ,   M A R K E T   S C I ,   V 2 6 ,   P 3 4 2 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 0 7 0 . 0 2 7 3 ;   T u o m i   I . ,   2 0 0 3 ,   N E T W O R K S   I N N O V A T I O N ;   v o n   A h n   L ,   2 0 0 8 ,   C O M M U N   A C M ,   V 5 1 ,   P 5 8 ,   D O I   1 0 . 1 1 4 5 / 1 3 7 8 7 0 4 . 1 3 7 8 7 1 9 ;   Z u b r i n   R ,   1 9 9 6 ,   T E C H N O L   R E V ,   V 9 9 ,   P 2 0 	 2 1 	 0 	 0 	 M I T   P R E S S 	 C A M B R I D G E 	 F I V E   C A M B R I D G E   C E N T E R ,   C A M B R I D G E ,   M A   0 2 1 4 2   U S A 	 	 	 9 7 8 - 0 - 2 6 2 - 0 1 8 4 9 - 4 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 2 4 1 	 2 6 1 	 	 	 	 2 1 	 B u s i n e s s ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 B E U 7 6 	 W O S : 0 0 0 3 1 8 2 2 6 3 0 0 0 1 4 	 	 
 J 	 B o n g a r d ,   J C ;   H i n e s ,   P D H ;   C o n g e r ,   D ;   H u r d ,   P ;   L u ,   Z Y 	 	 	 	 B o n g a r d ,   J o s h   C . ;   H i n e s ,   P a u l   D .   H . ;   C o n g e r ,   D y l a n ;   H u r d ,   P e t e r ;   L u ,   Z h e n y u 	 	 	 C r o w d s o u r c i n g   P r e d i c t o r s   o f   B e h a v i o r a l   O u t c o m e s 	 I E E E   T R A N S A C T I O N S   O N   S Y S T E M S   M A N   C Y B E R N E T I C S - S Y S T E M S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   h u m a n   b e h a v i o r   m o d e l i n g ;   m a c h i n e   s c i e n c e ;   s o c i a l   m e d i a ;   s u r v e y s 	 C I T I Z E N   S C I E N C E ;   U N I T E D - S T A T E S ;   O B E S I T Y ;   A D U L T ;   C O N S U M P T I O N ;   G E N E R A T I O N ;   C H I L D R E N ;   R I S K ;   D I E T 	 G e n e r a t i n g   m o d e l s   f r o m   l a r g e   d a t a   s e t s - a n d   d e t e r m i n i n g   w h i c h   s u b s e t s   o f   d a t a   t o   m i n e - i s   b e c o m i n g   i n c r e a s i n g l y   a u t o m a t e d .   H o w e v e r ,   c h o o s i n g   w h a t   d a t a   t o   c o l l e c t   i n   t h e   f i r s t   p l a c e   r e q u i r e s   h u m a n   i n t u i t i o n   o r   e x p e r i e n c e ,   u s u a l l y   s u p p l i e d   b y   a   d o m a i n   e x p e r t .   T h i s   p a p e r   d e s c r i b e s   a   n e w   a p p r o a c h   t o   m a c h i n e   s c i e n c e   w h i c h   d e m o n s t r a t e s   f o r   t h e   f i r s t   t i m e   t h a t   n o n d o m a i n   e x p e r t s   c a n   c o l l e c t i v e l y   f o r m u l a t e   f e a t u r e s   a n d   p r o v i d e   v a l u e s   f o r   t h o s e   f e a t u r e s   s u c h   t h a t   t h e y   a r e   p r e d i c t i v e   o f   s o m e   b e h a v i o r a l   o u t c o m e   o f   i n t e r e s t .   T h i s   w a s   a c c o m p l i s h e d   b y   b u i l d i n g   a   W e b   p l a t f o r m   i n   w h i c h   h u m a n   g r o u p s   i n t e r a c t   t o   b o t h   r e s p o n d   t o   q u e s t i o n s   l i k e l y   t o   h e l p   p r e d i c t   a   b e h a v i o r a l   o u t c o m e   a n d   p o s e   n e w   q u e s t i o n s   t o   t h e i r   p e e r s .   T h i s   r e s u l t s   i n   a   d y n a m i c a l l y   g r o w i n g   o n l i n e   s u r v e y ,   b u t   t h e   r e s u l t   o f   t h i s   c o o p e r a t i v e   b e h a v i o r   a l s o   l e a d s   t o   m o d e l s   t h a t   c a n   p r e d i c t   t h e   u s e r ' s   o u t c o m e s   b a s e d   o n   t h e i r   r e s p o n s e s   t o   t h e   u s e r - g e n e r a t e d   s u r v e y   q u e s t i o n s .   H e r e ,   w e   d e s c r i b e   t w o   W e b - b a s e d   e x p e r i m e n t s   t h a t   i n s t a n t i a t e   t h i s   a p p r o a c h :   T h e   f i r s t   s i t e   l e d   t o   m o d e l s   t h a t   c a n   p r e d i c t   u s e r s '   m o n t h l y   e l e c t r i c   e n e r g y   c o n s u m p t i o n ,   a n d   t h e   o t h e r   l e d   t o   m o d e l s   t h a t   c a n   p r e d i c t   u s e r s '   b o d y   m a s s   i n d e x .   A s   e x p o n e n t i a l   i n c r e a s e s   i n   c o n t e n t   a r e   o f t e n   o b s e r v e d   i n   s u c c e s s f u l   o n l i n e   c o l l a b o r a t i v e   c o m m u n i t i e s ,   t h e   p r o p o s e d   m e t h o d o l o g y   m a y ,   i n   t h e   f u t u r e ,   l e a d   t o   s i m i l a r   e x p o n e n t i a l   r i s e s   i n   d i s c o v e r y   a n d   i n s i g h t   i n t o   t h e   c a u s a l   f a c t o r s   o f   b e h a v i o r a l   o u t c o m e s . 	 [ B o n g a r d ,   J o s h   C . ;   H i n e s ,   P a u l   D .   H . ]   U n i v   V e r m o n t ,   C o l l   E n g n   &   M a t h   S c i ,   B u r l i n g t o n ,   V T   0 5 4 0 5   U S A ;   [ C o n g e r ,   D y l a n ]   P a t i e n t   E n g a g e m e n t   S y s t ,   B u r l i n g t o n ,   V T   0 5 4 0 5   U S A ;   [ H u r d ,   P e t e r ]   M y W e b G r o c e r ,   C o l c h e s t e r ,   V T   0 5 4 4 6   U S A ;   [ L u ,   Z h e n y u ]   S e a r s   H o l d i n g s   C o ,   H o f f m a n   E s t a t e s ,   I L   6 0 1 7 9   U S A 	 B o n g a r d ,   J C   ( r e p r i n t   a u t h o r ) ,   U n i v   V e r m o n t ,   C o l l   E n g n   &   M a t h   S c i ,   B u r l i n g t o n ,   V T   0 5 4 0 5   U S A . 	 j b o n g a r d @ u v m . e d u ;   p a u l . h i n e s @ u v m . e d u ;   d y l a n . c o n g e r @ g m a i l . c o m ;   p e t e r . h u r d @ g m a i l . c o m ;   z l u 0 0 @ s e a r s h c . c o m 	 	 	 U n i v e r s i t y   o f   V e r m o n t   C o m p l e x   S y s t e m s   C e n t e r   t h r o u g h   t h e   U n i t e d   S t a t e s   N a t i o n a l   A e r o n a u t i c s   a n d   S p a c e   A d m i n i s t r a t i o n   [ N N X 0 9 A J 1 8 G ] ;   M c N a i r   S c h o l a r s   P r o g r a m 	 T h i s   w o r k   w a s   s u p p o r t e d   i n   p a r t   b y   t h e   U n i v e r s i t y   o f   V e r m o n t   C o m p l e x   S y s t e m s   C e n t e r   t h r o u g h   t h e   U n i t e d   S t a t e s   N a t i o n a l   A e r o n a u t i c s   a n d   S p a c e   A d m i n i s t r a t i o n   G r a n t   N N X 0 9 A J 1 8 G .   T h e   w o r k   o f   D .   C o n g e r   w a s   s u p p o r t e d   b y   t h e   M c N a i r   S c h o l a r s   P r o g r a m .   T h i s   p a p e r   w a s   r e c o m m e n d e d   b y   A s s o c i a t e   E d i t o r   W .   P e d r y c z . 	 A l l c o t t   H ,   2 0 1 1 ,   J   P U B L I C   E C O N ,   V 9 5 ,   P 1 0 8 2 ,   D O I   1 0 . 1 0 1 6 / j . j p u b e c o . 2 0 1 1 . 0 3 . 0 0 3 ;   A n d e r s o n   D P ,   2 0 0 2 ,   C O M M U N   A C M ,   V 4 5 ,   P 5 6 ,   D O I   1 0 . 1 1 4 5 / 5 8 1 5 7 1 . 5 8 1 5 7 3 ;   A t t a r i   S Z ,   2 0 1 0 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 7 ,   P 1 6 0 5 4 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 0 0 1 5 0 9 1 0 7 ;   B a r n e s s   L A ,   2 0 0 7 ,   A M   J   M E D   G E N E T   A ,   V 1 4 3 A ,   P 3 0 1 6 ,   D O I   1 0 . 1 0 0 2 / a j m g . a . 3 2 0 3 5 ;   B e b e r g   A .   L . ,   2 0 0 9 ,   P   2 3   I E E E   I N T   S   P A R ,   P 1 ,   D O I   D O I   1 0 . 1 1 0 9 / I P D P S . 2 0 0 9 . 5 1 6 0 9 2 2 ;   B o n g a r d   J ,   2 0 0 6 ,   S C I E N C E ,   V 3 1 4 ,   P 1 1 1 8 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 3 3 6 8 7 ;   B o n g a r d   J ,   2 0 0 7 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 4 ,   P 9 9 4 3 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 6 0 9 4 7 6 1 0 4 ;   B o n o w   R O ,   2 0 0 3 ,   N E W   E N G L   J   M E D ,   V 3 4 8 ,   P 2 0 5 7 ,   D O I   1 0 . 1 0 5 6 / N E J M p 0 3 0 0 5 3 ;   B o u m t j e   P I ,   2 0 0 5 ,   F O O D   P O L I C Y ,   V 3 0 ,   P 1 1 5 ,   D O I   1 0 . 1 0 1 6 / j . f o o d p o l . 2 0 0 4 . 0 2 . 0 0 4 ;   B o w m a n   S A ,   2 0 0 4 ,   P E D I A T R I C S ,   V 1 1 3 ,   P 1 1 2 ,   D O I   1 0 . 1 5 4 2 / p e d s . 1 1 3 . 1 . 1 1 2 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   C l a u s e t   A ,   2 0 0 9 ,   S I A M   R E V ,   V 5 1 ,   P 6 6 1 ,   D O I   1 0 . 1 1 3 7 / 0 7 0 7 1 0 1 1 1 ;   C o h n   J P ,   2 0 0 8 ,   B I O S C I E N C E ,   V 5 8 ,   P 1 9 2 ,   D O I   1 0 . 1 6 4 1 / B 5 8 0 3 0 3 ;   C o o p e r   S ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 7 5 6 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 9 3 0 4 ;   C u r r i e   J ,   2 0 1 0 ,   A M   E C O N   J - E C O N   P O L I C ,   V 2 ,   P 3 2 ,   D O I   1 0 . 1 2 5 7 / p o l . 2 . 3 . 3 2 ;   D i B o n a   C . ,   2 0 0 5 ,   O P E N   S O U R C E   2   0   C O N T ;   E v a n s   J ,   2 0 1 0 ,   S C I E N C E ,   V 3 2 9 ,   P 3 9 9 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 8 9 4 1 6 ;   E w i n g   R . ,   2 0 0 8 ,   U R B A N   E C O L O G Y   S E C T I O ,   V V ,   P 5 6 7 ;   F i t z g e r a l d   B ,   2 0 0 6 ,   M I S   Q U A R T ,   V 3 0 ,   P 5 8 7 ;   F R I E D M A N   M A ,   1 9 9 5 ,   P S Y C H O L   B U L L ,   V 1 1 7 ,   P 3 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 0 9 . 1 1 7 . 1 . 3 ;   G i l e s   J ,   2 0 0 5 ,   N A T U R E ,   V 4 3 8 ,   P 9 0 0 ,   D O I   1 0 . 1 0 3 8 / 4 3 8 9 0 0 a ;   G r o g a n   S ,   2 0 0 8 ,   B O D Y   I M A G E   U N D E R S T A N ;   G u t h r i d g e   G .   S . ,   2 0 1 0 ,   A C C 1 0 0 2 2 9 ;   H e r b e r t   A ,   2 0 0 6 ,   S C I E N C E ,   V 3 1 2 ,   P 2 7 9 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 2 4 7 7 9 ;   H o w e   J . ,   2 0 0 9 ,   C R O W D S O U R C I N G   W H Y   P O ;   K a u f m a n   L ,   2 0 0 9 ,   N Y   T I M E S ;   K i n g   R D ,   2 0 0 4 ,   N A T U R E ,   V 4 2 7 ,   P 2 4 7 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 2 2 3 6 ;   K i n g   R D ,   2 0 0 9 ,   S C I E N C E ,   V 3 2 4 ,   P 8 5 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 5 6 2 0 ;   K i t t u r   A . ,   2 0 0 8 ,   P   2 6   A N N   S I G C H I   C   H U ;   K i t t u r   A . ,   2 0 1 0 ,   X R D S ,   V 1 7 ,   P 2 2 ;   K o n g   N ,   2 0 1 0 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 6 ,   P 9 9 0 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 1 0 . 1 8 6 ;   L e r m a n   K . ,   2 0 0 6 ,   A R X I V C S 0 6 1 2 0 4 6 V 1 ;   L e s k o v e c   J . ,   2 0 0 7 ,   D Y N A M I C S   V I R A L   M A R K E ;   L i n t o t t   C J ,   2 0 0 8 ,   M O N   N O T   R   A S T R O N   S O C ,   V 3 8 9 ,   P 1 1 7 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 9 6 6 . 2 0 0 8 . 1 3 6 8 9 . x ;   L u   Z Y ,   2 0 0 9 ,   I E E E   D A T A   M I N I N G ,   P 3 2 7 ;   M a r g e   M ,   2 0 1 0 ,   P r o c e e d i n g s   2 0 1 0   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   A c o u s t i c s ,   S p e e c h   a n d   S i g n a l   P r o c e s s i n g ,   I C A S S P   2 0 1 0 ,   D O I   1 0 . 1 1 0 9 / I C A S S P . 2 0 1 0 . 5 4 9 4 9 7 9 ;   M i l l s   E . ,   2 0 0 8 ,   L B N L 5 1 9 3 8 ;   P a r s o n s   T J ,   1 9 9 9 ,   I N T   J   O B E S I T Y ,   V 2 3 ,   p S 1 ;   P e t e r s e n   J E ,   2 0 0 7 ,   I N T   J   S U S T A I N A B I L I T Y ,   V 8 ,   P 1 6 ,   D O I   D O I   1 0 . 1 1 0 8 / 1 4 6 7 6 3 7 0 7 1 0 7 1 7 5 6 2 ;   P i a n i   C . ,   2 0 0 5 ,   G E O P H Y S   R E S   L E T T ,   V 3 2 ,   P 1 ;   R o m e r o - C o r r a l   A ,   2 0 0 8 ,   I N T   J   O B E S I T Y ,   V 3 2 ,   P 9 5 9 ,   D O I   1 0 . 1 0 3 8 / i j o . 2 0 0 8 . 1 1 ;   S e u n g   H . ,   1 9 9 2 ,   P   A C M   W O R K S H   C O M P   L E ,   V 4 5 2 ,   P 2 8 7 ;   S i l v e r t o w n   J ,   2 0 0 9 ,   T R E N D S   E C O L   E V O L ,   V 2 4 ,   P 4 6 7 ,   D O I   1 0 . 1 0 1 6 / j . t r e e . 2 0 0 9 . 0 3 . 0 1 7 ;   S k u r i c h i n a   M ,   2 0 0 2 ,   P A T T E R N   A N A L   A P P L ,   V 5 ,   P 1 2 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 0 4 4 0 2 0 0 0 1 1 ;   S l o v i c   P ,   1 9 9 9 ,   R I S K   A N A L ,   V 1 9 ,   P 6 8 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 3 9 - 6 9 2 4 . 1 9 9 9 . t b 0 0 4 3 9 . x ;   S o r o k i n   A . ,   2 0 0 8 ,   P   1   I E E E   W O R K S H   I N T ,   P 1 ;   T h u r m a n   N ,   2 0 0 8 ,   N E W   M E D I A   S O C ,   V 1 0 ,   P 1 3 9 ,   D O I   1 0 . 1 1 7 7 / 1 4 6 1 4 4 4 8 0 7 0 8 5 3 2 5 ;   v a n   d e r   M e r w e   M T ,   2 0 0 7 ,   I N T   J   O B E S I T Y ,   V 3 1 ,   p S 1 4 ,   D O I   1 0 . 1 0 3 8 / s j . i j o . 0 8 0 3 7 3 1 ;   W a n g   Y ,   2 0 0 7 ,   E P I D E M I O L   R E V ,   V 2 9 ,   P 6 ,   D O I   1 0 . 1 0 9 3 / e p i r e v / m x m 0 0 7 ;   W i g h t m a n   D . ,   2 0 1 0 ,   P   6   N O R D   C   H U M   C O M P 	 5 0 	 1 	 1 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 2 1 6 8 - 2 2 1 6 	 	 	 I E E E   T   S Y S T   M A N   C Y - S 	 I E E E   T r a n s .   S y s t .   M a n   C y b e r n .   - S y s t . 	 J A N 	 2 0 1 3 	 4 3 	 1 	 	 	 	 	 1 7 6 	 1 8 5 	 	 1 0 . 1 1 0 9 / T S M C A . 2 0 1 2 . 2 1 9 5 1 6 8 	 	 1 0 	 A u t o m a t i o n   &   C o n t r o l   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   C y b e r n e t i c s 	 A u t o m a t i o n   &   C o n t r o l   S y s t e m s ;   C o m p u t e r   S c i e n c e 	 1 2 6 K J 	 W O S : 0 0 0 3 1 7 6 1 3 4 0 0 0 1 5 	 	 
 J 	 D o d g e ,   M ;   K i t c h i n ,   R 	 	 	 	 D o d g e ,   M a r t i n ;   K i t c h i n ,   R o b 	 	 	 C r o w d s o u r c e d   c a r t o g r a p h y :   m a p p i n g   e x p e r i e n c e   a n d   k n o w l e d g e 	 E N V I R O N M E N T   A N D   P L A N N I N G   A 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c a r t o g r a p h y ;   c r o w d s o u r c i n g ;   ' p r o s u m e r s ' ;   W e b   2 . 0 ;   a u t h o r s h i p ;   o n t o l o g y ;   r e p r e s e n t a t i o n ;   t e m p o r a l i t y 	 M A P S 	 T h i s   p a p e r   c o n s i d e r s   t h e   e m e r g i n g   p h e n o m e n o n   o f   c r o w d s o u r c e d   c a r t o g r a p h y   i n   r e l a t i o n   t o   i d e a s   a b o u t   t h e   o r g a n i s a t i o n   o f   c o n t e m p o r a r y   k n o w l e d g e   p r o d u c t i o n   i n   c a p i t a l i s t   s o c i e t i e s .   T a k i n g   a   p h i l o s o p h i c a l   p e r s p e c t i v e   t h a t   v i e w s   m a p p i n g   a s   a   p r o c e s s u a l ,   c r e a t i v e ,   p r o d u c t i v e   a c t ,   c o n s t r u c t e d   t h r o u g h   c i t a t i o n a l ,   e m b o d i e d ,   a n d   c o n t e x t u a l   e x p e r i e n c e s ,   w e   e x a m i n e   h o w   w e   m i g h t   p r o f i t a b l y   a n a l y s e   c o l l a b o r a t i v e   c r o w d s o u r c e d   p r o j e c t s   l i k e   O p e n S t r e e t M a p   t o   b e t t e r   u n d e r s t a n d   g e o g r a p h i c   k n o w l e d g e   p r o d u c t i o n   i n   a   s h i f t i n g   p o l i t i c a l   e c o n o m y   a n d   s o c i o t e c h n i c a l   l a n d s c a p e .   W e   b e g i n   b y   c h a r a c t e r i s i n g   c r o w d s o u r c i n g   p r a c t i c e s   i n   t h e   w i d e r   c o n t e x t   o f   W e b   2 . 0 ,   w h i c h   s o m e   c o m m e n t a t o r s   a s s e r t   i s   r a p i d l y   b e c o m i n g   a   n e w ,   d o m i n a n t   m o d e   o f   k n o w l e d g e   p r o d u c t i o n .   W e   t h e n   c o n t e x t u a l i s e   W e b   2 . 0   k n o w l e d g e   p r o d u c t i o n ,   d r a w i n g   u p o n   t h e   i d e a s   o f   s o c i o l o g i s t   G e o r g e   R i t z e r ,   a n d   h i s   n o t i o n   o f   ' p r o s u m p t i o n ' ,   g e o g r a p h e r   M i c h a e l   G o o d c h i l d ' s   i d e a   o f   v o l u n t e e r i s t   ' c i t i z e n   s c i e n t i s t s ' ,   a n d   e c o n o m i c   c o m m e n t a t o r   N i c h o l a s   C a r r ' s   c r i t i q u e   o f   t h e   ' i g n o r a n c e   o f   c r o w d s ' .   W e   t h e n   g o   o n   t o   d i s c u s s   t h e   c h a n g i n g   n a t u r e   o f   c a r t o g r a p h y   i n   t h e   W e b   2 . 0   e r a   w i t h   r e s p e c t   t o   a u t h o r s h i p ,   o n t o l o g y ,   r e p r e s e n t a t i o n ,   a n d   t e m p o r a l i t y . 	 [ D o d g e ,   M a r t i n ]   U n i v   M a n c h e s t e r ,   D e p t   G e o g ,   M a n c h e s t e r   M 1 3   9 P L ,   L a n c s ,   E n g l a n d ;   [ K i t c h i n ,   R o b ]   N a t l   U n i v   I r e l a n d ,   N I R S A ,   M a y n o o t h ,   K i l d a r e ,   I r e l a n d 	 D o d g e ,   M   ( r e p r i n t   a u t h o r ) ,   U n i v   M a n c h e s t e r ,   D e p t   G e o g ,   O x f o r d   R d ,   M a n c h e s t e r   M 1 3   9 P L ,   L a n c s ,   E n g l a n d . 	 m . d o d g e @ m a n c h e s t e r . a c . u k ;   r o b . k i t c h i n @ n u i m . i e 	 	 	 	 	 B a r n e s   A ,   2 0 0 7 ,   C U L T   G E O G R ,   V 1 4 ,   P 1 3 9 ,   D O I   1 0 . 1 1 7 7 / 1 4 7 4 4 7 4 0 0 7 0 7 2 8 2 3 ;   B a r t h e s   R o l a n d ,   1 9 7 8 ,   I M A G E   M U S I C   T E X T ,   P 1 4 2 ;   B e n k l e r   Y . ,   2 0 0 6 ,   W E A L T H   N E T W O R K S   S O C I ;   B u n g e   W . ,   1 9 7 1 ,   F I T Z G E R A L D   G E O G R A P H Y ;   C a p l a n   K ,   2 0 0 6 ,   A M   Q ,   V 5 8 ,   P 6 9 3 ;   C a r r   N . ,   2 0 1 0 ,   S H A L L O W S   W H A T   I N T E R N ;   C a r r   N   G ,   2 0 0 7 ,   S T R A T E G Y   B U S I N E S S   M A ,   V 4 7 ,   P 1 ;   C r a m p t o n   J W ,   2 0 0 9 ,   P R O G   H U M   G E O G ,   V 3 3 ,   P 9 1 ,   D O I   1 0 . 1 1 7 7 / 0 3 0 9 1 3 2 5 0 8 0 9 4 0 7 4 ;   C r u t c h e r   M ,   2 0 0 9 ,   G E O F O R U M ,   V 4 0 ,   P 5 2 3 ,   D O I   1 0 . 1 0 1 6 / j . g e o f o r u m . 2 0 0 9 . 0 1 . 0 0 3 ;   D o d g e   M ,   2 0 0 9 ,   R O U T L   S T U D   H U M   G E O G R ,   V 2 8 ,   P 2 2 0 ;   E l w o o d   S . ,   2 0 0 8 ,   G E O J O U R N A L ,   V 7 2 ,   P 1 7 3 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 0 8 - 0 0 8 - 9 1 8 6 - 0 ;   G o o d c h i l d   M . F . ,   2 0 0 7 ,   G E O J O U R N A L ,   V 6 9 ,   P 2 1 1 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 7 - 9 1 1 1 - Y ;   G r a h a m   M . ,   2 0 1 0 ,   T I J D S C H R I F T   E C   S O C I A ,   V 4 ,   P 1 0 1 ;   H a k l a y   M ,   2 0 1 0 ,   E N V I R O N   P L A N N   B ,   V 3 7 ,   P 6 8 2 ,   D O I   1 0 . 1 0 6 8 / b 3 5 0 9 7 ;   H a r l e y   J .   B r i a n ,   1 9 9 2 ,   W R I T I N G   W O R L D S   D I S C O ,   P 2 3 1 ;   K e n t   A J ,   2 0 0 9 ,   C A R T O G R   J ,   V 4 6 ,   P 1 7 9 ,   D O I   1 0 . 1 1 7 9 / 0 0 0 8 7 0 4 0 9 X 1 2 4 8 8 7 5 3 4 5 3 4 5 3 ;   K i t c h i n   R ,   2 0 1 1 ,   S O F T W   S T U D ,   P 1 ,   D O I   1 0 . 7 5 5 1 / m i t p r e s s / 9 7 8 0 2 6 2 0 4 2 4 8 2 . 0 0 1 . 0 0 0 1 ;   L e s z c z y n s k i   A ,   2 0 1 2 ,   P R O G   H U M   G E O G ,   V 3 6 ,   P 7 2 ,   D O I   1 0 . 1 1 7 7 / 0 3 0 9 1 3 2 5 1 1 4 1 1 2 3 1 ;   M a n o v i c h   L e v ,   2 0 0 1 ,   L A N G U A G E   N E W   M E D I A ;   M o o n e y   P ,   2 0 1 2 ,   T   G I S ,   V 1 6 ,   P 5 6 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 6 7 1 . 2 0 1 2 . 0 1 3 0 6 . x ;   M o o n e y   P ,   2 0 1 1 ,   P   2   I N T   C   N E T W   E N G   C ;   N o l d   C . ,   2 0 0 9 ,   E M O T I O N A L   C A R T O G R A P H ;   O ' R e i l l y   T ,   2 0 0 5 ,   W H A T   I S   W E B   2   U N P U B ;   P r o p e n   A ,   2 0 0 5 ,   A C M E   I N T   E   J   C R I T I C A ,   V 4 ,   P 1 3 1 ;   R a m m   F ,   2 0 1 1 ,   O P E N S T R E E T M A P   U S I N G ;   R h i n d   D ,   1 9 9 7 ,   F R A M E W O R K   W O R L D ;   R i t z e r   G ,   2 0 0 8 ,   P R O D U C T I O N   C O N   U N P U B ;   R i t z e r   G ,   2 0 1 0 ,   J   C O N S U M   C U L T ,   V 1 0 ,   P 1 3 ,   D O I   1 0 . 1 1 7 7 / 1 4 6 9 5 4 0 5 0 9 3 5 4 6 7 3 ;   Z o o k   M . ,   2 0 1 0 ,   W o r l d   M e d i c a l   a n d   H e a l t h   P o l i c y ,   V 2 ,   P 7 ,   D O I   1 0 . 2 2 0 2 / 1 9 4 8 - 4 6 8 2 . 1 0 6 9 	 2 9 	 7 	 7 	 P I O N   L T D 	 L O N D O N 	 2 0 7   B R O N D E S B U R Y   P A R K ,   L O N D O N   N W 2   5 J N ,   E N G L A N D 	 0 3 0 8 - 5 1 8 X 	 1 4 7 2 - 3 4 0 9 	 	 E N V I R O N   P L A N N   A 	 E n v i r o n .   P l a n .   A 	 J A N 	 2 0 1 3 	 4 5 	 1 	 	 	 	 	 1 9 	 3 6 	 	 1 0 . 1 0 6 8 / a 4 4 4 8 4 	 	 1 8 	 E n v i r o n m e n t a l   S t u d i e s ;   G e o g r a p h y 	 E n v i r o n m e n t a l   S c i e n c e s   &   E c o l o g y ;   G e o g r a p h y 	 1 0 4 Z J 	 W O S : 0 0 0 3 1 6 0 3 5 1 0 0 0 0 4 	 	 
 J 	 B r e m d a l ,   B ;   K o r s v o l d ,   T 	 R o s e n d a h l ,   T ;   H e p s o ,   V 	 	 	 B r e m d a l ,   B e r n t ;   K o r s v o l d ,   T o r b j o r n 	 R o s e n d a h l ,   T ;   H e p s o ,   V 	 	 K n o w l e d g e   M a r k e t s   a n d   C o l l e c t i v e   L e a r n i n g :   D e s i g n i n g   H y b r i d   A r e n a s   f o r   L e a r n i n g   O r i e n t e d   C o l l a b o r a t i o n 	 I N T E G R A T E D   O P E R A T I O N S   I N   T H E   O I L   A N D   G A S   I N D U S T R Y :   S U S T A I N A B I L I T Y   A N D   C A P A B I L I T Y   D E V E L O P M E N T 	 A d v a n c e s   i n   B u s i n e s s   S t r a t e g y   a n d   C o m p e t i t i v e   A d v a n t a g e   ( A B S C A )   B o o k   S e r i e s 	 	 E n g l i s h 	 A r t i c l e ;   B o o k   C h a p t e r 	 	 	 	 	 	 	 	 I n   t h i s   c h a p t e r ,   t h e   a u t h o r s   a r g u e   t h a t   " K n o w l e d g e   M a r k e t s "   m i g h t   b e   u s e d   a s   a   t e r m   t o   d e s c r i b e   h o w   i n d i v i d u a l s   c a n   b e   e n g a g e d   i n   a   d e m o c r a t i c   p r o c e s s   w h e r e   t h e i r   c o m p e t e n c e ,   b a c k g r o u n d ,   a n d   p e r s o n a l   i n f o r m a t i o n   r e s o u r c e s   a r e   m o b i l i z e d   i n   f u l l   i n   a   b r o a d   a n d   n o n - b i a s e d   p r o c e s s .   T h e   c o n t r i b u t i o n   o f   e a c h   i n d i v i d u a l   i s   a g g r e g a t e d   a n d   a v e r a g e d   i n   a   w a y   t h e   a u t h o r s   b e l i e v e   w i l l   y i e l d   m o r e   a c c u r a t e   r e s u l t s ,   p e r s o n a l   i n v o l v e m e n t ,   a n d   l e a r n i n g   t h a n   t r a d i t i o n a l   a p p r o a c h e s   t o   g r o u p   e f f o r t s .   R e c e n t   w o r k   o n   c r o w d s o u r c i n g   ( S u r o w i e c k i ,   2 0 0 4 )   h i g h l i g h t s   t h e   s t r e n g t h   o f   a   c o l l e c t i o n   o f   i n d i v i d u a l s   o v e r   t r a d i t i o n a l   o r g a n i z a t i o n a l   e n t i t i e s .   T h i s   c o n t r i b u t i o n   w i l l   e x t e n d   t h e s e   p r i n c i p l e s   t o   f i t   i n t o   a n   o r g a n i z a t i o n a l   s e t t i n g .   T h e   c h a p t e r   d i s c u s s e s   h o w   k n o w l e d g e   m a r k e t s   c a n   c r e a t e   a n   a r e n a   f o r   c h a n g e .   M o r e o v e r ,   i t   s h o w s   t h a t   i f   c e r t a i n   p r i n c i p l e s   a r e   o b s e r v e d   d e s i r e d   e f f e c t s   c o u l d   b e   a c h i e v e d   f o r   r e l a t i v e l y   l i m i t e d   g r o u p s .   T h e   a u t h o r s   e x t e n d   t h i s   t o   p r o p o s e   t h e o r i e s   a b o u t   c o l l e c t i v e   l e a r n i n g   a n d   p e r f o r m a n c e   i m p r o v e m e n t .   T h e y   f u r t h e r   d e s c r i b e   h o w   t h e   p r i n c i p l e s   d e f i n e d   c a n   h e l p   t o   m e e t   s o m e   f u n d a m e n t a l   c h a l l e n g e s   r e l a t e d   t o   p e t r o l e u m   a c t i v i t i e s   s u c h   a s   d r i l l i n g .   T h e   a u t h o r s   t h i n k   t h a t   t h e   K n o w l e d g e   M a r k e t   a p p r o a c h   c a n   s e r v e   a s   a   m o d e l   f o r   d e s i g n i n g   I O   a r e n a s   t o   i n c r e a s e   c o l l a b o r a t i o n ,   t o   i m p r o v e   s h a r e d   p r o b l e m   s o l v i n g ,   a n d   m a k e   c o l l e c t i v e   l e a r n i n g   m o r e   e f f e c t i v e .   I n   a l l   k i n d s   o f   o p e r a t i o n s   p e r f o r m a n c e   i m p r o v e m e n t   i s   s t r o n g l y   r e l a t e d   t o   l e a r n i n g .   I t   i s   a   c o g n i t i v e   a b i l i t y   t h a t   m u s t   b e   e x e r c i s e d   a n d   m a i n t a i n e d   t h r o u g h   m o t i v a t i o n ,   d i s c i p l i n e ,   a n d   o t h e r   s t i m u l i .   C o l l e c t i v e   l e a r n i n g   a p p l i e s   t o   t h e   e f f o r t   w h e r e b y   a   g r o u p   o f   p e o p l e   d e t e c t   t h r e a t s   o r   o p p o r t u n i t i e s   a n d   l e a r n s   h o w   t o   t a k e   e a r l y   a d v a n t a g e   o f   t h i s   i n   o r d e r   t o   a s s u r e   c h a n g e . 	 [ B r e m d a l ,   B e r n t ]   N a r v i k   U n i v   C o l l ,   N a r v i k ,   N o r w a y ;   [ K o r s v o l d ,   T o r b j o r n ]   S I N T E F   T e c h n o l   &   S o c ,   T r o n d h e i m ,   N o r w a y 	 B r e m d a l ,   B   ( r e p r i n t   a u t h o r ) ,   N a r v i k   U n i v   C o l l ,   N a r v i k ,   N o r w a y . 	 	 	 	 	 	 B a r o n   R S ,   2 0 0 5 ,   A D V   E X P   S O C   P S Y C H O L ,   V 3 7 ,   P 2 1 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 6 5 - 2 6 0 1 ( 0 5 ) 3 7 0 0 4 - 3 ;   B o h n   K . ,   2 0 0 8 ,   K N O W L E D G E C R A F T   P R O P O ;   B r e m d a l   B . ,   2 0 1 0 ,   S P E   I N T   E N   C   E X H   U T R ;   B r e m d a l   B .   A . ,   2 0 0 1 ,   N O R W E G I A N   H B S   M E T O D I ;   B r e t t o n   W o o d s   P r o j e c t ,   2 0 1 1 ,   G R O U P T H   I M F   S L A M M   M I ;   D a n a   D .   A . ,   2 0 1 1 ,   B O S T O N   C O L L   E N V   A F F A ,   V 3 8 ;   D a v e n p o r t   T . H . ,   1 9 9 8 ,   W O R K I N G   K N O W L E D G E   O R ;   D a v i s   G ,   1 9 9 8 ,   C   C O R P   E N V   H L T H   S A F ;   E n c y c l o p e d i a . c o m ,   2 0 1 1 ,   I N T   E N C Y   M A R R   F A M ;   G o t t s c h a l k   P . ,   2 0 0 5 ,   S T R A T E G I C   K N O W L E D G E ;   H a a v i k   T ,   2 0 1 0 ,   C O G N   T E C H N O L   W O R K ,   V 1 2 ,   P 2 8 5 ,   D O I   1 0 . 1 0 0 7 / s 1 0 1 1 1 - 0 1 0 - 0 1 3 9 - 2 ;   H a a v i k   T ,   2 0 1 0 ,   C O G N I T I O N   T E C H N O L O G Y ,   V 1 3 ;   H a a v i k   T ,   2 0 1 1 ,   J   C O N T I N G E N C I E S   C R I S ,   V 1 9 ;   H a n s e n   C   D ,   2 0 0 5 ,   V I S U A L I Z A T I O N   H D B ;   H o l l a n d   J .   H . ,   1 9 9 5 ,   H I D D E N   O R D E R   A D A P T A T ;   H o l l a n d   J H ,   1 9 7 5 ,   A D A P T A T I O N   N A T U R A L   A ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   J a n i s   I .   L . ,   1 9 7 7 ,   D E C I S I O N   M A K I N G   P S Y C ;   J a n i s   I . L . ,   1 9 7 2 ,   V I C T I M S   G R O U P T H I N K   P ;   J O H N S O N   P E ,   1 9 8 3 ,   J   M E D   P H I L O S ,   V 8 ,   P 7 7 ;   J o h n s o n   P .   J . ,   2 0 1 0 ,   P Y T H O N   P A P E R S   M O N O G R ,   V 2 ,   P 8 ;   J o h n s o n   P .   M . ,   2 0 0 1 ,   M O N O G R A P H   U S   A R M Y   C O ;   K i r k e m o   K . ,   2 0 0 8 ,   S T F H C 1 0 1 1   S T A T ;   K l e i n   G ,   2 0 0 1 ,   L I N K I N G   E X P E R T I S E   N A ;   K o r s v o l d   T . ,   2 0 0 9 ,   W H Y   W H A T   C H A R T S   M E T H ;   L e t n e s   B . ,   2 0 0 8 ,   F 6 5 1 8 3 6 6 4 1 7 0 0 0 3 0 8   S I ;   M a r c h   J G ,   1 9 9 1 ,   O R G A N   S C I ,   V 2 ,   P 7 1 ,   D O I   1 0 . 1 2 8 7 / o r s c . 2 . 1 . 7 1 ;   M i n t z b e r g   H . ,   1 9 9 3 ,   S T R U C T U R E S   5   D E S I G N ;   M o l t u   B . ,   2 0 1 0 ,   S P E   E C   M A N A G E M E N T ,   V 2 ,   P 3 2 ,   D O I   D O I   1 0 . 2 1 1 8 / 1 2 6 5 3 4 - P A ;   N A S A ,   2 0 0 8 ,   N A S A S P 2 0 0 8 5 6 5 ;   N E W E L L   A ,   1 9 8 2 ,   A R T I F   I N T E L L ,   V 1 8 ,   P 8 7 ,   D O I   1 0 . 1 0 1 6 / 0 0 0 4 - 3 7 0 2 ( 8 2 ) 9 0 0 1 2 - 1 ;   N o n a k a   I . ,   1 9 9 5 ,   K N O W L E D G E   C R E A T I N G   C ;   O ' R e i l l y   T . ,   2 0 0 9 ,   W E B   S Q U A R E D   W E B   2   0 ;   O d e g a r d   T . ,   2 0 0 8 ,   T E A M   C O M P A S S   T E A M   B U ;   P a u l u s   P B ,   2 0 0 4 ,   J   O C C U P   O R G A N   P S Y C H ,   V 7 7 ,   P 4 7 5 ,   D O I   1 0 . 1 3 4 8 / 0 9 6 3 1 7 9 0 4 2 5 9 6 4 9 6 ;   R o m m e t v e i t   R . ,   2 0 0 9 ,   S P E   A S   P A C   H L T H   S A F ;   R O S E N T H A L   U ,   1 9 9 1 ,   K N O W L E D G E ,   V 1 2 ,   P 3 5 0 ;   R o s n e s s   R ,   2 0 0 1 ,   S T F 3 8 A 0 1 4 1 3   S I N T E F ;   S c h u m p e t e r   J . A . ,   1 9 3 4 ,   T H E O R Y   E C   D E V ;   S c o t t   A r m s t r o n g   J ,   1 9 8 0 ,   T E C H N O L   R E V ,   V 8 2 ,   P 1 6 ;   S e n g e   P e t e r ,   1 9 9 0 ,   5   D I S C I P L I N E   A R T   P R A ;   S h u e n   A . ,   2 0 0 8 ,   W E B   2   0   S T R A T E G Y   G U I ;   S l a t e r   J .   A ,   1 9 9 5 ,   T E A M W O R K   M Y T H S   R E A L I ,   P 2 4 ;   S t e f f e n s e n   J . ,   2 0 0 6 ,   W H A T   W A Y   D O E S   C O R P O R ;   S t e i n k u e h l e r   C .   A . ,   2 0 0 4 ,   P   6   I N T   C   L E A R N   S C I ,   P 5 2 1 ;   S T R I C K L A N D   L H ,   1 9 5 8 ,   J   P E R S ,   V 2 6 ,   P 2 0 0 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 6 4 9 4 . 1 9 5 8 . t b 0 1 5 8 0 . x ;   S u n s t e i n   C .   R ,   2 0 0 4 ,   2 1 9   U   C H I C   J M   O L   L A W ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   S u t t o n   R S ,   1 9 9 6 ,   A D V   N E U R   I N ,   V 8 ,   P 1 0 3 8 ;   T i n m a n n s v i k   R .   K . ,   2 0 1 1 ,   A 1 9 1 4 8   S I N T E F ;   V o y d a n o f f   P ,   1 9 9 9 ,   J   M A R R I A G E   F A M ,   V 6 1 ,   P 7 2 5 ,   D O I   1 0 . 2 3 0 7 / 3 5 3 5 7 3 	 5 1 	 1 	 1 	 I G I   G L O B A L 	 H E R S E Y 	 7 0 1   E   C H O C O L A T E   A V E ,   S T E   2 0 0 ,   H E R S E Y ,   P A   1 7 0 3 3 - 1 2 4 0   U S A 	 	 	 9 7 8 - 1 - 4 6 6 6 - 2 0 0 2 - 5 	 A D V   B U S   S T R A T E G Y   C O M 	 	 	 2 0 1 3 	 	 	 	 	 	 	 3 0 4 	 3 2 7 	 	 1 0 . 4 0 1 8 / 9 7 8 - 1 - 4 6 6 6 - 2 0 0 2 - 5 . c h 0 1 8 	 1 0 . 4 0 1 8 / 9 7 8 - 1 - 4 6 6 6 - 2 0 0 2 - 5 	 2 4 	 E n g i n e e r i n g ,   I n d u s t r i a l ;   E n g i n e e r i n g ,   P e t r o l e u m ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 E n g i n e e r i n g ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 B D X 2 9 	 W O S : 0 0 0 3 1 5 5 2 3 8 0 0 0 1 8 	 	 
 J 	 L i u ,   N B ;   F e n g ,   Y ;   W a n g ,   F ;   L i u ,   B ;   T a n g ,   J C 	 	 	 	 L i u ,   N i a n b o ;   F e n g ,   Y o n g ;   W a n g ,   F e n g ;   L i u ,   B a n g ;   T a n g ,   J i n c h u a n 	 	 	 M o b i l i t y   C r o w d s o u r c i n g :   T o w a r d   Z e r o - E f f o r t   C a r p o o l i n g   o n   I n d i v i d u a l   S m a r t p h o n e 	 I N T E R N A T I O N A L   J O U R N A L   O F   D I S T R I B U T E D   S E N S O R   N E T W O R K S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 N E T W O R K S 	 I n   c u r r e n t   c a r p o o l i n g   s y s t e m s ,   d r i v e r s   a n d   p a s s e n g e r s   o f f e r   a n d   s e a r c h   f o r   t h e i r   t r i p s   t h r o u g h   a v a i l a b l e   m e d i u m s ,   f o r   e x a m p l e ,   a c c e s s i n g   c a r p o o l   w e b s i t e   b y   s m a r t p h o n e ,   f o r   f i n d i n g   a   p o s s i b l e   m a t c h   o f   t h e   j o u r n e y .   W h i l e   e f f o r t s   h a v e   b e e n   m a d e   t o   a c h i e v e   f a s t   m a t c h i n g   f o r   k n o w n   t r i p s ,   t h e   n e e d   f o r   a c c u r a t e   m o b i l e   t r a c k i n g   f o r   i n d i v i d u a l   u s e r s   s t i l l   r e m a i n s   a   b o t t l e n e c k .   F o r   e x a m p l e ,   d r i v e r s   f e e l   i m p a t i e n t   t o   i n p u t   t h e i r   r o u t e s   b e f o r e   d r i v i n g ,   o r   c e n t r a l i z e d   s y s t e m s   h a v e s   d i f f i c u l t i e s   t o   t r a c k   a   l a r g e   n u m b e r   o f   v e h i c l e s   i n   r e a l   t i m e .   I n   t h i s   p a p e r ,   w e   p r e s e n t   t h e   i d e a   o f   M o b i l i t y   C r o w d s o u r c i n g   ( M o b i C r o w d ) ,   w h i c h   l e v e r a g e s   p r i v a t e   s m a r t p h o n e   t o   c o l l e c t   i n d i v i d u a l   t r i p s   f o r   c a r p o o l i n g ,   w i t h o u t   a n y   e x p l i c i t   e f f o r t   o n   t h e   p a r t   o f   u s e r s .   O u r   s c h e m e   g e n e r a t e s   d a i l y   t r i p s   a n d   m o b i l i t y   m o d e l s   f o r   e a c h   u s e r ,   a n d   t h e n   m a k e s   c a r p o o l i n g   z e r o - e f f o r t   b y   e n a b l i n g   t r a v e l   d a t a   t o   b e   c r o w d s o u r c e d   i n s t e a d   o f   t r a c k i n g   v e h i c l e s   o r   a s k i n g   u s e r s   t o   i n p u t   t h e i r   t r i p s .   W i t h   p r i o r   m o b i l i t y   k n o w l e d g e ,   o n e   u s e r ' s   t r a v e l   r o u t e s   a n d   p o s i t i o n s   f o r   c a r p o o l i n g   c a n   b e   p r e d i c t e d   a c c o r d i n g   t o   t h e   l o c a t i o n   o f   t h e   t i m e   a n d   o t h e r   m o b i l i t y   c o n t e x t .   B a s e d   o n   a   r e a l i s t i c   t r a v e l   s u r v e y   a n d   s i m u l a t i o n ,   w e   p r o v e   t h a t   o u r   s c h e m e   c a n   p r o v i d e   e f f i c i e n t   a n d   a c c u r a t e   p o s i t i o n   e s t i m a t i o n   f o r   i n d i v i d u a l   c a r p o o l s . 	 [ L i u ,   N i a n b o ;   W a n g ,   F e n g ;   L i u ,   B a n g ;   T a n g ,   J i n c h u a n ]   U n i v   E l e c t   S c i   &   T e c h n o l   C h i n a ,   S c h   C o m p   S c i   &   E n g n ,   C h e n g d u   6 1 1 7 3 1 ,   P e o p l e s   R   C h i n a ;   [ F e n g ,   Y o n g ]   K u n m i n g   U n i v   S c i   &   T e c h n o l ,   Y u n n a n   K e y   L a b   C o m p   T e c h n o l   A p p l i c a t ,   K u n m i n g   6 5 0 5 0 0 ,   P e o p l e s   R   C h i n a 	 F e n g ,   Y   ( r e p r i n t   a u t h o r ) ,   K u n m i n g   U n i v   S c i   &   T e c h n o l ,   Y u n n a n   K e y   L a b   C o m p   T e c h n o l   A p p l i c a t ,   K u n m i n g   6 5 0 5 0 0 ,   P e o p l e s   R   C h i n a . 	 f y b r a v e r @ 1 6 3 . c o m 	 	 	 C h i n a   N S F   [ 6 1 1 0 3 2 2 6 ,   6 0 9 0 3 1 5 8 ,   6 1 1 7 0 2 5 6 ,   6 1 1 7 3 1 7 2 ,   6 1 2 7 2 5 2 6 ] ;   F u n d a m e n t a l   R e s e a r c h   F u n d s   f o r   t h e   C e n t r a l   U n i v e r s i t i e s   [ Z Y G X 2 0 1 0 J 0 7 4 ,   Z Y G X 2 0 1 1 J 1 0 2 ,   Z Y G X 2 0 1 2 J 0 8 3 ] 	 T h i s   p a p e r   i s   s u p p o r t e d   i n   p a r t   b y   t h e   C h i n a   N S F   G r a n t s   ( 6 1 1 0 3 2 2 6 ,   6 0 9 0 3 1 5 8 ,   6 1 1 7 0 2 5 6 ,   6 1 1 7 3 1 7 2 ,   a n d   6 1 2 7 2 5 2 6 ) ,   a n d   t h e   F u n d a m e n t a l   R e s e a r c h   F u n d s   f o r   t h e   C e n t r a l   U n i v e r s i t i e s   G r a n t s   (   Z Y G X 2 0 1 0 J 0 7 4 ,   Z Y G X 2 0 1 1 J 1 0 2 ,   a n d   Z Y G X 2 0 1 2 J 0 8 3 ) . 	 A g a t z   N . ,   2 0 1 0 ,   S U S T A I N A B L E   P A S S E N G E ;   B u r r i s   M .   W . ,   2 0 0 6 ,   J   P U B L I C   T R A N S P O R T ,   V 9 ,   P 2 3 ;   C h e n   R . ,   2 0 0 9 ,   T R A N S P O R T   R E S ,   V 9 ,   P 5 6 ;   C o n s t a n t a c h e   I . ,   2 0 1 0 ,   P   1 6   A N N   I N T   C   M O B   C ,   P 1 4 9 ,   D O I   1 0 . 1 1 4 5 / 1 8 5 9 9 9 5 . 1 8 6 0 0 1 3 ;   D a i   J T ,   2 0 1 1 ,   P A N C R E A S ,   V 4 0 ,   P 2 3 3 ,   D O I   1 0 . 1 0 9 7 / M P A . 0 b 0 1 3 e 3 1 8 1 f 7 e 0 9 f ;   E r e n   H . ,   2 0 1 2 ,   P   4   I E E E   I N T   V E H   S ,   P 2 3 4 ;   F u   Y ,   2 0 0 8 ,   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n t e l l i g e n t   C o m p u t a t i o n   T e c h n o l o g y   a n d   A u t o m a t i o n ,   V o l   2 ,   P r o c e e d i n g s ,   P 3 4 8 ,   D O I   1 0 . 1 1 0 9 / I C I C T A . 2 0 0 8 . 3 9 9 ;   G o n z a l e z   M C ,   2 0 0 8 ,   N A T U R E ,   V 4 5 3 ,   P 7 7 9 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 6 9 5 8 ;   H a r t w i g   S . ,   2 0 0 7 ,   E M P T Y   S E A T S   T R A V E L L I ;   H s u   W J ,   2 0 0 7 ,   I E E E   I N F O C O M   S E R ,   P 7 5 8 ,   D O I   1 0 . 1 1 0 9 / I N F C O M . 2 0 0 7 . 9 4 ;   J o h n s o n   D A ,   2 0 1 1 ,   I E E E   I N T   C   I N T E L L   T R ,   P 1 6 0 9 ,   D O I   1 0 . 1 1 0 9 / I T S C . 2 0 1 1 . 6 0 8 3 0 7 8 ;   K u r h i n e n   J . ,   2 0 0 7 ,   P   I E E E   I S C C   2 0 0 7 ,   P 4 6 3 ;   L a l o s   P ,   2 0 0 9 ,   2 0 0 9   C O M P U T A T I O N   W O R L D :   F U T U R E   C O M P U T I N G ,   S E R V I C E   C O M P U T A T I O N ,   C O G N I T I V E ,   A D A P T I V E ,   C O N T E N T ,   P A T T E R N S ,   P 3 8 5 ,   D O I   1 0 . 1 1 0 9 / C o m p u t a t i o n W o r l d . 2 0 0 9 . 5 5 ;   L i u   N ,   2 0 1 0 ,   P   3 0   I E E E   I N T   C   D I S T ,   P 5 6 7 ;   L u e   A l e s s a n d r o ,   2 0 0 9 ,   I n t e r n a t i o n a l   J o u r n a l   o f   S e r v i c e s   S c i e n c e ,   V 2 ;   M i y a s h i t a   K ,   2 0 0 8 ,   2 0 0 8   2 2 N D   I N T E R N A T I O N A L   W O R K S H O P S   O N   A D V A N C E D   I N F O R M A T I O N   N E T W O R K I N G   A N D   A P P L I C A T I O N S ,   V O L S   1 - 3 ,   P 1 5 5 1 ,   D O I   1 0 . 1 1 0 9 / W A I N A . 2 0 0 8 . 2 4 2 ;   R a i   A . ,   2 0 1 2 ,   P   1 8   A N N   I N T   C   M O B   C ,   P 2 9 3 ;   S c h o n f e l d e r   S . ,   2 0 0 1 ,   P   S W I S S   T R A N S P   R E S   C ;   S c h o n f e l d e r   S . ,   2 0 0 3 ,   P   3   S W I S S   T R A N S P   R E S ;   S o n g   C M ,   2 0 1 0 ,   S C I E N C E ,   V 3 2 7 ,   P 1 0 1 8 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 7 7 1 7 0 ;   T u o m i s t o   J T ,   2 0 0 5 ,   B M C   P U B L I C   H E A L T H ,   V 5 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 1 - 2 4 5 8 - 5 - 1 2 3 ;   W h i t t e n   I .   H . ,   2 0 0 5 ,   D A T A   M I N I N G   P R A C T I C A ;   W i n t e r   S ,   2 0 0 6 ,   I N T   J   G E O G R   I N F   S C I ,   V 2 0 ,   P 8 9 9 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 5 8 8 1 0 6 0 0 8 1 6 6 6 4 ;   W i n t e r   S . ,   2 0 0 8 ,   K U N S T L I C H E   I N T E L L I G E ,   V 2 2 ,   P 2 5 	 2 4 	 0 	 0 	 H I N D A W I   P U B L I S H I N G   C O R P O R A T I O N 	 N E W   Y O R K 	 4 1 0   P A R K   A V E N U E ,   1 5 T H   F L O O R ,   # 2 8 7   P M B ,   N E W   Y O R K ,   N Y   1 0 0 2 2   U S A 	 1 5 5 0 - 1 3 2 9 	 1 5 5 0 - 1 4 7 7 	 	 I N T   J   D I S T R I B   S E N S   N 	 I n t .   J .   D i s t r i b .   S e n s .   N e t w . 	 	 2 0 1 3 	 	 	 	 	 	 	 	 	 6 1 5 2 8 2 	 1 0 . 1 1 5 5 / 2 0 1 3 / 6 1 5 2 8 2 	 	 9 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   T e l e c o m m u n i c a t i o n s 	 1 0 2 W O 	 W O S : 0 0 0 3 1 5 8 7 5 4 0 0 0 0 1 	 	 
 J 	 S a x t o n ,   G D ;   O h ,   O ;   K i s h o r e ,   R 	 	 	 	 S a x t o n ,   G r e g o r y   D . ;   O h ,   O n o o k ;   K i s h o r e ,   R a j i v 	 	 	 R u l e s   o f   C r o w d s o u r c i n g :   M o d e l s ,   I s s u e s ,   a n d   S y s t e m s   o f   C o n t r o l 	 I N F O R M A T I O N   S Y S T E M S   M A N A G E M E N T 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c r o w d s o u r c i n g ;   o u t s o u r c i n g ;   e - b u s i n e s s ;   s o c i a l   w e b ;   s o c i a l   m e d i a ;   a d v a n c e d   i n t e r n e t   t e c h n o l o g i e s ;   W e b   2 . 0 	 I N F O R M A T I O N - S Y S T E M S ;   F U T U R E ;   T R U S T 	 I n   t h i s   a r t i c l e ,   t h e   a u t h o r s   f i r s t   p r o v i d e   a   p r a c t i c a l   y e t   r i g o r o u s   d e f i n i t i o n   o f   c r o w d s o u r c i n g   t h a t   i n c o r p o r a t e s   " c r o w d s , "   o u t s o u r c i n g ,   a n d   s o c i a l   w e b   t e c h n o l o g i e s .   T h e y   t h e n   a n a l y z e   1 0 3   w e l l - k n o w n   c r o w d s o u r c i n g   w e b   s i t e s   u s i n g   c o n t e n t   a n a l y s i s   m e t h o d s   a n d   t h e   h e r m e n e u t i c   r e a d i n g   p r i n c i p l e .   B a s e d   o n   t h e i r   a n a l y s i s ,   t h e y   d e v e l o p   a   " t a x o n o m i c   t h e o r y "   o f   c r o w d s o u r c i n g   b y   o r g a n i z i n g   t h e   e m p i r i c a l   v a r i a n t s   i n   n i n e   d i s t i n c t   f o r m s   o f   c r o w d s o u r c i n g   m o d e l s .   T h e y   a l s o   d i s c u s s   k e y   i s s u e s   a n d   d i r e c t i o n s ,   c o n c e n t r a t i n g   o n   t h e   n o t i o n   o f   m a n a g e r i a l   c o n t r o l   s y s t e m s . 	 [ S a x t o n ,   G r e g o r y   D . ]   S U N Y   B u f f a l o ,   C o l l   A r t s   &   S c i ,   D e p t   C o m m u n ,   B u f f a l o ,   N Y   1 4 2 6 0   U S A ;   [ S a x t o n ,   G r e g o r y   D . ]   S U N Y   B u f f a l o ,   D e p t   C o m m u n ,   B u f f a l o ,   N Y   1 4 2 6 0   U S A ;   [ O h ,   O n o o k ]   U n i v   N e b r a s k a ,   C t r   C o l l a b o r a t   S c i ,   O m a h a ,   N E   6 8 1 8 2   U S A ;   [ K i s h o r e ,   R a j i v ]   S U N Y   B u f f a l o ,   D e p t   M a n a g e m e n t   S c i   &   S y s t ,   S c h   M a n a g e m e n t ,   B u f f a l o ,   N Y   1 4 2 6 0   U S A ;   [ K i s h o r e ,   R a j i v ]   S U N Y   B u f f a l o ,   S c h   M a n a g e m e n t ,   B u f f a l o ,   N Y   1 4 2 6 0   U S A 	 K i s h o r e ,   R   ( r e p r i n t   a u t h o r ) ,   S U N Y   B u f f a l o ,   D e p t   M a n a g e m e n t   S c i   &   S y s t ,   S c h   M a n a g e m e n t ,   J a c o b s   M a n a g e m e n t   C t r ,   B u f f a l o ,   N Y   1 4 2 6 0   U S A . 	 r k i s h o r e @ b u f f a l o . e d u 	 	 	 	 	 A n d e r s o n   K . ,   2 0 1 2 ,   P A P E R   P R E S E N T E D   A T   T ;   B a   S L ,   2 0 0 2 ,   M I S   Q U A R T ,   V 2 6 ,   P 2 4 3 ,   D O I   1 0 . 2 3 0 7 / 4 1 3 2 3 3 2 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B r u n s   A ,   2 0 0 7 ,   C C 2 0 0 7 - C R E A T I V I T Y   A N D   C O G N I T I O N   2 0 0 7   S E E D I N G   C R E A T I V I T Y :   T O O L S ,   M E D I A ,   A N D   E N V I R O N M E N T S ,   P 9 9 ;   B r y n j o l f s s o n   E ,   2 0 0 7 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 8 ,   P 4 9 ;   D A F T   R L ,   1 9 8 6 ,   M A N A G E   S C I ,   V 3 2 ,   P 5 5 4 ,   D O I   1 0 . 1 2 8 7 / m n s c . 3 2 . 5 . 5 5 4 ;   G a d a m e r   H . - G . ,   1 9 7 6 ,   C R I T I C A L   S O C I O L O G Y   S ,   P 1 1 7 ;   G e f e n   D ,   2 0 0 8 ,   M I S   Q U A R T ,   V 3 2 ,   P 3 6 7 ;   G r e g o r   S ,   2 0 0 6 ,   M I S   Q U A R T ,   V 3 0 ,   P 6 1 1 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ;   H o w e   J e f f ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   T H ;   K i r s c h   L J ,   2 0 0 4 ,   I N F O R M   S Y S T   R E S ,   V 1 5 ,   P 3 7 4 ,   D O I   1 0 . 1 2 8 7 / i s r e . 1 0 4 0 . 0 0 3 6 ;   K i s h o r e   R ,   2 0 0 3 ,   C O M M U N   A C M ,   V 4 6 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 9 5 3 4 6 0 . 9 5 3 4 6 4 ;   K l e i n   H K ,   1 9 9 9 ,   M I S   Q U A R T ,   V 2 3 ,   P 6 7 ,   D O I   1 0 . 2 3 0 7 / 2 4 9 4 1 0 ;   K r i p p e n d o r f   K . ,   2 0 0 4 ,   C O N T E N T   A N A L   I N T R O   I ;   L a c i t y   M C ,   2 0 1 0 ,   J   I N F   T E C H N O L ,   V 2 5 ,   P 3 9 5 ,   D O I   1 0 . 1 0 5 7 / j i t . 2 0 1 0 . 2 1 ;   L A C I T Y   M C ,   1 9 9 3 ,   S L O A N   M A N A G E   R E V ,   V 3 5 ,   P 7 3 ;   L a k h a n i   K . ,   2 0 0 7 ,   W O R K I N G   P A P E R ;   M c A f e e   A .   P ,   2 0 0 6 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 7 ,   P 2 0 ;   M i n   J .   K . ,   2 0 0 5 ,   N I E M A N   R E P O R T S ;   N o n a k a   I ,   2 0 0 7 ,   H A R V A R D   B U S   R E V ,   V 8 5 ,   P 1 6 2 ;   O ' D o n n e l l   J . ,   2 0 0 2 ,   J O H N   H A R R I S O N   A N D   T H ;   P a v l o u   P A ,   2 0 0 4 ,   I N F O R M   S Y S T   R E S ,   V 1 5 ,   P 3 7 ,   D O I   1 0 . 1 2 8 7 / i s r e . 1 0 4 0 . 0 0 1 5 ;   R a p p a   M .   A . ,   2 0 1 1 ,   B U S I N E S S   M O D E L S   O N   T ;   S t v i l i a   B ,   2 0 0 8 ,   J   A M   S O C   I N F   S C I   T E C ,   V 5 9 ,   P 9 8 3 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 0 8 1 3 ;   S U R O W I E C K I   J A M E S ,   2 0 0 4 ,   W I S D O M   C R O W D S 	 2 6 	 4 	 5 	 A U E R B A C H   P U B L I C A T I O N S 	 B O C A   R A T O N 	 C / O   C R C   P R E S S   L   L   C ,   2 0 0 0   C O R P O R A T E   B L V D   N W ,   B O C A   R A T O N ,   F L   3 3 4 3 1   U S A 	 1 0 5 8 - 0 5 3 0 	 	 	 I N F O R M   S Y S T   M A N A G E 	 I n f .   S y s t .   M a n a g e . 	 	 2 0 1 3 	 3 0 	 1 	 	 	 	 	 2 	 2 0 	 	 1 0 . 1 0 8 0 / 1 0 5 8 0 5 3 0 . 2 0 1 3 . 7 3 9 8 8 3 	 	 1 9 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 0 9 3 P X 	 W O S : 0 0 0 3 1 5 2 0 4 9 0 0 0 0 2 	 	 
 J 	 d e   M a g d a l e n o ,   M I A ;   G a r c i a ,   J G 	 	 	 	 I s a b e l   A l o n s o   d e   M a g d a l e n o ,   M . ;   G a r c i a   G a r c i a ,   J e s u s 	 	 	 C r o w d s o u r c i n g   a s   a   m e t h o d o l o g y   i n   t h e   f i g h t   a g a i n s t   m a l a r i a 	 G A C E T A   S A N I T A R I A 	 	 	 S p a n i s h 	 L e t t e r 	 	 	 	 	 	 	 	 	 [ I s a b e l   A l o n s o   d e   M a g d a l e n o ,   M . ]   U n i v   O v i e d o ,   D e p t   A d m   E m p r e s a s ,   F a c   E c o n   &   E m p r e s a ,   O v i e d o ,   S p a i n ;   [ G a r c i a   G a r c i a ,   J e s u s ]   U n i v   O v i e d o ,   D e p t   C o n t a b i l i d a d ,   F a c   E c o n   &   E m p r e s a ,   O v i e d o ,   S p a i n 	 d e   M a g d a l e n o ,   M I A   ( r e p r i n t   a u t h o r ) ,   U n i v   O v i e d o ,   D e p t   A d m   E m p r e s a s ,   F a c   E c o n   &   E m p r e s a ,   O v i e d o ,   S p a i n . 	 i a l o n s o @ u n i o v i . e s 	 	 	 	 	 [ A n o n y m o u s ] ,   M I S S   D E S C R   G O   F I G H T ;   C l e r y   D ,   2 0 0 5 ,   S C I E N C E ,   V 3 0 8 ,   P 7 7 3 ;   O r g a n i z a c i o n   M u n d i a l   d e   l a   S a l u d ,   W O R D   M A L   R E P ;   W o r l d   C o m m u n i t y   G r i d ,   G O   F I G H T   M A L 	 4 	 0 	 0 	 E L S E V I E R 	 B R I D G E W A T E R 	 6 8 5   R O U T E   2 0 2 - 2 0 6 ,   B R I D G E W A T E R ,   N J   0 8 8 0 7   U S A 	 0 2 1 3 - 9 1 1 1 	 	 	 G A C   S A N I T 	 G a c .   S a n i t . 	 J A N - F E B 	 2 0 1 3 	 2 7 	 1 	 	 	 	 	 8 9 	 8 9 	 	 1 0 . 1 0 1 6 / j . g a c e t a . 2 0 1 2 . 0 4 . 0 1 5 	 	 1 	 P u b l i c ,   E n v i r o n m e n t a l   &   O c c u p a t i o n a l   H e a l t h 	 P u b l i c ,   E n v i r o n m e n t a l   &   O c c u p a t i o n a l   H e a l t h 	 0 8 3 R C 	 W O S : 0 0 0 3 1 4 4 8 1 9 0 0 0 1 9 	 	 
 J 	 K e r l e ,   N ;   H o f f m a n ,   R R 	 	 	 	 K e r l e ,   N . ;   H o f f m a n ,   R .   R . 	 	 	 C o l l a b o r a t i v e   d a m a g e   m a p p i n g   f o r   e m e r g e n c y   r e s p o n s e :   t h e   r o l e   o f   C o g n i t i v e   S y s t e m s   E n g i n e e r i n g 	 N A T U R A L   H A Z A R D S   A N D   E A R T H   S Y S T E M   S C I E N C E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 H I G H - R E S O L U T I O N   S A T E L L I T E ;   D I S A S T E R   R E S P O N S E ;   H A I T I   E A R T H Q U A K E ;   G E O G R A P H I C   I N F O R M A T I O N ;   I N T E R N A T I O N A L   C H A R T E R ;   I M A G E R Y ;   I M P L E M E N T A T I O N ;   O P E N S T R E E T M A P ;   V A L I D A T I O N ;   W O R K 	 R e m o t e   s e n s i n g   i s   i n c r e a s i n g l y   u s e d   t o   a s s e s s   d i s a s t e r   d a m a g e ,   t r a d i t i o n a l l y   b y   p r o f e s s i o n a l   i m a g e   a n a l y s t s .   A   r e c e n t   a l t e r n a t i v e   i s   c r o w d s o u r c i n g   b y   v o l u n t e e r s   e x p e r i e n c e d   i n   r e m o t e   s e n s i n g ,   u s i n g   i n t e r n e t - b a s e d   m a p p i n g   p o r t a l s .   W e   i d e n t i f y   a   r a n g e   o f   p r o b l e m s   i n   c u r r e n t   a p p r o a c h e s ,   i n c l u d i n g   h o w   v o l u n t e e r s   c a n   b e s t   b e   i n s t r u c t e d   f o r   t h e   t a s k ,   e n s u r i n g   t h a t   i n s t r u c t i o n s   a r e   a c c u r a t e l y   u n d e r s t o o d   a n d   t r a n s l a t e   i n t o   v a l i d   r e s u l t s ,   o r   h o w   t h e   m a p p i n g   s c h e m e   m u s t   b e   a d a p t e d   f o r   d i f f e r e n t   m a p   u s e r   n e e d s .   T h e   v o l u n t e e r s ,   t h e   m a p p i n g   o r g a n i z e r s ,   a n d   t h e   m a p   u s e r s   a l l   p e r f o r m   c o m p l e x   c o g n i t i v e   t a s k s ,   y e t   l i t t l e   i s   k n o w n   a b o u t   t h e   a c t u a l   i n f o r m a t i o n   n e e d s   o f   t h e   u s e r s .   W e   a l s o   i d e n t i f y   p r o b l e m a t i c   a s s u m p t i o n s   a b o u t   t h e   c a p a b i l i t i e s   o f   t h e   v o l u n t e e r s ,   p r i n c i p a l l y   r e l a t e d   t o   t h e   a b i l i t y   t o   p e r f o r m   t h e   m a p p i n g ,   a n d   t o   u n d e r s t a n d   m a p p i n g   i n s t r u c t i o n s   u n a m b i g u o u s l y .   W e   p r o p o s e   t h a t   a n y   r o b u s t   s c h e m e   f o r   c o l l a b o r a t i v e   d a m a g e   m a p p i n g   m u s t   r e l y   o n   C o g n i t i v e   S y s t e m s   E n g i n e e r i n g   a n d   i t s   p r i n c i p a l   m e t h o d ,   C o g n i t i v e   T a s k   A n a l y s i s   ( C T A ) ,   t o   u n d e r s t a n d   t h e   i n f o r m a t i o n   a n d   d e c i s i o n   r e q u i r e m e n t s   o f   t h e   m a p   a n d   i m a g e   u s e r s ,   a n d   h o w   t h e   v o l u n t e e r s   c a n   b e   o p t i m a l l y   i n s t r u c t e d   a n d   t h e i r   m a p p i n g   c o n t r i b u t i o n s   m e r g e d   i n t o   s u i t a b l e   m a p   p r o d u c t s .   W e   r e c o m m e n d   a n   i t e r a t i v e   a p p r o a c h   i n v o l v i n g   m a p   u s e r s ,   r e m o t e   s e n s i n g   s p e c i a l i s t s ,   c o g n i t i v e   s y s t e m s   e n g i n e e r s   a n d   i n s t r u c t i o n a l   d e s i g n e r s ,   a s   w e l l   a s   e x p e r i m e n t a l   p s y c h o l o g i s t s . 	 [ K e r l e ,   N . ]   U n i v   T w e n t e ,   D e p t   E a r t h   S y s t   A n a l   E S A ,   F a c   G e o i n f o r m a t   S c i   &   E a r t h   O b s e r v a t   I T C ,   N L - 7 5 0 0   A E   E n s c h e d e ,   N e t h e r l a n d s ;   [ H o f f m a n ,   R .   R . ]   I n s t   H u m a n   &   M a c h i n e   C o g n i t ,   P e n s a c o l a ,   F L   U S A 	 K e r l e ,   N   ( r e p r i n t   a u t h o r ) ,   U n i v   T w e n t e ,   D e p t   E a r t h   S y s t   A n a l   E S A ,   F a c   G e o i n f o r m a t   S c i   &   E a r t h   O b s e r v a t   I T C ,   P O B   2 1 7 ,   N L - 7 5 0 0   A E   E n s c h e d e ,   N e t h e r l a n d s . 	 n . k e r l e @ u t w e n t e . n l 	 K e r l e ,   N o r m a n / A - 5 5 0 8 - 2 0 1 0 	 	 	 	 A l l e n d o e r f e r   K . ,   2 0 0 5 ,   P   I E E E   S   I N F   V I S ,   P 1 9 5 ;   A r c i n i e g a s   G A ,   2 0 0 7 ,   I E E E   T   G E O S C I   R E M O T E ,   V 4 5 ,   P 1 5 7 1 ,   D O I   1 0 . 1 1 0 9 / T G R S . 2 0 0 6 . 8 8 3 1 4 9 ;   B a r r i n g t o n   L ,   2 0 1 1 ,   A N N   G E O P H Y S - I T A L Y ,   V 5 4 ,   P 6 8 0 ,   D O I   1 0 . 4 4 0 1 / a g - 5 3 2 4 ;   B e r t i n   J . ,   1 9 8 3 ,   S E M I O L O G Y   G R A P H I C S ;   C a s t o l d i   R . ,   2 0 1 1 ,   P   V A L G E O   2 0 1 1   3   I N T ,   P 8 3 ;   C o o k e   N .   J . ,   2 0 0 7 ,   S T O R I E S   M O D E R N   T E C H N ;   C o r b a n e   C ,   2 0 1 1 ,   P H O T O G R A M M   E N G   R E M   S ,   V 7 7 ,   P 9 9 7 ;   C o r b a n e   C ,   2 0 1 1 ,   I N T   J   D I G I T   E A R T H ,   V 4 ,   P 8 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 7 . 2 0 1 0 . 5 1 2 1 5 3 ;   C r a n d a l l   B . ,   2 0 0 6 ,   W O R K I N G   M I N D S   P R A C T I ;   D e l l ' A c q u a   F ,   2 0 1 2 ,   P   I E E E ,   V 1 0 0 ,   P 2 8 7 6 ,   D O I   1 0 . 1 1 0 9 / J P R O C . 2 0 1 2 . 2 1 9 6 4 0 4 ;   D i c k i n s o n   J L ,   2 0 1 0 ,   A N N U   R E V   E C O L   E V O L   S ,   V 4 1 ,   P 1 4 9 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v - e c o l s y s - 1 0 2 2 0 9 - 1 4 4 6 3 6 ;   D u c h e n e   C ,   2 0 1 1 ,   I N T   J   D I G I T   E A R T H ,   V 4 ,   P 2 5 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 7 . 2 0 1 0 . 5 1 0 3 0 5 ;   F i o r e   S M ,   2 0 1 0 ,   H U M   F A C T O R S ,   V 5 2 ,   P 2 0 3 ,   D O I   1 0 . 1 1 7 7 / 0 0 1 8 7 2 0 8 1 0 3 6 9 8 0 7 ;   G e r k e   M ,   2 0 1 1 ,   P H O T O G R A M M   E N G   R E M   S ,   V 7 7 ,   P 8 8 5 ;   G h o s h   S ,   2 0 1 1 ,   E A R T H Q   S P E C T R A ,   V 2 7 ,   p S 1 7 9 ,   D O I   1 0 . 1 1 9 3 / 1 . 3 6 3 6 4 1 6 ;   G i r r e s   J F ,   2 0 1 0 ,   T   G I S ,   V 1 4 ,   P 4 3 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 6 7 1 . 2 0 1 0 . 0 1 2 0 3 . x ;   G o o d c h i l d   M . F . ,   2 0 0 7 ,   G E O J O U R N A L ,   V 6 9 ,   P 2 1 1 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 7 - 9 1 1 1 - Y ;   G o o d c h i l d   M F ,   2 0 1 0 ,   I N T   J   D I G I T   E A R T H ,   V 3 ,   P 2 3 1 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 1 0 0 3 7 5 9 2 5 5 ;   G r u n t h a l   G . ,   1 9 9 8 ,   C A H I E R S   C T R   E U R O P E E N ,   V 1 5 ;   H a k l a y   M ,   2 0 1 0 ,   C A R T O G R   J ,   V 4 7 ,   P 3 1 5 ,   D O I   1 0 . 1 1 7 9 / 0 0 0 8 7 0 4 1 0 X 1 2 9 1 1 3 0 4 9 5 8 8 2 7 ;   H a k l a y   M ,   2 0 1 0 ,   E N V I R O N   P L A N N   B ,   V 3 7 ,   P 6 8 2 ,   D O I   1 0 . 1 0 6 8 / b 3 5 0 9 7 ;   H o f f m a n   R .   R . ,   2 0 0 2 ,   P r o c e e d i n g s   o f   t h e   H u m a n   F a c t o r s   a n d   E r g o n o m i c s   S o c i e t y   4 6 t h   A n n u a l   M e e t i n g ;   H o f f m a n   R .   R . ,   2 0 0 1 ,   I N T E R P R E T I N G   R E M O T E ;   H o f f m a n   R .   R . ,   2 0 0 8 ,   P E R S P E C T I V E S     C O G N I T ;   H o f f m a n   R .   R . ,   1 9 9 0 ,   G E O C A R T O   I N T ,   V 5 ,   P 3 ,   D O I   D O I   1 0 . 1 0 8 0 / 1 0 1 0 6 0 4 9 0 0 9 3 5 4 2 5 4 ;   H o f f m a n   R .   R . ,   2 0 1 3 ,   I E E E   I N T E L L   I N   P R E S S ;   H o f f m a n   R R ,   2 0 0 7 ,   I E E E   I N T E L L   S Y S T ,   V 2 2 ,   P 7 9 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 0 7 . 5 9 ;   H o f f m a n   R R ,   1 9 9 8 ,   H U M   F A C T O R S ,   V 4 0 ,   P 2 5 4 ,   D O I   1 0 . 1 5 1 8 / 0 0 1 8 7 2 0 9 8 7 7 9 4 8 0 4 4 2 ;   H o f f m a n   R R ,   2 0 0 0 ,   H U M   F A C T O R S ,   V 4 2 ,   P 1 ,   D O I   1 0 . 1 5 1 8 / 0 0 1 8 7 2 0 0 0 7 7 9 6 5 6 6 3 3 ;   H o f f m a n   R o b e r t ,   2 0 0 9 ,   C o g n i t i o n ,   T e c h n o l o g y   &   W o r k ,   V 1 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 1 1 1 - 0 0 8 - 0 1 2 0 - 5 ;   H o l l n a g e l   E . ,   2 0 0 5 ,   J O I N T   C O G N I T I V E   S Y S T ;   I t o   A ,   2 0 0 5 ,   S P A C E   P O L I C Y ,   V 2 1 ,   P 1 4 1 ,   D O I   1 0 . 1 0 1 6 / j . s p a c e p o l . 2 0 0 5 . 0 2 . 0 0 3 ;   J o b e   K ,   2 0 1 1 ,   T R A V E L   M E D   I N F E C T   D I ,   V 9 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / j . t m a i d . 2 0 1 0 . 1 0 . 0 0 6 ;   K e r l e   N . ,   2 0 0 8 ,   G E O S P A T I A L   I N F O R M   T E ,   P 4 3 ;   K e r l e   N ,   2 0 1 0 ,   I N T   J   A P P L   E A R T H   O B S ,   V 1 2 ,   P 4 6 6 ,   D O I   1 0 . 1 0 1 6 / j . j a g . 2 0 1 0 . 0 7 . 0 0 4 ;   K e r l e   N . ,   2 0 1 3 ,   L E C T   N O T E S   G E O I N F O R M ;   K l e i n   G A ,   1 9 9 3 ,   C O G N I T I V E   S C I   F D N   I N ,   P 2 0 3 ;   K o o p m a n   P ,   2 0 0 3 ,   I E E E   I N T E L L   S Y S T ,   V 1 8 ,   P 7 0 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 0 3 . 1 2 4 9 1 7 2 ;   L e m o i n e   G . ,   2 0 1 0 ,   P   2   I N T   W O R K S H   V A L   G ,   P 3 3 ;   M a c E a c h r e n   A M ,   2 0 0 6 ,   E N V I R O N   P L A N N   B ,   V 3 3 ,   P 4 3 5 ,   D O I   1 0 . 1 0 6 8 / b 3 1 8 8 ;   M o o n   B . M . ,   2 0 1 1 ,   A P P L   C O N C E P T   M A P P I N G ;   M o r s s   R E ,   2 0 0 5 ,   B   A M   M E T E O R O L   S O C ,   V 8 6 ,   P 1 5 9 3 ,   D O I   1 0 . 1 1 7 5 / B A M S - 8 6 - 1 1 - 1 5 9 3 ;   N e v i l l e   K ,   2 0 0 8 ,   I E E E   I N T E L L   S Y S T ,   V 2 3 ,   P 7 2 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 0 8 . 1 5 ;   N o r m a n   D .   A . ,   1 9 9 8 ,   I N V I S I B L E   C O M P U T E R ;   P e s a r e s i   M ,   2 0 0 1 ,   I E E E   T   G E O S C I   R E M O T E ,   V 3 9 ,   P 3 0 9 ,   D O I   1 0 . 1 1 0 9 / 3 6 . 9 0 5 2 3 9 ;   P O L S O N   P G ,   1 9 9 2 ,   I N T   J   M A N   M A C H   S T U D ,   V 3 6 ,   P 7 4 1 ,   D O I   1 0 . 1 0 1 6 / 0 0 2 0 - 7 3 7 3 ( 9 2 ) 9 0 0 3 9 - N ;   R o c h e   S .   E . ,   2 0 1 1 ,   G E O J O U R N A L ,   P 1 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 1 1 - 9 4 2 3 - 9 ;   S h i m o n i   M ,   2 0 1 1 ,   I N T   J   D I G I T   E A R T H ,   V 4 ,   P 5 8 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 7 . 2 0 1 0 . 5 1 0 2 9 8 ;   S m y t h   P . ,   1 9 9 4 ,   K D D   W O R K S H   S E A T T L   W A ;   S t r y k e r   T ,   2 0 0 9 ,   P H O T O G R A M M   E N G   R E M   S ,   V 7 5 ,   P 1 3 4 2 ;   T o m a s z e w s k i   B ,   2 0 1 1 ,   C O M P U T   G E O S C I - U K ,   V 3 7 ,   P 8 6 ,   D O I   1 0 . 1 0 1 6 / j . c a g e o . 2 0 1 0 . 0 3 . 0 0 9 ;   T u r n e r   A . ,   2 0 0 6 ,   I N T R O   N E O G E O G R A P H Y ;   v a n   A a r d t   J A N ,   2 0 1 1 ,   P H O T O G R A M M   E N G   R E M   S ,   V 7 7 ,   P 9 4 3 ;   V o i g t   S ,   2 0 1 1 ,   P H O T O G R A M M   E N G   R E M   S ,   V 7 7 ,   P 9 2 3 ;   W e l i n d e r   P . ,   2 0 1 0 ,   A D V   N E U R A L   I N F O R M   P R ,   V 2 3 ,   P 2 4 2 4 ;   Z h a n g   Y . ,   2 0 0 8 ,   G E O S P A T I A L   I N F O R M   T E ,   P 7 5 	 5 6 	 1 	 1 	 C O P E R N I C U S   G E S E L L S C H A F T   M B H 	 G O T T I N G E N 	 B A H N H O F S A L L E E   1 E ,   G O T T I N G E N ,   3 7 0 8 1 ,   G E R M A N Y 	 1 5 6 1 - 8 6 3 3 	 	 	 N A T   H A Z A R D   E A R T H   S Y S 	 N a t .   H a z a r d s   E a r t h   S y s t .   S c i . 	 	 2 0 1 3 	 1 3 	 1 	 	 	 	 	 9 7 	 1 1 3 	 	 1 0 . 5 1 9 4 / n h e s s - 1 3 - 9 7 - 2 0 1 3 	 	 1 7 	 G e o s c i e n c e s ,   M u l t i d i s c i p l i n a r y ;   M e t e o r o l o g y   &   A t m o s p h e r i c   S c i e n c e s ;   W a t e r   R e s o u r c e s 	 G e o l o g y ;   M e t e o r o l o g y   &   A t m o s p h e r i c   S c i e n c e s ;   W a t e r   R e s o u r c e s 	 0 8 2 T A 	 W O S : 0 0 0 3 1 4 4 1 4 0 0 0 0 1 1 	 	 
 J 	 H e r r i c k ,   J E ;   U r a m a ,   K C ;   K a r l ,   J W ;   B o o s ,   J ;   J o h n s o n ,   M V V ;   S h e p h e r d ,   K D ;   H e m p e l ,   J ;   B e s t e l m e y e r ,   B T ;   D a v i e s ,   J ;   G u e r r a ,   J L ;   K o s n i k ,   C ;   K i m i t i ,   D W ;   E k a i ,   A L ;   M u l l e r ,   K ;   N o r f l e e t ,   L ;   O z o r ,   N ;   R e i n s c h ,   T ;   S a r u k h a n ,   J ;   W e s t ,   L T 	 	 	 	 H e r r i c k ,   J e f f r e y   E . ;   U r a m a ,   K e v i n   C . ;   K a r l ,   J a s o n   W . ;   B o o s ,   J o h n ;   J o h n s o n ,   M a r i - V a u g h n   V . ;   S h e p h e r d ,   K e i t h   D . ;   H e m p e l ,   J o n ;   B e s t e l m e y e r ,   B r a n d o n   T . ;   D a v i e s ,   J o n a t h a n ;   L a r s o n   G u e r r a ,   J o r g e ;   K o s n i k ,   C h r i s ;   K i m i t i ,   D a v i d   W . ;   E k a i ,   A b r a h a m   L o s i n y e n ;   M u l l e r ,   K i t ;   N o r f l e e t ,   L e e ;   O z o r ,   N i c h o l a s ;   R e i n s c h ,   T h o m a s ;   S a r u k h a n ,   J o s e ;   W e s t ,   L a r r y   T . 	 	 	 T h e   g l o b a l   L a n d - P o t e n t i a l   K n o w l e d g e   S y s t e m   ( L a n d P K S ) :   S u p p o r t i n g   e v i d e n c e - b a s e d ,   s i t e - s p e c i f i c   l a n d   u s e   a n d   m a n a g e m e n t   t h r o u g h   c l o u d   c o m p u t i n g ,   m o b i l e   a p p l i c a t i o n s ,   a n d   c r o w d s o u r c i n g 	 J O U R N A L   O F   S O I L   A N D   W A T E R   C O N S E R V A T I O N 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 	 S O I L   Q U A L I T Y 	 	 [ H e r r i c k ,   J e f f r e y   E . ;   K a r l ,   J a s o n   W . ;   B e s t e l m e y e r ,   B r a n d o n   T . ]   A R S ,   U S D A ,   L a s   C r u c e s ,   N M   U S A ;   [ U r a m a ,   K e v i n   C . ;   O z o r ,   N i c h o l a s ]   A f r i c a n   T e c h n o l   S t u d i e s   N e t w o r k ,   N a i r o b i ,   K e n y a ;   [ B o o s ,   J o h n ;   K o s n i k ,   C h r i s ]   U S   A g c y   I n t   D e v ,   W a s h i n g t o n ,   D C   2 0 5 2 3   U S A ;   [ J o h n s o n ,   M a r i - V a u g h n   V . ;   N o r f l e e t ,   L e e ]   N a t   R e s o u r c e   C o n s e r v a t   S e r v ,   U S D A ,   T e m p l e ,   T X   U S A ;   [ S h e p h e r d ,   K e i t h   D . ]   W o r l d   A g r o f o r e s t r y   C t r   I C R A F ,   N a i r o b i ,   K e n y a ;   [ H e m p e l ,   J o n ;   W e s t ,   L a r r y   T . ]   N a t l   S o i l   S u r v e y   C t r ,   L i n c o l n ,   N E   U S A ;   [ D a v i e s ,   J o n a t h a n ]   I U C N   G l o b a l   D r y l a n d s   I n i t i a t ,   N a i r o b i ,   K e n y a ;   [ L a r s o n   G u e r r a ,   J o r g e ;   S a r u k h a n ,   J o s e ]   N a t l   C o m m i s s   K n o w l e d g e   &   U s e   B i o d i v e r s   C O N A B I O ,   M e x i c o   C i t y ,   D F ,   M e x i c o ;   [ K i m i t i ,   D a v i d   W . ]   N e w   M e x i c o   S t a t e   U n i v ,   L a s   C r u c e s ,   N M   8 8 0 0 3   U S A ;   [ E k a i ,   A b r a h a m   L o s i n y e n ]   D u k e   U n i v ,   D u r h a m ,   N C   U S A ;   [ M u l l e r ,   K i t ]   B u r   L a n d   M a n a g e m e n t ,   U S   D e p t   I n t e r i o r ,   W a s h i n g t o n ,   D C   U S A ;   [ R e i n s c h ,   T h o m a s ]   N a t   R e s o u r c e   C o n s e r v a t   S e r v ,   U S D A ,   B e l t s v i l l e ,   M D   U S A 	 H e r r i c k ,   J E   ( r e p r i n t   a u t h o r ) ,   A R S ,   U S D A ,   L a s   C r u c e s ,   N M   U S A . 	 	 	 	 	 	 B a r r i o s   E ,   2 0 0 6 ,   G E O D E R M A ,   V 1 3 5 ,   P 2 4 8 ,   D O I   1 0 . 1 0 1 6 / j . g e o d e r m a . 2 0 0 5 . 1 2 . 0 0 7 ;   B e s t e l m e y e r   B . T . ,   2 0 1 1 ,   1 2   I N T   R A N G   C   R O S   A R ;   B l i s s   N . B . ,   2 0 0 9 ,   A M   G E O P H   U N   M   F A L L   2 ;   B r u n d t l a n d   C o m m i s s i o n ,   1 9 8 7 ,   O U R   C O M M O N   F U T U R E ;   F A O ,   2 0 0 7 ,   6   F A O ;   F A O   ( F o o d   a n d   A g r i c u l t u r e   O r g a n i z a t i o n ) ,   1 9 7 6 ,   F A O   S O I L S   B ,   V 5 2 ;   H e r r i c k   J E ,   2 0 0 7 ,   F R O N T   E C O L   E N V I R O N ,   V 5 ,   P 1 7 2 ,   D O I   1 0 . 1 8 9 0 / 1 5 4 0 - 9 2 9 5 ( 2 0 0 7 ) 5 [ 1 7 2 : A S F E I A ] 2 . 0 . C O ; 2 ;   H e r r i c k   J E ,   2 0 1 0 ,   F R O N T   E C O L   E N V I R O N ,   V 8 ,   P 4 0 3 ,   D O I   1 0 . 1 8 9 0 / 1 0 0 0 1 7 ;   H u b b a r d   D .   W . ,   2 0 1 0 ,   M E A S U R E   A N Y T H I N G ;   I m h o f f   M L ,   2 0 0 4 ,   N A T U R E ,   V 4 2 9 ,   P 8 7 0 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 2 6 1 9 ;   K a r l   J . ,   R A N G E L A N D   W   I N   P R E S S ;   K l i n g e b i e l   A . A . ,   1 9 6 1 ,   A G R   H D B ,   V 2 1 0 ;   L o s i n y e n   A . ,   2 0 1 2 ,   L A N D   P O T E N T I A L   U N P U B ;   P e t e r s   D P C ,   2 0 0 4 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 1 ,   P 1 5 1 3 0 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 4 0 3 8 2 2 1 0 1 ;   S a n c h e z   P A ,   2 0 0 9 ,   S C I E N C E ,   V 3 2 5 ,   P 6 8 0 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 7 5 0 8 4 ;   S e y b o l d   C A ,   1 9 9 9 ,   S O I L   S C I ,   V 1 6 4 ,   P 2 2 4 ,   D O I   1 0 . 1 0 9 7 / 0 0 0 1 0 6 9 4 - 1 9 9 9 0 4 0 0 0 - 0 0 0 0 2 ;   S h e p h e r d   K . D . ,   2 0 1 2 ,   N E E D   I N T E R V E N T I O N   D E ;   S h e p h e r d   K D ,   2 0 0 7 ,   J   N E A R   I N F R A R E D   S P E C ,   V 1 5 ,   P 1 ,   D O I   1 0 . 1 2 5 5 / j n i r s . 7 1 6 ;   T e j e d o   P ,   2 0 0 9 ,   A N T A R C T   S C I ,   V 2 1 ,   P 2 2 9 ,   D O I   1 0 . 1 0 1 7 / S 0 9 5 4 1 0 2 0 0 9 0 0 1 7 9 5 ;   V i l l a   E ,   2 0 0 7 ,   J   I N T E L L   I N F   S Y S T ,   V 2 9 ,   P 7 9 	 2 0 	 1 	 1 	 S O I L   W A T E R   C O N S E R V A T I O N   S O C 	 A N K E N Y 	 9 4 5   S W   A N K E N Y   R D ,   A N K E N Y ,   I A   5 0 0 2 3 - 9 7 2 3   U S A 	 0 0 2 2 - 4 5 6 1 	 	 	 J   S O I L   W A T E R   C O N S E R V 	 J .   S o i l   W a t e r   C o n s e r v . 	 J A N - F E B 	 2 0 1 3 	 6 8 	 1 	 	 	 	 	 5 A 	 1 2 A 	 	 1 0 . 2 4 8 9 / j s w c . 6 8 . 1 . 5 A 	 	 8 	 E c o l o g y ;   S o i l   S c i e n c e ;   W a t e r   R e s o u r c e s 	 E n v i r o n m e n t a l   S c i e n c e s   &   E c o l o g y ;   A g r i c u l t u r e ;   W a t e r   R e s o u r c e s 	 0 7 3 W J 	 W O S : 0 0 0 3 1 3 7 7 3 5 0 0 0 0 1 	 	 
 J 	 B a y u s ,   B L 	 	 	 	 B a y u s ,   B a r r y   L . 	 	 	 C r o w d s o u r c i n g   N e w   P r o d u c t   I d e a s   o v e r   T i m e :   A n   A n a l y s i s   o f   t h e   D e l l   I d e a S t o r m   C o m m u n i t y 	 M A N A G E M E N T   S C I E N C E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 i n n o v a t i o n ;   m a r k e t i n g ;   i d e a t i o n ;   c r e a t i v i t y ;   f i x a t i o n 	 I N N O V A T I O N   C O N T E S T S ;   C O G N I T I V E   S T I M U L A T I O N ;   G E N E R A T I O N   T A S K ;   C R E A T I V I T Y ;   E X A M P L E S ;   D E S I G N ;   O R G A N I Z A T I O N S ;   P E R S P E C T I V E ;   K N O W L E D G E ;   F I X A T I O N 	 S e v e r a l   o r g a n i z a t i o n s   h a v e   d e v e l o p e d   o n g o i n g   c r o w d s o u r c i n g   c o m m u n i t i e s   t h a t   r e p e a t e d l y   c o l l e c t   i d e a s   f o r   n e w   p r o d u c t s   a n d   s e r v i c e s   f r o m   a   l a r g e ,   d i s p e r s e d   " c r o w d "   o f   n o n e x p e r t s   ( c o n s u m e r s )   o v e r   t i m e .   D e s p i t e   i t s   p r o m i s e s ,   l i t t l e   i s   k n o w n   a b o u t   t h e   n a t u r e   o f   a n   i n d i v i d u a l ' s   i d e a t i o n   e f f o r t s   i n   s u c h   a n   o n l i n e   c o m m u n i t y .   S t u d y i n g   D e l l ' s   I d e a S t o r m   c o m m u n i t y ,   s e r i a l   i d e a t o r s   a r e   f o u n d   t o   b e   m o r e   l i k e l y   t h a n   c o n s u m e r s   w i t h   o n l y   o n e   i d e a   t o   g e n e r a t e   a n   i d e a   t h e   o r g a n i z a t i o n   f i n d s   v a l u a b l e   e n o u g h   t o   i m p l e m e n t ,   b u t   t h e y   a r e   u n l i k e l y   t o   r e p e a t   t h e i r   e a r l y   s u c c e s s   o n c e   t h e i r   i d e a s   a r e   i m p l e m e n t e d .   A s   i d e a t o r s   w i t h   p a s t   s u c c e s s   a t t e m p t   t o   a g a i n   c o m e   u p   w i t h   i d e a s   t h a t   w i l l   e x c i t e   t h e   o r g a n i z a t i o n ,   t h e y   i n s t e a d   e n d   u p   p r o p o s i n g   i d e a s   s i m i l a r   t o   t h e i r   i d e a s   t h a t   w e r e   a l r e a d y   i m p l e m e n t e d   ( i . e . ,   t h e y   g e n e r a t e   l e s s   d i v e r s e   i d e a s ) .   T h e   n e g a t i v e   e f f e c t s   o f   p a s t   s u c c e s s   a r e   s o m e w h a t   m i t i g a t e d   f o r   i d e a t o r s   w i t h   d i v e r s e   c o m m e n t i n g   a c t i v i t y   o n   o t h e r s '   i d e a s .   T h e s e   f i n d i n g s   h i g h l i g h t   s o m e   o f   t h e   c h a l l e n g e s   i n   m a i n t a i n i n g   a n   o n g o i n g   s u p p l y   o f   q u a l i t y   i d e a s   f r o m   t h e   c r o w d   o v e r   t i m e . 	 U n i v   N   C a r o l i n a ,   K e n a n   F l a g l e r   B u s i n e s s   S c h ,   C h a p e l   H i l l ,   N C   2 7 5 9 9   U S A 	 B a y u s ,   B L   ( r e p r i n t   a u t h o r ) ,   U n i v   N   C a r o l i n a ,   K e n a n   F l a g l e r   B u s i n e s s   S c h ,   C h a p e l   H i l l ,   N C   2 7 5 9 9   U S A . 	 b a r r y _ b a y u s @ u n c . e d u 	 	 	 M a r k e t i n g   S c i e n c e   I n s t i t u t e ;   W h a r t o n   I n t e r a c t i v e   M e d i a   I n i t i a t i v e ;   R i c h a r d   H .   J e n r e t t e   B u s i n e s s   E d u c a t i o n   F u n d 	 C o m m e n t s   f r o m   p a r t i c i p a n t s   i n   r e s e a r c h   w o r k s h o p s   a t   t h e   U n i v e r s i t y   o f   N o r t h   C a r o l i n a   a t   C h a p e l   H i l l ,   t h e   W h a r t o n   S c h o o l   a t   t h e   U n i v e r s i t y   o f   P e n n s y l v a n i a ,   N o r t h   C a r o l i n a   S t a t e   U n i v e r s i t y ,   U n i v e r s i t y   o f   S o u t h   C a r o l i n a ,   Y a l e   U n i v e r s i t y ,   S a n t a   C l a r a   U n i v e r s i t y ,   T e m p l e   U n i v e r s i t y ,   H a r v a r d   U n i v e r s i t y ,   a n d   t h e   U n i v e r s i t y   o f   S o u t h e r n   C a l i f o r n i a   h e l p e d   t o   i m p r o v e   t h i s   r e s e a r c h   d u r i n g   i t s   e v o l u t i o n .   T h e   a u t h o r   t h a n k s   T e r e s a   A m a b i l e ,   F e d e r i c o   R o s s i ,   R a f f a e l e   C o n t i ,   T a r u n   K u s h w a h a ,   S u s a n   C o h e n ,   K a t h e r i n e   B a r r i n g e r ,   a n d   t h e   j o u r n a l   r e v i e w   t e a m   f o r   t h e i r   v e r y   h e l p f u l   c o m m e n t s   o n   e a r l i e r   d r a f t s .   T h e   a u t h o r   a l s o   t h a n k s   J u n h e e   K i m   f o r   h i s   r e s e a r c h   a s s i s t a n c e .   T h e   f i n a n c i a l   s u p p o r t   o f   t h e   M a r k e t i n g   S c i e n c e   I n s t i t u t e   a n d   W h a r t o n   I n t e r a c t i v e   M e d i a   I n i t i a t i v e   i s   g r e a t l y   a p p r e c i a t e d ,   a s   w e l l   a s   t h e   R i c h a r d   H .   J e n r e t t e   B u s i n e s s   E d u c a t i o n   F u n d . 	 A l l i s o n   P . D . ,   2 0 0 5 ,   F I X E D   E F F E C T S   R E G R E S ;   A m a b i l e   T .   M ,   1 9 9 6 ,   C R E A T I V I T Y   C O N T E X T ;   A M A B I L E   T M ,   1 9 8 8 ,   R E S   O R G A N   B E H A V ,   V 1 0 ,   P 1 2 3 ;   A n d r e w   J .   P . ,   2 0 1 0 ,   I N N O V A T I O N   2 0 1 0   R E T U ;   [ A n o n y m o u s ] ,   2 0 0 7 ,   W H O   M A K   D E C   I D   I D   D O ;   A u d i a   P G ,   2 0 0 7 ,   M A N A G E   S C I ,   V 5 3 ,   P 1 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 9 3 ;   B a c k s t r o m   L . ,   2 0 0 8 ,   P   I N T   C   W E B   S E A R C H   W ,   P 1 1 7 ,   D O I   1 0 . 1 1 4 5 / 1 3 4 1 5 3 1 . 1 3 4 1 5 4 9 ;   B I R C H   H G ,   1 9 5 1 ,   J   E X P   P S Y C H O L ,   V 4 1 ,   P 1 2 1 ,   D O I   1 0 . 1 0 3 7 / h 0 0 6 2 6 3 5 ;   B j e l l a n d   O M ,   2 0 0 8 ,   M I T   S L O A N   M A N A G E   R E V ,   V 5 0 ,   P 3 2 ;   B o s t w i c k   W ,   2 0 1 0 ,   N Y   T I M E S ;   B o u d r e a u   K J ,   2 0 1 1 ,   M A N A G E   S C I ,   V 5 7 ,   P 8 4 3 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 1 0 . 1 3 2 2 ;   B o u t i n   P ,   2 0 0 6 ,   B U S I N E S S   W E E K ;   B u l l i n g e r   A C ,   2 0 1 0 ,   C R E A T   I N N O V   M A N A G ,   V 1 9 ,   P 2 9 0 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 6 9 1 . 2 0 1 0 . 0 0 5 6 5 . x ;   B u r r o u g h s   J .   E . ,   2 0 0 8 ,   H D B   C O N S U M E R   P S Y C H O L ,   P 1 0 1 1 ;   C a m e r o n   A .   C . ,   2 0 0 9 ,   M I C R O E C O N O M E T R I C S   M E ;   C a r d o s o   C ,   2 0 1 1 ,   J   C R E A T I V E   B E H A V ,   V 4 5 ,   P 7 7 ;   C h r y s i k o u   E G ,   2 0 0 5 ,   J   E X P   P S Y C H O L   L E A R N ,   V 3 1 ,   P 1 1 3 4 ,   D O I   1 0 . 1 0 3 7 / 0 2 7 8 - 7 3 9 3 . 3 1 . 5 . 1 1 3 4 ;   C o n t i   R ,   2 0 1 0 ,   D R U I D   S U M M   C   J U N   1 6 ;   C z a r n i t z k i   D ,   2 0 1 1 ,   E C O N   L E T T ,   V 1 1 3 ,   P 1 3 1 ,   D O I   1 0 . 1 0 1 6 / j . e c o n l e t . 2 0 1 1 . 0 6 . 0 1 1 ;   D a h l   A ,   2 0 1 1 ,   R E S   T E C H N O L   M A N A G E ,   V 5 4 ,   P 1 9 ,   D O I   1 0 . 5 4 3 7 / 0 8 9 5 6 3 0 8 X 5 4 0 5 0 0 6 ;   D a h l   D W ,   2 0 0 2 ,   J   M A R K E T I N G   R E S ,   V 3 9 ,   P 4 7 ,   D O I   1 0 . 1 5 0 9 / j m k r . 3 9 . 1 . 4 7 . 1 8 9 3 0 ;   D i   G a n g i   P M ,   2 0 0 9 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 8 ,   P 3 0 3 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 9 . 0 4 . 0 0 4 ;   D i   G a n g i   P M ,   2 0 1 0 ,   M I S   Q   E X E C ,   V 9 ,   P 2 1 3 ;   D u g o s h   K L ,   2 0 0 5 ,   J   E X P   S O C   P S Y C H O L ,   V 4 1 ,   P 3 1 3 ,   D O I   1 0 . 1 0 1 6 / j . j e s p . 2 0 0 4 . 0 5 . 0 0 9 ;   D u g o s h   K L ,   2 0 0 0 ,   J   P E R S   S O C   P S Y C H O L ,   V 7 9 ,   P 7 2 2 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 2 - 3 5 1 4 . 7 9 . 5 . 7 2 2 ;   D u n c k e r   K ,   1 9 4 5 ,   P S Y C H O L   M O N O G R ,   V 5 8 ,   P 1 ;   E l l i o t t   S . ,   2 0 1 0 ,   N Y   T I M E S ;   E r n s t   H ,   2 0 0 0 ,   I E E E   T   E N G   M A N A G E ,   V 4 7 ,   P 1 8 4 ,   D O I   1 0 . 1 1 0 9 / 1 7 . 8 4 6 7 8 6 ;   F l e m i n g   L ,   2 0 0 6 ,   A D V   S T R A T E G   M A N A G E ,   V 2 3 ,   P 3 3 5 ,   D O I   1 0 . 1 0 1 6 / S 0 7 4 2 - 3 3 2 2 ( 0 6 ) 2 3 0 1 1 - 0 ;   F r a n k e   N ,   2 0 0 6 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 3 ,   P 3 0 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 0 6 . 0 0 2 0 3 . x ;   F r i e d m a n   R S ,   2 0 0 3 ,   C R E A T I V I T Y   R E S   J ,   V 1 5 ,   P 2 7 7 ,   D O I   1 0 . 1 2 0 7 / S 1 5 3 2 6 9 3 4 C R J 1 5 2 & 3 _ 1 8 ;   F u l l e r   J ,   2 0 1 0 ,   C A L I F   M A N A G E   R E V ,   V 5 2 ,   P 9 8 ;   G a r r i s o n   D .   R . ,   2 0 0 1 ,   A M   J   D I S T A N C E   E D ,   V 1 5 ,   P 7 ,   D O I   D O I   1 0 . 1 0 8 0 / 0 8 9 2 3 6 4 0 1 0 9 5 2 7 0 7 1 ;   G e o r g e   J M ,   2 0 0 7 ,   A C A D   M A N A G   A N N ,   V 1 ,   P 4 3 9 ,   D O I   1 0 . 1 0 8 0 / 0 7 8 5 5 9 8 1 4 ;   G e r m a n   T P ,   2 0 0 5 ,   P S Y C H O L   S C I ,   V 1 6 ,   P 1 ,   D O I   1 0 . 1 1 1 1 / j . 0 9 5 6 - 7 9 7 6 . 2 0 0 5 . 0 0 7 7 1 . x ;   G i r o t r a   K ,   2 0 1 0 ,   M A N A G E   S C I ,   V 5 6 ,   P 5 9 1 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 9 0 . 1 1 4 4 ;   G o l d e n b e r g   J ,   2 0 0 1 ,   M A N A G E   S C I ,   V 4 7 ,   P 6 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 7 . 1 . 6 9 . 1 0 6 7 0 ;   G u i l f o r d   J . ,   1 9 6 7 ,   N A T U R E   H U M A N   I N T E L L I ;   H a r g a d o n   A ,   1 9 9 7 ,   A D M I N   S C I   Q U A R T ,   V 4 2 ,   P 7 1 6 ,   D O I   1 0 . 2 3 0 7 / 2 3 9 3 6 5 5 ;   H a r r i s o n   D A ,   2 0 0 7 ,   A C A D   M A N A G E   R E V ,   V 3 2 ,   P 1 1 9 9 ;   H a u s e r   J R ,   2 0 0 6 ,   M A R K E T   S C I ,   V 2 5 ,   P 6 8 7 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 0 5 0 . 0 1 4 4 ;   H i n s z   V B ,   1 9 9 7 ,   P S Y C H O L   B U L L ,   V 1 2 1 ,   P 4 3 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 0 9 . 1 2 1 . 1 . 4 3 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   J a n s s o n   D G ,   1 9 9 1 ,   D E S I G N   S T U D I E S ,   V 1 2 ,   P 3 ,   D O I   1 0 . 1 0 1 6 / 0 1 4 2 - 6 9 4 X ( 9 1 ) 9 0 0 0 3 - F ;   J a r u z e l s k i   B . ,   2 0 1 0 ,   S T R A T E G Y   B U S I N E S S ,   V 6 1 ,   P 1 ;   J e p p e s e n   L B ,   2 0 1 0 ,   O R G A N   S C I ,   V 2 1 ,   P 1 0 1 6 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 9 0 . 0 4 9 1 ;   J e r v i s   C ,   2 0 1 0 ,   C O M M U N I C A T I O N ;   J o u r e t   G ,   2 0 0 9 ,   H A R V A R D   B U S   R E V ,   V 8 7 ,   P 4 3 ;   K a v a d i a s   S ,   2 0 0 9 ,   M A N A G E   S C I ,   V 5 5 ,   P 1 8 9 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 9 0 . 1 0 7 9 ;   K i l l i a n   V ,   2 0 0 9 ,   I D E A S T R O M   P R E S E N T A T I ;   K o h n   N W ,   2 0 1 1 ,   A P P L   C O G N I T I V E   P S Y C H ,   V 2 5 ,   P 3 5 9 ,   D O I   1 0 . 1 0 0 2 / a c p . 1 6 9 9 ;   K o h n   N W ,   2 0 1 1 ,   J   E X P   S O C   P S Y C H O L ,   V 4 7 ,   P 5 5 4 ,   D O I   1 0 . 1 0 1 6 / j . j e s p . 2 0 1 1 . 0 1 . 0 0 4 ;   K o r n i s h   L J ,   2 0 1 1 ,   M A N A G E   S C I ,   V 5 7 ,   P 1 0 7 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 0 0 . 1 2 4 7 ;   K r i s h n a n   V ,   2 0 0 1 ,   M A N A G E   S C I ,   V 4 7 ,   P 1 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 7 . 1 . 1 . 1 0 6 6 8 ;   L E V I T T   T ,   1 9 6 3 ,   H A R V A R D   B U S   R E V ,   V 4 1 ,   P 7 2 ;   L I N D S L E Y   D H ,   1 9 9 5 ,   A C A D   M A N A G E   R E V ,   V 2 0 ,   P 6 4 5 ,   D O I   1 0 . 2 3 0 7 / 2 5 8 7 9 0 ;   L i n s e y   J S ,   2 0 1 0 ,   J   M E C H   D E S I G N ,   V 1 3 2 ,   P 1 ;   L o t k a   A J ,   1 9 2 6 ,   J   W A S H I N G T O N   A C A D   S C ,   P 3 1 7 ;   M a g n u s s o n   P R ,   2 0 0 9 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 6 ,   P 5 7 8 ;   M a i e r   N .   R .   F . ,   1 9 3 1 ,   J   C O M P   P S Y C H O L ,   V 1 2 ,   P 1 8 1 ,   D O I   1 0 . 1 0 3 7 / h 0 0 7 1 3 6 1 ;   M a r c h   J G ,   1 9 9 1 ,   O R G A N   S C I ,   V 2 ,   P 7 1 ,   D O I   1 0 . 1 2 8 7 / o r s c . 2 . 1 . 7 1 ;   M a r s h   R L ,   1 9 9 9 ,   M E M   C O G N I T I O N ,   V 2 7 ,   P 9 4 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 2 0 1 2 1 6 ;   M A R S H   R L ,   1 9 9 5 ,   J   E X P   P S Y C H O L   L E A R N ,   V 2 1 ,   P 1 5 6 8 ,   D O I   1 0 . 1 0 3 7 / / 0 2 7 8 - 7 3 9 3 . 2 1 . 6 . 1 5 6 8 ;   M a r s h   R L ,   1 9 9 6 ,   M E M   C O G N I T I O N ,   V 2 4 ,   P 6 6 9 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 2 0 1 0 9 1 ;   M e n c h a c a   L ,   2 0 0 7 ,   D I R E C T 2 D E L L           0 5 2 4 ;   M U M F O R D   M D ,   1 9 8 8 ,   P S Y C H O L   B U L L ,   V 1 0 3 ,   P 2 7 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 0 9 . 1 0 3 . 1 . 2 7 ;   N i j s t a d   B A ,   2 0 0 2 ,   J   E X P   S O C   P S Y C H O L ,   V 3 8 ,   P 5 3 5 ,   D O I   1 0 . 1 0 1 6 / S 0 0 2 2 - 1 0 3 1 ( 0 2 ) 0 0 5 0 0 - 0 ;   N i j s t a d   B A ,   2 0 0 6 ,   P E R S   S O C   P S Y C H O L   R E V ,   V 1 0 ,   P 1 8 6 ,   D O I   1 0 . 1 2 0 7 / s 1 5 3 2 7 9 5 7 p s p r 1 0 0 3 _ 1 ;   O s b o r n   A . F . ,   1 9 5 3 ,   A P P L   I M A G I N A T I O N   P R I ;   P a r k   Y H ,   2 0 0 4 ,   M A R K E T   S C I ,   V 2 3 ,   P 2 8 0 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 0 4 0 . 0 0 5 0 ;   P a u l u s   P B ,   2 0 0 3 ,   G R O U P   C R E A T I V I T Y   I N N ,   P 1 5 ;   P e r r y - S m i t h   J E ,   2 0 0 3 ,   A C A D   M A N A G E   R E V ,   V 2 8 ,   P 8 9 ;   P e r r y - S m i t h   J E ,   2 0 0 6 ,   A C A D   M A N A G E   J ,   V 4 9 ,   P 8 5 ;   P e r t t u l a   M ,   2 0 0 6 ,   N O R D D E S I G N             0 8 1 6 ;   P e r t t u l a   M ,   2 0 0 7 ,   J   E N G   D E S I G N ,   V 1 8 ,   P 9 3 ,   D O I   1 0 . 1 0 8 0 / 0 9 5 4 4 8 2 0 6 0 0 6 7 9 6 7 9 ;   P o e t z   M K ,   2 0 1 2 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 9 ,   P 2 4 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 1 1 . 0 0 8 9 3 . x ;   P r e e c e   J ,   2 0 0 4 ,   C O M P U T   H U M   B E H A V ,   V 2 0 ,   P 2 0 1 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 0 3 . 1 0 . 0 1 5 ;   P u r c e l l   A .   T . ,   1 9 9 6 ,   D E S I G N   S T U D I E S ,   V 1 7 ,   P 3 6 3 ,   D O I   D O I   1 0 . 1 0 1 6 / S 0 1 4 2 - 6 9 4 X ( 9 6 ) 0 0 0 2 3 - 3 ;   P U R C E L L   A T ,   1 9 9 2 ,   K N O W L - B A S E D   S Y S T ,   V 5 ,   P 8 2 ,   D O I   1 0 . 1 0 1 6 / 0 9 5 0 - 7 0 5 1 ( 9 2 ) 9 0 0 2 6 - C ;   R i e t z s c h e l   E F ,   2 0 1 0 ,   B R I T   J   P S Y C H O L ,   V 1 0 1 ,   P 4 7 ,   D O I   1 0 . 1 3 4 8 / 0 0 0 7 1 2 6 0 9 X 4 1 4 2 0 4 ;   R i e t z s c h e l   E F ,   2 0 0 7 ,   J   E X P   S O C   P S Y C H O L ,   V 4 3 ,   P 9 3 3 ,   D O I   1 0 . 1 0 1 6 / j . j e s p . 2 0 0 6 . 1 0 . 0 1 4 ;   R o b i n s o n   A ,   2 0 0 5 ,   I N D   M A N A G E M E N T ,   V 4 7 ;   S c h e l l e n s   T ,   2 0 0 5 ,   C O M P U T   H U M   B E H A V ,   V 2 1 ,   P 9 5 7 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 0 4 . 0 2 . 0 2 5 ;   S c h u l z e   A ,   2 0 0 8 ,   R E S   P O L I C Y ,   V 3 7 ,   P 1 7 4 2 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 8 . 0 7 . 0 0 2 ;   S h a h   S K ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 1 0 0 0 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 5 3 ;   S h a l l e y   C E ,   2 0 0 4 ,   J   M A N A G E ,   V 3 0 ,   P 9 3 3 ,   D O I   1 0 . 1 0 1 6 / j . j m . 2 0 0 4 . 0 6 . 0 0 7 ;   S i l v e r b e r g   G ,   2 0 0 7 ,   J   E C O N O M E T R I C S ,   V 1 3 9 ,   P 3 1 8 ,   D O I   1 0 . 1 0 1 6 / j . j e c o n o m . 2 0 0 6 . 1 0 . 0 1 7 ;   S i l v e r m a n   R . G . ,   2 0 1 1 ,   W A L L   S T R E E T   J ;   S i m o n t o n   D .   K . ,   2 0 0 4 ,   C R E A T I V I T Y   S C I   C H A N C ;   S i m o n t o n   D K ,   2 0 0 3 ,   P S Y C H O L   B U L L ,   V 1 2 9 ,   P 4 7 5 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 0 9 . 1 2 9 . 4 . 4 7 5 ;   S l a g t e r   E . ,   1 9 9 9 ,   9 9 3 9 A   E C   I ;   S M I T H   S M ,   1 9 9 3 ,   M E M   C O G N I T I O N ,   V 2 1 ,   P 8 3 7 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 2 0 2 7 5 1 ;   S t r o e b e   W ,   2 0 1 0 ,   A D V   E X P   S O C   P S Y C H O L ,   V 4 3 ,   P 1 5 7 ,   D O I   1 0 . 1 0 1 6 / S 0 0 6 5 - 2 6 0 1 ( 1 0 ) 4 3 0 0 4 - X ;   S u l l i v a n   E . ,   2 0 1 0 ,   M A R K E T I N G   N E W S     0 3 1 5 ,   P 2 2 ;   T e d j a m u l i a   S .   J .   J . ,   2 0 0 5 ,   P   3 8   A N N   H A W   I N T   C   S ;   T e r w i e s c h   C ,   2 0 0 8 ,   M A N A G E   S C I ,   V 5 4 ,   P 1 5 2 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 8 0 . 0 8 8 4 ;   T e r w i e s c h   C . ,   2 0 0 9 ,   I N N O V A T I O N   T O U R N A M E N ;   T o r r a n c e   E .   P . ,   1 9 6 6 ,   T O R R A N C E   T E S T S   C R E A T ;   T o u b i a   O ,   2 0 0 6 ,   M A R K E T   S C I ,   V 2 5 ,   P 4 1 1 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 0 5 0 . 0 1 6 6 ;   V a n d e n b o s c h   B ,   2 0 0 6 ,   J   M A N A G E   S T U D ,   V 4 3 ,   P 2 5 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 6 4 8 6 . 2 0 0 6 . 0 0 5 9 0 . x ;   v o n   H i p p e l   E r i c ,   2 0 0 5 ,   D E M O C R A T I Z I N G   I N N O V A ;   W A R D   T B ,   1 9 9 4 ,   C O G N I T I V E   P S Y C H O L ,   V 2 7 ,   P 1 ,   D O I   1 0 . 1 0 0 6 / c o g p . 1 9 9 4 . 1 0 1 0 ;   W E I N E R   B ,   1 9 8 5 ,   P S Y C H O L   R E V ,   V 9 2 ,   P 5 4 8 ,   D O I   1 0 . 1 0 3 7 / / 0 0 3 3 - 2 9 5 X . 9 2 . 4 . 5 4 8 ;   W e i s b e r g   R .   W . ,   1 9 9 9 ,   H D B   C R E A T I V I T Y ,   P 2 2 6 ;   W e i s s   T . ,   2 0 0 6 ,   F O R B E S ,   P 9 ;   W e s t   M A ,   2 0 0 2 ,   A P P L   P S Y C H O L - I N T   R E V ,   V 5 1 ,   P 4 1 1 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 4 - 0 5 9 7 . 0 1 0 0 6 ;   Y a n g   Y ,   2 0 0 9 ,   P   3 0   I N T   C   I N F   S Y S T 	 1 0 7 	 1 8 	 1 8 	 I N F O R M S 	 H A N O V E R 	 7 2 4 0   P A R K W A Y   D R ,   S T E   3 1 0 ,   H A N O V E R ,   M D   2 1 0 7 6 - 1 3 4 4   U S A 	 0 0 2 5 - 1 9 0 9 	 	 	 M A N A G E   S C I 	 M a n a g e .   S c i . 	 J A N 	 2 0 1 3 	 5 9 	 1 	 	 	 	 	 2 2 6 	 2 4 4 	 	 1 0 . 1 2 8 7 / m n s c . 1 1 2 0 . 1 5 9 9 	 	 1 9 	 M a n a g e m e n t ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 B u s i n e s s   &   E c o n o m i c s ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 0 7 5 M B 	 W O S : 0 0 0 3 1 3 8 8 9 5 0 0 0 1 4 	 	 
 J 	 R i e d l ,   J ;   R i e d l ,   E 	 	 	 	 R i e d l ,   J o h n ;   R i e d l ,   E r i c 	 	 	 C r o w d s o u r c i n g   M e d i c a l   R e s e a r c h 	 C O M P U T E R 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 	 [ R i e d l ,   J o h n ]   U n i v   M i n n e s o t a ,   D e p t   C o m p   S c i   &   E n g n ,   M i n n e a p o l i s ,   M N   5 5 4 5 5   U S A ;   [ R i e d l ,   E r i c ]   H a r v a r d   U n i v ,   D e p t   M a t h ,   C a m b r i d g e ,   M A   0 2 1 3 8   U S A 	 R i e d l ,   J   ( r e p r i n t   a u t h o r ) ,   U n i v   M i n n e s o t a ,   D e p t   C o m p   S c i   &   E n g n ,   M i n n e a p o l i s ,   M N   5 5 4 5 5   U S A . 	 r i e d l @ c s . u m n . e d u ;   e b r i e d l @ m a t h . h a r v a r d . e d u 	 	 	 	 	 	 0 	 1 	 1 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 3 1 4   U S A 	 0 0 1 8 - 9 1 6 2 	 	 	 C O M P U T E R 	 C o m p u t e r 	 J A N 	 2 0 1 3 	 4 6 	 1 	 	 	 	 	 8 9 	 9 2 	 	 	 	 4 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 0 7 4 M O 	 W O S : 0 0 0 3 1 3 8 1 6 8 0 0 0 2 1 	 	 
 J 	 C o l v i s ,   C M ;   D e v a n e y ,   S ;   B r a d y ,   L S ;   H u d s o n ,   K L 	 	 	 	 C o l v i s ,   C .   M . ;   D e v a n e y ,   S . ;   B r a d y ,   L .   S . ;   H u d s o n ,   K .   L . 	 	 	 P a r t n e r i n g   f o r   T h e r a p e u t i c s   D i s c o v e r y 	 C L I N I C A L   P H A R M A C O L O G Y   &   T H E R A P E U T I C S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 T h e   D i s c o v e r i n g   N e w   T h e r a p e u t i c   U s e s   f o r   E x i s t i n g   M o l e c u l e s   p i l o t   p r o g r a m ,   l e d   b y   t h e   N a t i o n a l   C e n t e r   f o r   A d v a n c i n g   T r a n s l a t i o n a l   S c i e n c e s   ( N C A T S ) ,   u s e s   i n n o v a t i v e   s t r a t e g i e s   s u c h   a s   c r o w d s o u r c i n g   a n d   t e m p l a t e   a g r e e m e n t s   t o   m a t c h   r e s e a r c h e r s   w i t h   a   s e l e c t i o n   o f   m o l e c u l a r   c o m p o u n d s   f r o m   i n d u s t r y   i n   o r d e r   t o   t e s t   i d e a s   f o r   n e w   t h e r a p e u t i c   u s e s .   A w a r d e e s   w i l l   h a v e   t h e   o p p o r t u n i t y   t o   v a l i d a t e   a n d   d e - r i s k   t h e   t a r g e t s   o f   a l r e a d y   w e l l - d e v e l o p e d   c o m p o u n d s   w i t h   t h e   u l t i m a t e   g o a l   o f   i d e n t i f y i n g   p r o m i s i n g   n e w   t r e a t m e n t s   f o r   p a t i e n t s . 	 [ C o l v i s ,   C .   M . ;   D e v a n e y ,   S . ;   B r a d y ,   L .   S . ;   H u d s o n ,   K .   L . ]   N I H ,   B e t h e s d a ,   M D   2 0 8 9 2   U S A 	 C o l v i s ,   C M   ( r e p r i n t   a u t h o r ) ,   N I H ,   B l d g   1 0 ,   B e t h e s d a ,   M D   2 0 8 9 2   U S A . 	 c c o l v i s @ m a i l . n i h . g o v 	 	 	 	 	 B r a u n   M M ,   2 0 1 0 ,   N A T   R E V   D R U G   D I S C O V ,   V 9 ,   P 5 1 9 ,   D O I   1 0 . 1 0 3 8 / n r d 3 1 6 0 ;   K a i t i n   K I ,   2 0 1 1 ,   C L I N   P H A R M A C O L   T H E R ,   V 8 9 ,   P 1 8 3 ,   D O I   1 0 . 1 0 3 8 / c l p t . 2 0 1 0 . 2 8 6 ;   P a u l   S M ,   2 0 1 0 ,   N A T   R E V   D R U G   D I S C O V ,   V 9 ,   P 2 0 3 ,   D O I   1 0 . 1 0 3 8 / n r d 3 0 7 8 ;   W H O ,   W H O   G L O B   B U R D   D I S 	 4 	 3 	 3 	 N A T U R E   P U B L I S H I N G   G R O U P 	 N E W   Y O R K 	 7 5   V A R I C K   S T ,   9 T H   F L R ,   N E W   Y O R K ,   N Y   1 0 0 1 3 - 1 9 1 7   U S A 	 0 0 0 9 - 9 2 3 6 	 	 	 C L I N   P H A R M A C O L   T H E R 	 C l i n .   P h a r m a c o l .   T h e r . 	 J A N 	 2 0 1 3 	 9 3 	 1 	 	 	 	 	 2 4 	 2 5 	 	 1 0 . 1 0 3 8 / c l p t . 2 0 1 2 . 1 8 8 	 	 2 	 P h a r m a c o l o g y   &   P h a r m a c y 	 P h a r m a c o l o g y   &   P h a r m a c y 	 0 5 8 E Z 	 W O S : 0 0 0 3 1 2 6 1 8 2 0 0 0 1 9 	 2 3 1 8 7 8 7 6 	 
 J 	 L o w r y ,   C S ;   F i e n e n ,   M N 	 	 	 	 L o w r y ,   C h r i s t o p h e r   S . ;   F i e n e n ,   M i c h a e l   N . 	 	 	 C r o w d H y d r o l o g y :   C r o w d s o u r c i n g   H y d r o l o g i c   D a t a   a n d   E n g a g i n g   C i t i z e n   S c i e n t i s t s 	 G R O U N D   W A T E R 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 S p a t i a l l y   a n d   t e m p o r a l l y   d i s t r i b u t e d   m e a s u r e m e n t s   o f   p r o c e s s e s ,   s u c h   a s   b a s e f l o w   a t   t h e   w a t e r s h e d   s c a l e ,   c o m e   a t   s u b s t a n t i a l   e q u i p m e n t   a n d   p e r s o n n e l   c o s t .   R e s e a r c h   p r e s e n t e d   h e r e   f o c u s e s   o n   b u i l d i n g   a   c r o w d s o u r c e d   d a t a b a s e   o f   i n e x p e n s i v e   d i s t r i b u t e d   s t r e a m   s t a g e   m e a s u r e m e n t s .   S i g n s   o n   s t a f f   g a u g e s   e n c o u r a g e   c i t i z e n   s c i e n t i s t s   t o   v o l u n t a r i l y   s e n d   h y d r o l o g i c   m e a s u r e m e n t s   ( e . g . ,   s t r e a m   s t a g e )   v i a   t e x t   m e s s a g e   t o   a   s e r v e r   t h a t   s t o r e s   a n d   d i s p l a y s   t h e   d a t a   o n   t h e   w e b .   B a s e d   o n   t h e   c r o w d s o u r c e d   s t r e a m   s t a g e ,   w e   e v a l u a t e   t h e   a c c u r a c y   o f   c i t i z e n   s c i e n t i s t   m e a s u r e m e n t s   a n d   m e a s u r e m e n t   a p p r o a c h .   T h e   r e s u l t s   s h o w   t h a t   c r o w d s o u r c e d   d a t a   c o l l e c t i o n   i s   a   s u p p l e m e n t a l   m e t h o d   f o r   c o l l e c t i n g   h y d r o l o g i c   d a t a   a n d   a   p r o m i s i n g   m e t h o d   o f   p u b l i c   e n g a g e m e n t . 	 [ L o w r y ,   C h r i s t o p h e r   S . ]   S U N Y   B u f f a l o ,   D e p t   G e o l ,   B u f f a l o ,   N Y   1 4 2 6 0   U S A ;   [ F i e n e n ,   M i c h a e l   N . ]   U S   G e o l   S u r v e y ,   W i s c o n s i n   W a t e r   S c i   C t r ,   M i d d l e t o n ,   W I   U S A 	 L o w r y ,   C S   ( r e p r i n t   a u t h o r ) ,   S U N Y   B u f f a l o ,   D e p t   G e o l ,   4 1 1   C o o k e   H a l l ,   B u f f a l o ,   N Y   1 4 2 6 0   U S A . 	 c s l o w r y @ b u f f a l o . e d u 	 F i e n e n ,   M i c h a e l / D - 2 4 7 9 - 2 0 0 9 	 F i e n e n ,   M i c h a e l / 0 0 0 0 - 0 0 0 2 - 7 7 5 6 - 4 6 5 1 	 U n i v e r s i t y   a t   B u f f a l o 	 F u n d i n g   f o r   t h i s   p r o j e c t   c a m e   f r o m   t h e   U n i v e r s i t y   a t   B u f f a l o .   A c c e s s   t o   t h e   f i e l d   s i t e s   w a s   p r o v i d e d   b y   t h e   B u f f a l o   A u d u b o n   S o c i e t y   a n d   t h e   N e w   Y o r k   S t a t e   D e p a r t m e n t   o f   E n v i r o n m e n t   a n d   C o n s e r v a t i o n .   W e   t h a n k   L o r e n   S m i t h   a n d   C h a r l o t t e   H s u   f o r   h e l p i n g   t o   p u b l i c i z e   t h e   p r o j e c t   a n d   D a v e   Y e a r k e   f o r   c o m p u t e r   s u p p o r t .   T h e   a u t h o r s   a l s o   t h a n k   P a u l   J u c k e m   ( U S G S )   a n d   t w o   a n o n y m o u s   r e v i e w e r s   f o r   h e l p f u l   c o m m e n t s   a n d   s u g g e s t i o n s   t h a t   g r e a t l y   i m p r o v e d   t h i s   p a p e r . 	 A u d u b o n   S o c i e t y ,   2 0 1 1 ,   C H R I S T M   B I R D   C O U N T ;   C i f e l l i   R ,   2 0 0 5 ,   B   A M   M E T E O R O L   S O C ,   V 8 6 ,   P 1 0 6 9 ,   D O I   1 0 . 1 1 7 5 / B A M S - 8 6 - 8 - 1 0 6 9 ;   C o h e n   A ,   2 0 1 1 ,   F U Z Z Y W U Z Z Y ;   E n g e l   S a r a h   R . ,   2 0 0 2 ,   A m e r i c a n   E n t o m o l o g i s t ,   V 4 8 ,   P 1 6 4 ;   G r a h a m   E .   A . ,   2 0 1 1 ,   E O S   T   A M   G E O P H Y S   U N ,   V 9 2 ,   P 3 1 3 ;   L a n d   K ,   2 0 0 8 ,   M O N   N O T   R   A S T R O N   S O C ,   V 3 8 8 ,   P 1 6 8 6 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 9 6 6 . 2 0 0 8 . 1 3 4 9 0 . x ;   R a d d i c k   M   J o r d a n ,   2 0 1 0 ,   A s t r o n o m y   E d u c a t i o n   R e v i e w ,   V 9 ,   D O I   1 0 . 3 8 4 7 / A E R 2 0 0 9 0 3 6 ;   W e r s m a   Y .   F ,   2 0 1 0 ,   A V I A N   C O N S E R V A T I O N   E ,   V 5 ,   P 1 3 ;   W o o d   C ,   2 0 1 1 ,   P L O S   B I O L ,   V 9 ,   P 1 	 9 	 0 	 0 	 W I L E Y - B L A C K W E L L 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 0 0 1 7 - 4 6 7 X 	 	 	 G R O U N D   W A T E R 	 G r o u n d   W a t e r 	 J A N - F E B 	 2 0 1 3 	 5 1 	 1 	 	 	 	 	 1 5 1 	 1 5 6 	 	 1 0 . 1 1 1 1 / j . 1 7 4 5 - 6 5 8 4 . 2 0 1 2 . 0 0 9 5 6 . x 	 	 6 	 G e o s c i e n c e s ,   M u l t i d i s c i p l i n a r y ;   W a t e r   R e s o u r c e s 	 G e o l o g y ;   W a t e r   R e s o u r c e s 	 0 6 3 I F 	 W O S : 0 0 0 3 1 2 9 8 9 0 0 0 0 2 1 	 2 2 7 1 6 0 7 5 	 
 J 	 H e a l y ,   P M ;   R a m a n n a ,   K 	 	 	 	 H e a l y ,   P a u l   M . ;   R a m a n n a ,   K a r t h i k 	 	 	 W h e n   t h e   C r o w d   F i g h t s   C o r r u p t i o n 	 H A R V A R D   B U S I N E S S   R E V I E W 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 C o r r u p t i o n   i s   t h e   g r e a t e s t   i m p e d i m e n t   t o   c o n d u c t i n g   b u s i n e s s   i n   R u s s i a ,   a c c o r d i n g   t o   l e a d e r s   r e c e n t l y   s u r v e y e d   b y   t h e   W o r l d   E c o n o m i c   F o r u m .   I n d e e d ,   i t ' s   a   p r o b l e m   i n   m a n y   e m e r g i n g   m a r k e t s ,   a n d   b u s i n e s s e s   h a v e   a   r o l e   t o   p l a y   i n   c o m b a t i n g   i t ,   a c c o r d i n g   t o   H e a l y   a n d   R a m a n n a .   T h e   a u t h o r s   f o c u s   o n   R o s P i l - a n   a n t i c o r r u p t i o n   e n t i t y   i n   R u s s i a   s e t   u p   b y   A l e x e y   N a v a l n y ,   a   c r u s a d e r   a g a i n s t   p u b l i c   a n d   p r i v a t e   m a l f e a s a n c e   i n   t h a t   c o u n t r y .   A s   o f   D e c e m b e r   2 0 1 1 ,   R o s P i l   c l a i m e d   t o   h a v e   p r e v e n t e d   t h e   g r a n t i n g   o f   d u b i o u s   c o n t r a c t s   w o r t h   U S $ 1 . 3   b i l l i o n .   T h e   o r g a n i z a t i o n   h o l d s   c o r r u p t   p o l i t i c i a n s '   a n d   b u r e a u c r a t s '   f e e t   t o   t h e   f i r e   l a r g e l y   t h r o u g h   i n t e r n e t - b a s e d   c r o w d s o u r c i n g ,   w h e r e b y   o f t e n - a n o n y m o u s   p e o p l e   i d e n t i f y   r e q u e s t s   f o r   g o v e r n m e n t - i s s u e d   t e n d e r s   t h a t   a r e   d e s i g n e d   t o   g e n e r a t e   k i c k b a c k s .   S h o u l d   e n t i t i e s   l i k e   R o s P i l   b e   s u p p o r t e d ,   a n d   s h o u l d   c o m p a n i e s   f a s h i o n   t h e i r   o w n   r e s p o n s e s   t o   c o r r u p t i o n ?   O n   t h e   o n e   h a n d ,   t h e r e   a r e   o b v i o u s   p u b l i c - r e l a t i o n s   a n d   p o l i t i c a l   r i s k s ;   o n   t h e   o t h e r   h a n d ,   c o r r u p t i o n   c a n   e r o d e   a   f i r m ' s   c o m p e t i t i v e n e s s ,   t h e   t r u s t   o f   c u s t o m e r s   a n d   e m p l o y e e s ,   a n d   e v e n   t h e   v e r y   l e g i t i m a c y   o f   c a p i t a l i s m .   T h e   a u t h o r s   a r g u e   t h a t   h e a d s   o f   m a n y   m u l t i n a t i o n a l   c o m p a n i e s   a r e   w e l l   p o s i t i o n e d   t o   c o m b a t   c o r r u p t i o n   i n   e m e r g i n g   m a r k e t s .   T h o s e   l e a d e r s   h a v e   t h e   p o w e r   t o   e n f o r c e   p o l i c i e s   i n   t h e i r   o r g a n i z a t i o n s   a n d   n e t w o r k s ,   a n d   t h e y   e n j o y   t h e   a b i l i t y   t o   o r g a n i z e   o t h e r s   i n   t h e   i n d u s t r y   a g a i n s t   t h i s   p e r n i c i o u s   t h r e a t . 	 [ H e a l y ,   P a u l   M . ;   R a m a n n a ,   K a r t h i k ]   H a r v a r d   U n i v ,   S c h   B u s i n e s s ,   C a m b r i d g e ,   M A   0 2 1 3 8   U S A 	 H e a l y ,   P M   ( r e p r i n t   a u t h o r ) ,   H a r v a r d   U n i v ,   S c h   B u s i n e s s ,   C a m b r i d g e ,   M A   0 2 1 3 8   U S A . 	 	 	 	 	 	 	 0 	 1 	 1 	 H A R V A R D   B U S I N E S S   S C H O O L   P U B L I S H I N G   C O R P O R A T I O N 	 W A T E R T O W N 	 3 0 0   N O R T H   B E A C O N   S T R E E T ,   W A T E R T O W N ,   M A   0 2 4 7 2   U S A 	 0 0 1 7 - 8 0 1 2 	 	 	 H A R V A R D   B U S   R E V 	 H a r v .   B u s .   R e v . 	 J A N - F E B 	 2 0 1 3 	 9 1 	 1 - 2 	 	 	 	 	 1 2 2 	 + 	 	 	 	 2 5 	 B u s i n e s s ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 0 6 5 G L 	 W O S : 0 0 0 3 1 3 1 3 6 5 0 0 0 4 5 	 	 
 J 	 B i e l ,   J I ;   G a t i c a - P e r e z ,   D 	 	 	 	 B i e l ,   J o a n - I s a a c ;   G a t i c a - P e r e z ,   D a n i e l 	 	 	 T h e   Y o u T u b e   L e n s :   C r o w d s o u r c e d   P e r s o n a l i t y   I m p r e s s i o n s   a n d   A u d i o v i s u a l   A n a l y s i s   o f   V l o g s 	 I E E E   T R A N S A C T I O N S   O N   M U L T I M E D I A 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   i n t e r p e r s o n a l   p e r c e p t i o n ;   m u l t i m o d a l   a n a l y s i s ;   n o n v e r b a l   b e h a v i o r ;   p e r s o n a l i t y ;   v i d e o   b l o g s ;   v l o g s ;   Y o u T u b e 	 Z E R O - A C Q U A I N T A N C E ;   C U E S ;   D O M I N A N C E ;   C O N S E N S U S 	 D e s p i t e   a n   i n c r e a s i n g   i n t e r e s t   i n   u n d e r s t a n d i n g   h u m a n   p e r c e p t i o n   i n   s o c i a l   m e d i a   t h r o u g h   t h e   a u t o m a t i c   a n a l y s i s   o f   u s e r s '   p e r s o n a l i t y ,   e x i s t i n g   a t t e m p t s   h a v e   e x p l o r e d   u s e r   p r o f i l e s   a n d   t e x t   b l o g   d a t a   o n l y .   W e   a p p r o a c h   t h e   s t u d y   o f   p e r s o n a l i t y   i m p r e s s i o n s   i n   s o c i a l   m e d i a   f r o m   t h e   n o v e l   p e r s p e c t i v e   o f   c r o w d s o u r c e d   i m p r e s s i o n s ,   s o c i a l   a t t e n t i o n ,   a n d   a u d i o v i s u a l   b e h a v i o r a l   a n a l y s i s   o n   s l i c e s   o f   c o n v e r s a t i o n a l   v l o g s   e x t r a c t e d   f r o m   Y o u T u b e .   C o n v e r s a t i o n a l   v l o g s   a r e   a   u n i q u e   c a s e   s t u d y   t o   u n d e r s t a n d   u s e r s   i n   s o c i a l   m e d i a ,   a s   v l o g g e r s   i m p l i c i t l y   o r   e x p l i c i t l y   s h a r e   i n f o r m a t i o n   a b o u t   t h e m s e l v e s   t h a t   w o r d s ,   e i t h e r   w r i t t e n   o r   s p o k e n   c a n n o t   c o n v e y .   I n   a d d i t i o n ,   r e s e a r c h   i n   v l o g s   m a y   b e c o m e   a   f e r t i l e   g r o u n d   f o r   t h e   s t u d y   o f   v i d e o   i n t e r a c t i o n s ,   a s   c o n v e r s a t i o n a l   v i d e o   e x p a n d s   t o   i n n o v a t i v e   a p p l i c a t i o n s .   I n   t h i s   w o r k ,   w e   f i r s t   i n v e s t i g a t e   t h e   f e a s i b i l i t y   o f   c r o w d s o u r c i n g   p e r s o n a l i t y   i m p r e s s i o n s   f r o m   v l o g g i n g   a s   a   w a y   t o   o b t a i n   j u d g e m e n t s   f r o m   a   v a r i a t e   a u d i e n c e   t h a t   c o n s u m e s   s o c i a l   m e d i a   v i d e o .   T h e n ,   w e   e x p l o r e   h o w   t h e s e   p e r s o n a l i t y   i m p r e s s i o n s   m e d i a t e   t h e   o n l i n e   v i d e o   w a t c h i n g   e x p e r i e n c e   a n d   r e l a t e   t o   m e a s u r e s   o f   a t t e n t i o n   i n   Y o u T u b e .   F i n a l l y ,   w e   i n v e s t i g a t e   o n   t h e   u s e   o f   a u t o m a t i c   n o n v e r b a l   c u e s   a s   a   s u i t a b l e   l e n s   t h r o u g h   w h i c h   i m p r e s s i o n s   a r e   m a d e ,   a n d   w e   a d d r e s s   t h e   t a s k   o f   a u t o m a t i c   p r e d i c t i o n   o f   v l o g g e r s '   p e r s o n a l i t y   i m p r e s s i o n s   u s i n g   n o n v e r b a l   c u e s   a n d   m a c h i n e   l e a r n i n g   t e c h n i q u e s .   O u r   s t u d y ,   c o n d u c t e d   o n   a   d a t a s e t   o f   4 4 2   Y o u T u b e   v l o g s   a n d   2 2 1 0   a n n o t a t i o n s   c o l l e c t e d   i n   A m a z o n ' s   M e c h a n i c a l   T u r k ,   p r o v i d e s   n e w   f i n d i n g s   r e g a r d i n g   t h e   s u i t a b i l i t y   o f   c o l l e c t i n g   p e r s o n a l i t y   i m p r e s s i o n s   f r o m   c r o w d s o u r c i n g ,   t h e   t y p e s   o f   p e r s o n a l i t y   i m p r e s s i o n s   t h a t   e m e r g e   t h r o u g h   v l o g g i n g ,   t h e i r   a s s o c i a t i o n   w i t h   s o c i a l   a t t e n t i o n ,   a n d   t h e   l e v e l   o f   u t i l i z a t i o n   o f   n o n v e r b a l   c u e s   i n   t h i s   p a r t i c u l a r   s e t t i n g .   I n   a d d i t i o n ,   i t   c o n s t i t u t e s   a   f i r s t   a t t e m p t   t o   a d d r e s s   t h e   t a s k   o f   a u t o m a t i c   v l o g g e r   p e r s o n a l i t y   i m p r e s s i o n   p r e d i c t i o n   u s i n g   n o n v e r b a l   c u e s ,   w i t h   p r o m i s i n g   r e s u l t s . 	 [ B i e l ,   J o a n - I s a a c ;   G a t i c a - P e r e z ,   D a n i e l ]   I d i a p   R e s   I n s t ,   M a r t i g n y ,   S w i t z e r l a n d ;   [ B i e l ,   J o a n - I s a a c ;   G a t i c a - P e r e z ,   D a n i e l ]   E c o l e   P o l y t e c h   F e d   L a u s a n n e ,   L a u s a n n e ,   S w i t z e r l a n d 	 B i e l ,   J I   ( r e p r i n t   a u t h o r ) ,   I d i a p   R e s   I n s t ,   M a r t i g n y ,   S w i t z e r l a n d . 	 j i b i e l @ i d i a p . c h ;   g a t i c a @ i d i a p . c h 	 	 	 S w i s s   N a t i o n a l   S c i e n c e   F o u n d a t i o n   ( S N S F )   t h r o u g h   t h e   S w i s s   N a t i o n a l   C e n t e r   o f   C o m p e t e n c e   i n   R e s e a r c h   ( N C C R )   o n   I n t e r a c t i v e   M u l t i m o d a l   I n f o r m a t i o n   M a n a g e m e n t   ( I M ) 2 	 T h i s   w o r k   w a s   s u p p o r t e d   b y   t h e   S w i s s   N a t i o n a l   S c i e n c e   F o u n d a t i o n   ( S N S F )   t h r o u g h   t h e   S w i s s   N a t i o n a l   C e n t e r   o f   C o m p e t e n c e   i n   R e s e a r c h   ( N C C R )   o n   I n t e r a c t i v e   M u l t i m o d a l   I n f o r m a t i o n   M a n a g e m e n t   ( I M ) 2 .   T h e   a s s o c i a t e   e d i t o r   c o o r d i n a t i n g   t h e   r e v i e w   o f   t h i s   m a n u s c r i p t   a n d   a p p r o v i n g   i t   f o r   p u b l i c a t i o n   w a s   S h r i k a n t h   N a r a y a n a n . 	 A M B A D Y   N ,   1 9 9 5 ,   J   P E R S   S O C   P S Y C H O L ,   V 6 9 ,   P 5 1 8 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 6 9 . 3 . 5 1 8 ;   A M B A D Y   N ,   1 9 9 2 ,   P S Y C H O L   B U L L ,   V 1 1 1 ,   P 2 5 6 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 0 9 . 1 1 1 . 2 . 2 5 6 ;   A n d e r s o n   C ,   2 0 0 1 ,   J   P E R S   S O C   P S Y C H O L ,   V 8 1 ,   P 1 1 6 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 2 - 3 5 1 4 . 8 1 . 1 . 1 1 6 ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   Y O U T U B E   B L O G ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   S H O R T F O R M   V I D E O   P L A T ;   A s h t o n   M C ,   2 0 0 2 ,   J   P E R S   S O C   P S Y C H O L ,   V 8 3 ,   P 2 4 5 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 2 - 3 5 1 4 . 8 3 . 1 . 2 4 5 ;   B a s u   S . ,   2 0 0 2 ,   T H E S I S ;   B a t r i n c a   L . ,   2 0 1 1 ,   P R O C   I N T   C O N F   M U L T I M ;   B i e l   J . - I . ,   2 0 1 1 ,   P R O C   A A A I   I N T   C O N F   W ;   B i e l   J . - I . ,   2 0 1 0 ,   P R O C   A A A I   I N T   C O N F   W ;   B i e l   J . - I . ,   2 0 1 1 ,   A C M   T R A N S   M U L T I M E D I A ,   V 7 ;   B O R K E N A U   P ,   1 9 9 2 ,   J   P E R S   S O C   P S Y C H O L ,   V 6 2 ,   P 6 4 5 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 6 2 . 4 . 6 4 5 ;   B r e w   A . ,   2 0 1 0 ,   P R O C   1 9 T H   E U R   C O N F   A ,   P 1 4 5 ;   B u h r m e s t e r   M ,   2 0 1 1 ,   P E R S P E C T   P S Y C H O L   S C I ,   V 6 ,   P 3 ,   D O I   1 0 . 1 1 7 7 / 1 7 4 5 6 9 1 6 1 0 3 9 3 9 8 0 ;   B u r g e s s   J e a n ,   2 0 0 9 ,   Y O U T U B E   O N L I N E   V I D E O ;   C a r n e y   D R ,   2 0 0 7 ,   J   R E S   P E R S ,   V 4 1 ,   P 1 0 5 4 ,   D O I   1 0 . 1 0 1 6 / j . j r p . 2 0 0 7 . 0 1 . 0 0 4 ;   C h a   M . ,   2 0 0 7 ,   P R O C   7 T H   I N T E R N E T   M E ;   C o r d e r   G .   W . ,   2 0 0 9 ,   N O N P A R A M E T R I C   S T A T   N ;   C o u n t s   S . ,   2 0 0 9 ,   P R O C   A A A I   I N T   C O N F   W ;   D O V I D I O   J F ,   1 9 8 2 ,   S O C   P S Y C H O L   Q U A R T ,   V 4 5 ,   P 1 0 6 ,   D O I   1 0 . 2 3 0 7 / 3 0 3 3 9 3 3 ;   E v a n s   D .   C . ,   2 0 0 8 ,   P R O C   A A A I   I N T   C O N F   W ;   G a t i c a - P e r e z   D . ,   2 0 0 9 ,   I M A G E   V I S I O N   C O M P U T ,   V 2 7 ;   G i l l   A .   J . ,   2 0 0 9 ,   P R O C   A A A I   I N T   C O N F   W ;   G o s l i n g   S .   D . ,   2 0 0 7 ,   P R O C   A A A I   I N T   C O N F   O ;   G o s l i n g   S D ,   2 0 0 2 ,   J   P E R S   S O C   P S Y C H O L ,   V 8 2 ,   P 3 7 9 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 2 - 3 5 1 4 . 8 2 . 3 . 3 7 9 ;   G o s l i n g   S D ,   2 0 0 3 ,   J   R E S   P E R S ,   V 3 7 ,   P 5 0 4 ,   D O I   1 0 . 1 0 1 6 / S 0 0 9 2 - 6 5 6 6 ( 0 3 ) 0 0 0 4 6 - 1 ;   H u b e r m a n   B . ,   2 0 0 9 ,   W O R K I N G   T O G E T H E R   O R ,   P 6 2 ;   H u b e r m a n   B .   A . ,   2 0 0 9 ,   J   I N F   S C I ,   V 3 5 ;   H u n g   H . ,   2 0 0 8 ,   P R O C   I N T   C O N F   M U L T I M ;   I i z u k a   Y . ,   1 9 9 2 ,   P E R C E P T   M O T O R   S K I L L ,   P 4 3 ;   J a y a g o p i   D B ,   2 0 0 9 ,   I E E E   T   A U D I O   S P E E C H ,   V 1 7 ,   P 5 0 1 ,   D O I   1 0 . 1 1 0 9 / T A S L . 2 0 0 8 . 2 0 0 8 2 3 8 ;   K E N N Y   D A ,   1 9 9 2 ,   J   P E R S   S O C   P S Y C H O L ,   V 6 2 ,   P 8 8 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 2 - 3 5 1 4 . 6 2 . 1 . 8 8 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   K n a p p   M L ,   2 0 0 5 ,   N O N V E R B A L   C O M M U N I C A T ;   K u h n   M ,   2 0 0 8 ,   J   S T A T   S O F T W ,   V 2 8 ,   P 1 ;   L a n g e   P a t r i c i a   G . ,   2 0 0 7 ,   J   C O M P U T E R   M E D I A T E D ,   V 1 ;   L e p r i   B . ,   2 0 1 0 ,   P R O C   I N T   C O N F   M U L T I M ;   L e p r i   B . ,   2 0 0 9 ,   P R O C   I N T   C O N F   U S E R   M ;   M a i r e s s e   F ,   2 0 0 7 ,   J   A R T I F   I N T E L L   R E S ,   V 3 0 ,   P 4 5 7 ;   M a s o n   W . ,   2 0 1 0 ,   S O C I A L   S C I E N C E   R E S E A ;   M C C R A E   R R ,   1 9 9 2 ,   J   P E R S ,   V 6 0 ,   P 1 7 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 6 4 9 4 . 1 9 9 2 . t b 0 0 9 7 0 . x ;   M o h a m m a d i   G . ,   2 0 1 0 ,   P R O C   A C M   M U L T I M E D I A ;   N g u y e n   D . ,   2 0 0 9 ,   P R O C   I N T   C O N F   H U M A N ;   N o w s o n   S . ,   2 0 0 7 ,   P R O C   I N T   C O N F   W E B L O G ;   O b e r l a n d e r   J . ,   2 0 0 6 ,   P R O C   4 4 T H   A N N U   M E E T I ;   P e n t l a n d   A .   S . ,   2 0 0 8 ,   H O N E S T   S I G N A L S   T H E Y ,   V 1 ;   S c h e r e r   K l a u s   R a i n e r ,   1 9 7 9 ,   S O C I A L   M A R K E R S   S P E E C ,   P 1 4 7 ;   S H R O U T   P E ,   1 9 7 9 ,   P S Y C H O L   B U L L ,   V 8 6 ,   P 4 2 0 ,   D O I   1 0 . 1 0 3 7 / / 0 0 3 3 - 2 9 0 9 . 8 6 . 2 . 4 2 0 ;   S m o l a   A . ,   1 9 9 8 ,   T E C H   R E P ;   S o l e y m a n i   M . ,   2 0 1 0 ,   P R O C   S I G I R   W O R K S H O P ;   S t e c h e r   K . ,   2 0 0 8 ,   P R O C   A A A I   I N T   C O N F   W ;   S t e e l e   J r   F .   S . ,   2 0 0 9 ,   P R O C   A A A I   I N T   C O N F   W ;   T a s t l e   W J ,   2 0 0 7 ,   I N T   J   A P P R O X   R E A S O N ,   V 4 5 ,   P 5 3 1 ,   D O I   1 0 . 1 0 1 6 / j . i j a r . 2 0 0 6 . 0 6 . 0 2 4 ;   V a z i r e   S ,   2 0 0 4 ,   J   P E R S   S O C   P S Y C H O L ,   V 8 7 ,   P 1 2 3 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 8 7 . 1 . 1 2 3 ;   V i o l a   P . ,   2 0 0 2 ,   I N T   J   C O M P U T   V I S I O N ,   V 5 7 ;   W e s c h   M . ,   2 0 0 9 ,   E X P L O R A T I O N S   M E D I A   E ,   V 8 ,   P 1 9 ;   Y a r k o n i   T ,   2 0 1 0 ,   J   R E S   P E R S ,   V 4 4 ,   P 3 6 3 ,   D O I   1 0 . 1 0 1 6 / j . j r p . 2 0 1 0 . 0 4 . 0 0 1 	 5 7 	 3 	 3 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 1 5 2 0 - 9 2 1 0 	 	 	 I E E E   T   M U L T I M E D I A 	 I E E E   T r a n s .   M u l t i m e d i a 	 J A N 	 2 0 1 3 	 1 5 	 1 	 	 	 	 	 4 1 	 5 5 	 	 1 0 . 1 1 0 9 / T M M . 2 0 1 2 . 2 2 2 5 0 3 2 	 	 1 5 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   T e l e c o m m u n i c a t i o n s 	 0 5 8 P S 	 W O S : 0 0 0 3 1 2 6 4 6 6 0 0 0 0 4 	 	 
 J 	 V a n B u r e n ,   V ;   C h e n ,   H L 	 	 	 	 V a n B u r e n ,   V i n c e n t ;   C h e n ,   H a i l i n 	 	 	 M a n a g i n g   b i o l o g i c a l   c o m p l e x i t y   a c r o s s   o r t h o l o g s   w i t h   a   v i s u a l   k n o w l e d g e b a s e   o f   d o c u m e n t e d   b i o m o l e c u l a r   i n t e r a c t i o n s 	 S C I E N T I F I C   R E P O R T S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 M O L E C U L A R   I N T E R A C T I O N   D A T A B A S E ;   R E G U L A T O R Y   N E T W O R K S ;   P R O T E I N S ;   U P D A T E ;   T O O L ;   C Y T O S C A P E ;   C E L L S ;   V I E W 	 T h e   c o m p l e x i t y   o f   b i o m o l e c u l a r   i n t e r a c t i o n s   a n d   i n f l u e n c e s   i s   a   m a j o r   o b s t a c l e   t o   t h e i r   c o m p r e h e n s i o n   a n d   e l u c i d a t i o n .   V i s u a l i z i n g   k n o w l e d g e   o f   b i o m o l e c u l a r   i n t e r a c t i o n s   i n c r e a s e s   c o m p r e h e n s i o n   a n d   f a c i l i t a t e s   t h e   d e v e l o p m e n t   o f   n e w   h y p o t h e s e s .   T h e   r a p i d l y   c h a n g i n g   l a n d s c a p e   o f   h i g h - c o n t e n t   e x p e r i m e n t a l   r e s u l t s   a l s o   p r e s e n t s   a   c h a l l e n g e   f o r   t h e   m a i n t e n a n c e   o f   c o m p r e h e n s i v e   k n o w l e d g e b a s e s .   D i s t r i b u t i n g   t h e   r e s p o n s i b i l i t y   f o r   m a i n t e n a n c e   o f   a   k n o w l e d g e b a s e   t o   a   c o m m u n i t y   o f   s u b j e c t   m a t t e r   e x p e r t s   i s   a n   e f f e c t i v e   s t r a t e g y   f o r   l a r g e ,   c o m p l e x   a n d   r a p i d l y   c h a n g i n g   k n o w l e d g e b a s e s .   C o g n o s c e n t e   s e r v e s   t h e s e   n e e d s   b y   b u i l d i n g   v i s u a l i z a t i o n s   f o r   q u e r i e s   o f   b i o m o l e c u l a r   i n t e r a c t i o n s   o n   d e m a n d ,   b y   m a n a g i n g   t h e   c o m p l e x i t y   o f   t h o s e   v i s u a l i z a t i o n s ,   a n d   b y   c r o w d s o u r c i n g   t o   p r o m o t e   t h e   i n c o r p o r a t i o n   o f   c u r r e n t   k n o w l e d g e   f r o m   t h e   l i t e r a t u r e . 	 [ V a n B u r e n ,   V i n c e n t ;   C h e n ,   H a i l i n ]   T e x a s   A & M   H S C   C o l l   M e d ,   B r y a n ,   T X   U S A 	 V a n B u r e n ,   V   ( r e p r i n t   a u t h o r ) ,   T e x a s   A & M   H S C   C o l l   M e d ,   B r y a n ,   T X   U S A . 	 v a n b u r e n @ t a m u . e d u 	 	 	 A m e r i c a n   H e a r t   A s s o c i a t i o n   [ A H A   S D G   0 6 3 0 2 6 3 N ] ;   D e p a r t m e n t   o f   S y s t e m s   B i o l o g y   a n d   T r a n s l a t i o n a l   M e d i c i n e ;   C o l l e g e   o f   M e d i c i n e   a t   T e x a s   A & M   H S C   C o l l e g e   o f   M e d i c i n e 	 T h i s   w o r k   w a s   f u n d e d   b y   a   N a t i o n a l   S c i e n t i s t   D e v e l o p m e n t   G r a n t   f r o m   t h e   A m e r i c a n   H e a r t   A s s o c i a t i o n   ( A H A   S D G   0 6 3 0 2 6 3 N ,   P I :   V V ) ,   a n d   b y   s t a r t - u p   f u n d s   t o   V V   f r o m   t h e   D e p a r t m e n t   o f   S y s t e m s   B i o l o g y   a n d   T r a n s l a t i o n a l   M e d i c i n e ,   a n d   t h e   D e a n   o f   t h e   C o l l e g e   o f   M e d i c i n e   a t   T e x a s   A & M   H S C   C o l l e g e   o f   M e d i c i n e . 	 A r v e s t a d   L ,   2 0 1 2 ,   R E F S E N S E ;   B r e i t k r e u t z   B J ,   2 0 0 8 ,   N U C L E I C   A C I D S   R E S ,   V 3 6 ,   p D 6 3 7 ,   D O I   1 0 . 1 0 9 3 / n a r / g k m 1 0 0 1 ;   G a n s n e r   E . R . ,   1 9 9 9 ,   S O F T W A R E   P R A C T I C E   E X ,   V 0 0 ,   P 1 ;   J e n s e n   L J ,   2 0 0 9 ,   N U C L E I C   A C I D S   R E S ,   V 3 7 ,   p D 4 1 2 ,   D O I   1 0 . 1 0 9 3 / n a r / g k n 7 6 0 ;   J u p i t e r   D ,   2 0 0 9 ,   B M C   B I O I N F O R M A T I C S ,   V 1 0 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 1 - 2 1 0 5 - 1 0 - 3 3 2 ;   J u p i t e r   D C ,   2 0 0 8 ,   P L O S   O N E ,   V 3 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 0 1 7 1 7 ;   K e r r i e n   S ,   2 0 1 2 ,   N U C L E I C   A C I D S   R E S ,   V 4 0 ,   p D 8 4 1 ,   D O I   1 0 . 1 0 9 3 / n a r / g k r 1 0 8 8 ;   K e s e l e r   I M ,   2 0 0 9 ,   N U C L E I C   A C I D S   R E S ,   V 3 7 ,   p D 4 6 4 ,   D O I   1 0 . 1 0 9 3 / n a r / g k n 7 5 1 ;   P r a s a d   T S K ,   2 0 0 9 ,   N U C L E I C   A C I D S   R E S ,   V 3 7 ,   p D 7 6 7 ,   D O I   1 0 . 1 0 9 3 / n a r / g k n 8 9 2 ;   K w o n g   L N ,   2 0 1 2 ,   N A T   M E D ,   V 1 8 ,   P 1 5 0 3 ,   D O I   1 0 . 1 0 3 8 / n m . 2 9 4 1 ;   L i c a t a   L ,   2 0 1 2 ,   N U C L E I C   A C I D S   R E S ,   V 4 0 ,   p D 8 5 7 ,   D O I   1 0 . 1 0 9 3 / n a r / g k r 9 3 0 ;   N C B I ,   2 0 1 2 ,   G E N E R I F   G E N   R E F   F U N C ;   S h a n n o n   P ,   2 0 0 3 ,   G E N O M E   R E S ,   V 1 3 ,   P 2 4 9 8 ,   D O I   1 0 . 1 1 0 1 / g r . 1 2 3 9 3 0 3 ;   S m o o t   M E ,   2 0 1 1 ,   B I O I N F O R M A T I C S ,   V 2 7 ,   P 4 3 1 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t q 6 7 5 ;   T a k a h a s h i   K ,   2 0 0 7 ,   C E L L ,   V 1 3 1 ,   P 8 6 1 ,   D O I   1 0 . 1 0 1 6 / j . c e l l . 2 0 0 7 . 1 1 . 0 1 9 ;   v o n   M e r i n g   C ,   2 0 0 3 ,   N U C L E I C   A C I D S   R E S ,   V 3 1 ,   P 2 5 8 ,   D O I   1 0 . 1 0 9 3 / n a r / g k g 0 3 4 ;   W h e e l e r   D L ,   2 0 0 1 ,   N U C L E I C   A C I D S   R E S ,   V 2 9 ,   P 1 1 ,   D O I   1 0 . 1 0 9 3 / n a r / 2 9 . 1 . 1 1 ;   W i l l i s   R .   C . ,   2 0 0 6 ,   C U R R   P R O T O C   B I O I N F O R ,   D O I   1 0 .   1 0 0 2 / 0 4 7 1 2 5 0 9 5 3 .   b i 0 8 0 9 s 1 2 ;   X e n a r i o s   I ,   2 0 0 2 ,   N U C L E I C   A C I D S   R E S ,   V 3 0 ,   P 3 0 3 ,   D O I   1 0 . 1 0 9 3 / n a r / 3 0 . 1 . 3 0 3 ;   Y u   J Y ,   2 0 0 7 ,   S C I E N C E ,   V 3 1 8 ,   P 1 9 1 7 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 7 2 4 8 2 	 2 0 	 1 	 1 	 N A T U R E   P U B L I S H I N G   G R O U P 	 L O N D O N 	 M A C M I L L A N   B U I L D I N G ,   4   C R I N A N   S T ,   L O N D O N   N 1   9 X W ,   E N G L A N D 	 2 0 4 5 - 2 3 2 2 	 	 	 S C I   R E P - U K 	 S c i   R e p 	 D E C   2 0 	 2 0 1 2 	 2 	 	 	 	 	 	 	 	 1 0 1 1 	 1 0 . 1 0 3 8 / s r e p 0 1 0 1 1 	 	 9 	 M u l t i d i s c i p l i n a r y   S c i e n c e s 	 S c i e n c e   &   T e c h n o l o g y   -   O t h e r   T o p i c s 	 0 5 6 Z K 	 W O S : 0 0 0 3 1 2 5 3 1 1 0 0 0 0 3 	 2 3 2 6 4 8 7 5 	 
 J 	 S k o p i k ,   F ;   S c h a l l ,   D ;   D u s t d a r ,   S 	 	 	 	 S k o p i k ,   F l o r i a n ;   S c h a l l ,   D a n i e l ;   D u s t d a r ,   S c h a h r a m 	 	 	 D I S C O V E R I N G   A N D   M A N A G I N G   S O C I A L   C O M P O S I T I O N S   I N   C O L L A B O R A T I V E   E N T E R P R I S E   C R O W D S O U R C I N G   S Y S T E M S 	 I N T E R N A T I O N A L   J O U R N A L   O F   C O O P E R A T I V E   I N F O R M A T I O N   S Y S T E M S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 S O A - b a s e d   c o l l a b o r a t i o n ;   i n t e r a c t i o n   m i n i n g ;   e n t e r p r i s e   2 . 0 ;   c r o w d s o u r c i n g ;   s o c i a l   n e t w o r k s ;   s o c i a l   c o m p o s i t i o n   d i s c o v e r y ;   s u b g r a p h   m a t c h i n g 	 S O F T W A R E - D E V E L O P M E N T ;   T R U S T ;   W E B ;   S I M I L A R I T Y ;   S E R V I C E S ;   T E A M S ;   W O R K 	 C r o w d s o u r c i n g   i s   a n   i n c r e a s i n g l y   u s e d   m o d e l   t o   o u t s o u r c e   c e r t a i n   t a s k s   t o   b e   c a r r i e d   o u t   b y   e x t e r n a l   e x p e r t s   o n   t h e   W e b .   E s p e c i a l l y   w h e n   l a c k i n g   e x p e r i e n c e   o r   e x p e r t i s e   w i t h   c e r t a i n   t a s k   t y p e s ,   c r o w d s o u r c i n g   o f f e r s   a   c o n v e n i e n t   w a y   t o   r e c e i v e   i n s t a n t   s u p p o r t .   I n   t h i s   p a p e r ,   w e   i n t r o d u c e   a n   i n - h o u s e   e n t e r p r i s e   c r o w d s o u r c i n g   m o d e l ,   w h i c h   l e v e r a g e s   t h e   c r o w d s o u r c i n g   c o n c e p t   a n d   t r a n s f e r s   i t   t o   t r a d i t i o n a l   o r g a n i z a t i o n s .   H e r e ,   a   c o m p a n y ' s   s t a f f   i s   c o n s i d e r e d   a   c r o w d   t h a t   -   b e s i d e s   i t s   r e g u l a r l y   a s s i g n e d   t a s k s   c a n   a l s o   r e c e i v e   t a s k s   f r o m   c o l l e a g u e s   f r o m   o t h e r   d e p a r t m e n t s   a n d   a c r o s s   h i e r a r c h i c a l   s t r u c t u r e s .   T h e   a i m   i s   t o   o f f e r   i n s t a n t   s u p p o r t   a n d   u t i l i z e   f r e e   c a p a c i t i e s   t h r o u g h o u t   a   l a r g e   o r g a n i z a t i o n   m o r e   e f f i c i e n t l y .   I n   o u r   w o r k ,   w e   d e s c r i b e   t h i s   c o n c e p t   a n d   s u p p o r t i n g   m e c h a n i s m s   i n   c o n t e x t   o f   a n   a g i l e   s o f t w a r e   d e v e l o p m e n t   u s e   c a s e .   H o w e v e r ,   i n   c o n t r a s t   t o   u s u a l l y   c r o w d s o u r c e d   m i c r o t a s k s ,   c o m p l e x   s o f t w a r e   a r c h i t e c t u r e s   u s u a l l y   c o n s i s t   o f   t e n s   a n d   h u n d r e d s   o f   c o n n e c t e d   m o d u l e s   t h a t   c a n   b e   p o t e n t i a l l y   c r o w d s o u r c e d .   T h e s e   t e c h n i c a l   d e p e n d e n c i e s   b e t w e e n   m o d u l e s   r e q u i r e   a c t i v e   c o o r d i n a t i o n   a n d   i n t e r a c t i o n s   b e t w e e n   c r o w d   m e m b e r s   t h a t   p r o c e s s   t h e   s i n g l e   a r t i f a c t s .   H e n c e ,   t e c h n i c a l   d e p e n d e n c i e s   o f   a r t i f a c t s   r e s u l t   i n   s o c i a l   d e p e n d e n c i e s   o f   c o l l a b o r a t i n g   c r o w d   m e m b e r s   t h a t   c r e a t e   t h e m .   I n   o r d e r   t o   e f f i c i e n t l y   d i s c o v e r   m e m b e r   c o m p o s i t i o n s   b a s e d   o n   a r t i f a c t   d e p e n d e n c i e s ,   w e   i n t r o d u c e   a n   i n d e x i n g   a n d   d i s c o v e r y   a p p r o a c h   b a s e d   o n   s u b g r a p h   m a t c h i n g .   T y p i c a l l y ,   a s s i g n i n g   t a s k s   t o   w e l l - r e h e a r s e d   t e a m s   r e s u l t s   i n   m o r e   r e l i a b l e   t a s k   p r o c e s s i n g ,   f a s t e r   r e s u l t s ,   a n d   h i g h e r   q u a l i t y   o f   w o r k .   W e   e v a l u a t e   o u r   a p p r o a c h   i n   t e r m s   o f   s y s t e m   s c a l a b i l i t y   a n d   o v e r a l l   a p p l i c a b i l i t y   b y   m i n i n g   a n d   a n a l y z i n g   t h e   p o p u l a r   S o u r c e F o r g e   c o m m u n i t y .   W e   s h o w   t h a t   o u r   a p p r o a c h   o f   m e m b e r   c o m p o s i t i o n   d i s c o v e r y   i s   f e a s i b l y   i n   t e r m s   o f   s c a l a b i l i t y   a n d   q u a l i t y   o f   d i s c o v e r y   r e s u l t s .   O u r   f i n d i n g s   d e l i v e r   i m p o r t a n t   i n p u t   f o r   t h e   d e s i g n   a n d   i m p l e m e n t a t i o n   o f   s u p p o r t i n g   i n f o r m a t i o n   s y s t e m s   f o r   f u t u r e   l a r g e - s c a l e   c o l l a b o r a t i o n   p l a t f o r m s . 	 [ S k o p i k ,   F l o r i a n ]   A I T   A u s t r i a n   I n s t   T e c h n o l ,   S a f e t y   &   S e c u r   D e p t ,   A - 2 4 4 4   S e i b e r s d o r f ,   A u s t r i a ;   [ S c h a l l ,   D a n i e l ]   S i e m e n s   C T   T   C E E ,   A - 1 2 1 1   V i e n n a ,   A u s t r i a ;   [ D u s t d a r ,   S c h a h r a m ]   V i e n n a   U n i v   T e c h n o l ,   D i s t r i b u t e d   S y s t   G r p ,   A - 1 0 4 0   V i e n n a ,   A u s t r i a 	 S k o p i k ,   F   ( r e p r i n t   a u t h o r ) ,   A I T   A u s t r i a n   I n s t   T e c h n o l ,   S a f e t y   &   S e c u r   D e p t ,   A - 2 4 4 4   S e i b e r s d o r f ,   A u s t r i a . 	 f l o r i a n . s k o p i k @ a i t . a c . a t ;   d a n i e l . s c h a l l @ s i e m e n s . c o m ;   d u s t d a r @ i n f o s y s . t u w i e n . a c . a t 	 	 	 E U   [ I C T - 2 0 0 8 - 2 1 6 2 5 6 ,   I C T - 2 0 0 8 - 2 1 5 4 8 3 ] 	 T h i s   w o r k   i s   f i n a n c i a l l y   s u p p o r t e d   b y   t h e   E U   t h r o u g h   t h e   F P 7   p r o j e c t s   C O I N   ( N o .   I C T - 2 0 0 8 - 2 1 6 2 5 6 )   a n d   S - C u b e   ( N o .   I C T - 2 0 0 8 - 2 1 5 4 8 3 ) .   W e   w o u l d   f u r t h e r   l i k e   t o   e x p r e s s   o u r   g r a t i t u d e   t o   P r o f .   G r e g   M a d e y   a n d   h i s   t e a m   f r o m   t h e   C o m p u t e r   S c i e n c e   a n d   E n g i n e e r i n g   D e p a r t m e n t   o f   t h e   U n i v e r s i t y   o f   N o t r e   D a m e   f o r   p r o v i d i n g   u s   a c c e s s   t o   t h e   S R D A . 	 A g r a w a l   A . ,   2 0 0 7 ,   W S   B P E L   E X T E N S I O N   P E ;   A l o n s o   G u s t a v o ,   2 0 0 3 ,   W E B   S E R V I C E S   C O N C E P T ;   A l o n s o   O m a r ,   2 0 0 8 ,   S I G I R   F o r u m ,   V 4 2 ,   D O I   1 0 . 1 1 4 5 / 1 4 8 0 5 0 6 . 1 4 8 0 5 0 8 ;   A m e n d   M . ,   2 0 0 7 ,   W E B   S E R V I C E S   H U M A N   T ;   A r t z   D ,   2 0 0 7 ,   J   W E B   S E M A N T ,   V 5 ,   P 5 8 ,   D O I   1 0 . 1 0 1 6 / j . w e b s e m . 2 0 0 7 . 0 3 . 0 0 2 ;   B i r d   C . ,   2 0 0 9 ,   I S S R E   2 0 0 9 ,   P 1 0 9 ;   B i r d   C . ,   2 0 0 8 ,   L N C S ,   V 5 0 8 6 ,   P 2 4 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B r i c k l e y   D . ,   2 0 1 0 ,   F O A F   V O C A B U L A R Y   S P E C ;   B r o c h e l e r   M . ,   2 0 1 1 ,   A S O N A M ,   P 2 7 1 ;   C a m a r i n h a - M a t o s   L .   M . ,   2 0 0 6 ,   P R O L A M A T ,   P 2 6 ;   C a r s t e n s e n   P H ,   1 9 9 9 ,   H D B   H U M A N   F A C T O R S ,   P 6 1 9 ;   C h r i s t l e y   S . ,   2 0 0 7 ,   S O C I A L   P O S I T I O N S   S O U ;   C h r i s t l e y   S . ,   2 0 0 7 ,   H I C S S ,   P 1 6 6 ;   C O N W A Y   M E ,   1 9 6 8 ,   D A T A M A T I O N ,   V 1 4 ,   P 2 8 ;   C r o w s t o n   K e v i n ,   2 0 0 5 ,   1   M O N D A Y ,   V 1 0 . 2 ;   D ' A m b r o s   M . ,   2 0 0 8 ,   S O F T W A R E   E V O L U T I O N ,   P 3 7 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 7 6 4 4 0 - 3 _ 3 ;   d e   S o u z a   C . ,   2 0 0 5 ,   G R O U P   0 5   P   2 0 0 5   I N T ,   P 1 9 7 ;   d e   S o u z a   C R B ,   2 0 0 7 ,   G R O U P ' 0 7 :   P R O C E E D I N G S   O F   T H E   2 0 0 7   I N T E R N A T I O N A L   A C M   C O N F E R E N C E   O N   S U P P O R T I N G   G R O U P   W O R K ,   P 1 4 7 ;   D w y e r   C . ,   2 0 0 7 ,   A M   C   I N F   S Y S T ;   E p p s t e i n   D . ,   1 9 9 9 ,   J   G R A P H   A L G O R I T H M S   A ,   V 3 ;   F a l k   A ,   2 0 0 6 ,   G A M E   E C O N   B E H A V ,   V 5 4 ,   P 2 9 3 ,   D O I   1 0 . 1 0 1 6 / j . g e b . 2 0 0 5 . 0 3 . 0 0 1 ;   F a r a j   S ,   2 0 0 0 ,   M A N A G E   S C I ,   V 4 6 ,   P 1 5 5 4 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 6 . 1 2 . 1 5 5 4 . 1 2 0 7 2 ;   G e n t r y   C . ,   2 0 0 5 ,   A C M   C   E L   C O M M ,   P 1 5 5 ;   G e o r g a k o p o u l o s   D ,   2 0 0 8 ,   C O O P   I N F O R M   S Y S T ,   P 1 ;   G h e z z i   C . ,   2 0 0 2 ,   F U N D A M E N T A L S   S O F T W A R ;   G o l b e c k   J . ,   2 0 0 8 ,   A A A I   0 8 ,   P 1 1 3 8 ;   G o l b e c k   J ,   2 0 0 9 ,   A C M   T   W E B ,   V 3 ,   D O I   1 0 . 1 1 4 5 / 1 5 9 4 1 7 3 . 1 5 9 4 1 7 4 ;   G o o d m a n   B .   D . ,   2 0 0 2 ,   I B M   A D V   I N T E R N E T   D E C ;   G r a n d i s o n   T . ,   2 0 0 0 ,   I E E E   C O M M U N   S U R V E Y S ,   V 3 ;   G R U D I N   J ,   1 9 9 4 ,   C O M P U T E R ,   V 2 7 ,   P 1 9 ,   D O I   1 0 . 1 1 0 9 / 2 . 2 9 1 2 9 4 ;   H e r b s l e b   J D ,   2 0 0 1 ,   P R O C   I N T   C O N F   S O F T W ,   P 8 1 ,   D O I   1 0 . 1 1 0 9 / I C S E . 2 0 0 1 . 9 1 9 0 8 3 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   H o w i s o n   J ,   2 0 0 6 ,   I N T   F E D   I N F O   P R O C ,   V 2 0 3 ,   P 3 1 9 ;   J o s a n g   A ,   2 0 0 7 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 3 ,   P 6 1 8 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 5 . 0 5 . 0 1 9 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   M a l i k   Z ,   2 0 0 9 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 3 ,   P 4 0 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 0 9 . 1 7 ;   M a r t i n   R .   C . ,   2 0 0 2 ,   A G I L E     S O F T W A R E   D E V ;   M a t s u o   Y . ,   2 0 0 9 ,   W W W ,   P 7 5 1 ;   M e t z g e r   M .   J . ,   2 0 0 4 ,   J   C O M P U T   M E D I A T E D   C O ,   V 9 ;   M u i   L . ,   2 0 0 2 ,   P   3 5   A N N   H A W   I N T   C   S ,   V 7 ,   P 1 8 8 ;   O ' L e a r y   D E ,   1 9 9 8 ,   C O M P U T E R ,   V 3 1 ,   P 5 4 ,   D O I   1 0 . 1 1 0 9 / 2 . 6 6 0 1 9 0 ;   P a p a d o p o u l o s   A N ,   1 9 9 9 ,   D E X A   W O R K S H ,   P 1 7 4 ;   P e t r i e   C h a r l e s ,   2 0 1 0 ,   I E E E   I n t e r n e t   C o m p u t i n g ,   V 1 4 ,   D O I   [ 1 0 . 1 1 0 9 / M I C . 2 0 1 0 . 1 6 ,   1 0 . 1 1 0 9 / M I C . 2 0 1 0 . 7 1 ] ;   R a d l i n s k i   F . ,   2 0 0 5 ,   S I G K D D ,   P 2 3 9 ;   R a y m o n d   E . S ,   1 9 9 8 ,   1   M O N D A Y ,   V 3 ;   R e k a   A ,   2 0 0 2 ,   R E V   M O D   P H Y S ,   V 7 4 ,   P 4 7 ,   D O I   D O I   1 0 . 1 1 0 3 / R E V M 0 D P H Y S . 7 4 . 4 7 . [ ;   S a b a t e r   J . ,   2 0 0 2 ,   A C M   S I G E C O M   E X C H A N G E ,   V 3 ,   P 4 4 ;   S c h a l l   D ,   2 0 0 8 ,   P R O C E E D I N G S   O F   T H E   3 4 T H   E U R O M I C R O   C O N F E R E N C E   O N   S O F T W A R E   E N G I N E E R I N G   A N D   A D V A N C E D   A P P L I C A T I O N S ,   P 2 8 5 ,   D O I   1 0 . 1 1 0 9 / S E A A . 2 0 0 8 . 2 5 ;   S c h a l l   D ,   2 0 0 8 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 2 ,   P 6 2 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 0 8 . 6 6 ;   S c h a l l   D ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 4 3 0 ,   P 1 6 0 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 6 5 6 7 - 2 _ 1 2 ;   S c h m i d t   K . ,   1 9 9 2 ,   C o m p u t e r   S u p p o r t e d   C o o p e r a t i v e   W o r k   ( C S C W ) ,   V 1 ,   D O I   1 0 . 1 0 0 7 / B F 0 0 7 5 2 4 4 9 ;   S c h r o t h   C . ,   2 0 0 7 ,   I T   P r o f e s s i o n a l ,   V 9 ,   D O I   1 0 . 1 1 0 9 / M I T P . 2 0 0 7 . 6 0 ;   S k o p i k   F . ,   2 0 1 1 ,   I N T   C   E N G   C O M P L   C O M P ;   S k o p i k   F . ,   2 0 1 0 ,   A C M   S   A P P L   C O M P   S A C ,   P 8 0 1 ;   S k o p i k   F ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 6 4 8 ,   P 7 6 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 2 8 1 8 - 2 _ 6 ;   S k o p i k   F ,   2 0 1 0 ,   I N F O R M   S Y S T ,   V 3 5 ,   P 7 3 5 ,   D O I   1 0 . 1 0 1 6 / j . i s . 2 0 1 0 . 0 3 . 0 0 1 ;   S k o p i k   F . ,   2 0 1 1 ,   S A C ,   P 1 5 6 8 ;   S k o p i k   F l o r i a n ,   2 0 1 1 ,   I T - I n f o r m a t i o n   T e c h n o l o g y ,   V 5 3 ,   D O I   1 0 . 1 5 2 4 / i t i t . 2 0 1 1 . 0 6 3 2 ;   S k o p i k   F . ,   2 0 1 2 ,   I J C S A ,   V 9 ,   P 1 1 6 ;   S t e v e n s   M J ,   1 9 9 9 ,   J   M A N A G E ,   V 2 5 ,   P 2 0 7 ,   D O I   1 0 . 1 0 1 6 / S 0 1 4 9 - 2 0 6 3 ( 9 9 ) 8 0 0 1 0 - 5 ;   S t e w a r t   O . ,   2 0 0 9 ,   K D D   W O R K S H   H U M   C O M P ,   P 5 0 ;   S u n   Z . ,   2 0 1 2 ,   P   V L D B   E N D O W ,   V 5 ,   P 7 8 8 ;   T r a i n e r   E . ,   2 0 0 5 ,   E C L I P S E   0 5 ,   P 2 6 ;   v a n   A n t w e r p   M . ,   2 0 0 8 ,   4   I N T   C   O P   S O U R C   S Y S ;   V u k o v i c   M ,   2 0 0 9 ,   2 0 0 9   I E E E   C O N G R E S S   O N   S E R V I C E S   ( S E R V I C E S - 1   2 0 0 9 ) ,   V O L S   1   A N D   2 ,   P 6 8 6 ,   D O I   1 0 . 1 1 0 9 / S E R V I C E S - I . 2 0 0 9 . 5 6 ;   W i l s o n   P . ,   1 9 9 1 ,   C O M P U T E R   S U P P O R T E D   C ;   Y a n   X . ,   2 0 0 5 ,   S I G M O D   C ,   P 7 6 6 ;   Y a n   X F ,   2 0 0 6 ,   A C M   T   D A T A B A S E   S Y S T ,   V 3 1 ,   P 1 4 1 8 ,   D O I   1 0 . 1 1 4 5 / 1 1 8 9 7 6 9 . 1 1 8 9 7 7 7 	 6 9 	 0 	 0 	 W O R L D   S C I E N T I F I C   P U B L   C O   P T E   L T D 	 S I N G A P O R E 	 5   T O H   T U C K   L I N K ,   S I N G A P O R E   5 9 6 2 2 4 ,   S I N G A P O R E 	 0 2 1 8 - 8 4 3 0 	 	 	 I N T   J   C O O P   I N F   S Y S T 	 I n t .   J .   C o o p .   I n f .   S y s t . 	 D E C 	 2 0 1 2 	 2 1 	 4 	 	 	 	 	 2 9 7 	 3 4 1 	 	 1 0 . 1 1 4 2 / S 0 2 1 8 8 4 3 0 1 2 5 0 0 0 5 0 	 	 4 5 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 1 0 8 C H 	 W O S : 0 0 0 3 1 6 2 6 8 2 0 0 0 0 2 	 	 
 J 	 F i l a t o v a ,   E 	 	 	 	 F i l a t o v a ,   E l e n a 	 	 	 I N F O R M A T I O N   O V E R L A P   I N   M U L T I L I N G U A L   W I K I P E D I A   A N D   S U M M A R I Z A T I O N 	 I N T E R N A T I O N A L   J O U R N A L   O F   C O O P E R A T I V E   I N F O R M A T I O N   S Y S T E M S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 S u m m a r i z a t i o n ;   c r o w d s o u r c i n g ;   i n f o r m a t i o n   o v e r l a p ;   m u l t i l i n g u a l   w i k i p e d i a 	 	 W i k i p e d i a   i s   u s e d   a s   a   t r a i n i n g   c o r p u s   f o r   m a n y   i n f o r m a t i o n   s e l e c t i o n   t a s k s :   s u m m a r i z a t i o n ,   q u e s t i o n - a n s w e r i n g ,   e t c .   T h e   i n f o r m a t i o n   p r e s e n t e d   i n   W i k i p e d i a   a r t i c l e s   a s   w e l l   a s   t h e   o r d e r   i n   w h i c h   t h i s   i n f o r m a t i o n   i s   p r e s e n t e d ,   i s   t r e a t e d   a s   t h e   g o l d   s t a n d a r d   a n d   i s   u s e d   f o r   i m p r o v i n g   t h e   q u a l i t y   o f   i n f o r m a t i o n   s e l e c t i o n   s y s t e m s .   H o w e v e r ,   t h e   W i k i p e d i a   a r t i c l e s   c o r r e s p o n d i n g   t o   t h e   s a m e   e n t r y   ( p e r s o n ,   l o c a t i o n ,   e v e n t ,   e t c . )   w r i t t e n   i n   d i f f e r e n t   l a n g u a g e s   h a v e   s u b s t a n t i a l   d i f f e r e n c e s   r e g a r d i n g   w h a t   i n f o r m a t i o n   i s   i n c l u d e d   i n   t h e s e   a r t i c l e s .   I n   t h i s   p a p e r   w e   a n a l y z e   t h e   r e g u l a r i t i e s   o f   i n f o r m a t i o n   o v e r l a p   a m o n g   t h e   a r t i c l e s   a b o u t   t h e   s a m e   W i k i p e d i a   e n t r y   w r i t t e n   i n   d i f f e r e n t   l a n g u a g e s :   s o m e   i n f o r m a t i o n   f a c t s   a r e   c o v e r e d   i n   t h e   W i k i p e d i a   a r t i c l e s   i n   m a n y   l a n g u a g e s ,   w h i l e   o t h e r s   a r e   c o v e r e d   o n l y   i n   a   f e w   l a n g u a g e s .   W e   i n t r o d u c e   a   h y p o t h e s i s   t h a t   t h e   s t r u c t u r e   o f   t h i s   i n f o r m a t i o n   o v e r l a p   i s   s i m i l a r   t o   t h e   i n f o r m a t i o n   o v e r l a p   s t r u c t u r e   ( p y r a m i d   m o d e l )   u s e d   i n   s u m m a r i z a t i o n   e v a l u a t i o n ,   a s   w e l l   a s   t h e   i n f o r m a t i o n   o v e r l a p / r e p e t i t i o n   s t r u c t u r e   u s e d   t o   i d e n t i f y   i m p o r t a n t   i n f o r m a t i o n   f o r   m u l t i d o c u m e n t   s u m m a r i z a t i o n .   W e   p r o v e   t h e   c o r r e c t n e s s   o f   o u r   h y p o t h e s i s   b y   b u i l d i n g   a   s u m m a r i z a t i o n   s y s t e m   a c c o r d i n g   t o   t h e   p r e s e n t e d   i n f o r m a t i o n   o v e r l a p   h y p o t h e s i s .   T h i s   s y s t e m   s u m m a r i z e s   E n g l i s h   W i k i p e d i a   a r t i c l e s   g i v e n   t h e   a r t i c l e s   a b o u t   t h e   s a m e   W i k i p e d i a   e n t r i e s   w r i t t e n   i n   o t h e r   l a n g u a g e s .   T o   e v a l u a t e   t h e   q u a l i t y   o f   t h e   c r e a t e d   s u m m a r i e s ,   w e   u s e   A m a z o n   M e c h a n i c a l   T u r k   a s   t h e   s o u r c e   o f   h u m a n   s u b j e c t s   w h o   c a n   r e l i a b l y   j u d g e   t h e   q u a l i t y   o f   t h e   c r e a t e d   t e x t .   W e   a l s o   c o m p a r e   t h e   s u m m a r i e s   g e n e r a t e d   a c c o r d i n g   t o   t h e   i n f o r m a t i o n   o v e r l a p   h y p o t h e s i s   a g a i n s t   t h e   l e a d   l i n e   b a s e l i n e   w h i c h   i s   c o n s i d e r e d   t o   b e   t h e   m o s t   r e l i a b l e   w a y   t o   g e n e r a t e   s u m m a r i e s   o f   W i k i p e d i a   a r t i c l e s .   T h e   s u m m a r i z a t i o n   e x p e r i m e n t   p r o v e s   t h e   c o r r e c t n e s s   o f   t h e   i n t r o d u c e d   m u l t i l i n g u a l   W i k i p e d i a   i n f o r m a t i o n   o v e r l a p   h y p o t h e s i s . 	 F o r d h a m   U n i v ,   C o m p   &   I n f o r m a t   S c i   D e p t ,   B r o n x ,   N Y   1 0 4 5 8   U S A 	 F i l a t o v a ,   E   ( r e p r i n t   a u t h o r ) ,   F o r d h a m   U n i v ,   C o m p   &   I n f o r m a t   S c i   D e p t ,   4 4 1   E a s t   F o r d h a m   R d ,   B r o n x ,   N Y   1 0 4 5 8   U S A . 	 f i l a t o v a @ c i s . f o r d h a m . e d u 	 	 	 	 	 A d a f r e   S .   F . ,   2 0 0 6 ,   P   C   E U R   C H A P T   A S S   C O ;   A d l e r   B .   T . ,   2 0 0 8 ,   P   I N T   S   W I K   W I K I S Y M ;   A h n   D . ,   2 0 0 4 ,   P   T E X T   R E T R I E V A L   C   T ;   B a i d s y   F . ,   2 0 0 8 ,   P   4 6   A N N   M   A S S   C O M P ;   B a r z i l a y   R ,   2 0 0 2 ,   J   A R T I F   I N T E L L   R E S ,   V 1 7 ,   P 3 5 ;   B u s c a l d i   D . ,   2 0 0 6 ,   P   5   I N T   C   L A N G   R E S   E ;   C a r b o n e l l   J . ,   1 9 9 8 ,   P r o c e e d i n g s   o f   t h e   2 1 s t   A n n u a l   I n t e r n a t i o n a l   A C M   S I G I R   C o n f e r e n c e   o n   R e s e a r c h   a n d   D e v e l o p m e n t   i n   I n f o r m a t i o n   R e t r i e v a l ,   D O I   1 0 . 1 1 4 5 / 2 9 0 9 4 1 . 2 9 1 0 2 5 ;   E   M a r ,   2 0 0 9 ,   P   2   A C M   I N T   C   W E B   S E ;   E v a n s   D . ,   2 0 0 5 ,   I N T   C   I N T   A N   M C L E A N ;   E v a n s   D .   K . ,   2 0 0 4 ,   H L T   N A A C L   2 0 0 4   D E M O N ,   P 1 ;   F e r r a n d e z   S ,   2 0 0 7 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 5 9 2 ,   P 3 5 2 ;   F i l a t o v a   E . ,   2 0 0 4 ,   P   2 0   I N T   C   C O M P   L I N G ;   F i l a t o v a   E . ,   2 0 0 9 ,   P   N A A C L   W O R K S H   I N F   A ;   F i l a t o v a   E . ,   2 0 0 9 ,   P   N A A C L   W O R K S H   C R O S S ;   H a r a b a g i u   S . ,   2 0 0 3 ,   P   1 4   F L O R   A I   C   F L A I R ;   M c K e o w n   K .   R . ,   1 9 9 9 ,   P r o c e e d i n g s   S i x t e e n t h   N a t i o n a l   C o n f e r e n c e   o n   A r t i f i c i a l   I n t e l l i g e n c e   ( A A I - 9 9 ) .   E l e v e n t h   I n n o v a t i v e   A p p l i c a t i o n s   o f   A r t i f i c i a l   I n t e l l i g e n c e   C o n f e r e n c e   ( I A A I - 9 9 ) ;   K o   J . ,   2 0 0 7 ,   P   4 5   A N N   M   A S S   C O M P ;   L i n   C . - Y . ,   2 0 0 3 ,   P   L A N G   T E C H N   C   H L T   N ;   L i t v a k   M . ,   2 0 1 0 ,   P   4 8   A N N   M   A S S   C O M P ,   P 9 2 7 ;   M c G u i n n e s s   D .   L . ,   2 0 0 6 ,   P   W O R K S H   M O D   T R U S T   W ;   N E L K E N   R .   A N D   Y A M A N G I L ,   2 0 0 8 ,   P   A A A I   W O R K S H   W I K   A R ;   N e n k o v a   A n i ,   2 0 0 7 ,   A C M   T   S P E E C H   L A N G U A G ,   V 4 ,   P 4 ,   D O I   1 0 . 1 1 4 5 / 1 2 3 3 9 1 2 . 1 2 3 3 9 1 3 ;   N o v   O ,   2 0 0 7 ,   C O M M U N   A C M ,   V 5 0 ,   P 6 0 ,   D O I   1 0 . 1 1 4 5 / 1 2 9 7 7 9 7 . 1 2 9 7 7 9 8 ;   O v e r   P . ,   2 0 0 2 ,   P   W O R K S H   A U T   S U M M   D U ;   R a d e v   D R ,   2 0 0 4 ,   I N F O R M   P R O C E S S   M A N A G ,   V 4 0 ,   P 9 1 9 ,   D O I   1 0 . 1 0 1 6 / j . i p m . 2 0 0 3 . 1 0 . 0 0 6 ;   R i c h m a n   A . ,   2 0 0 8 ,   P   4 6   A N N   M   A S S   C O M P ;   S a u p e r   C . ,   2 0 0 9 ,   P   4 7   A N N   M   A S S   C O M P ;   S c h o n h o f e n   P . ,   2 0 0 7 ,   P   W O R K   N O T   C L E F   2 0 0 7 ;   S h e n g   V .   S . ,   2 0 0 8 ,   P   1 4   A C M   S I G K D D   I N T ;   T e u f e l   S i m o n e ,   2 0 0 4 ,   P   C   E M P   M E T H   N A T   L A N ,   P 4 1 9 ;   Z e n g   H . ,   2 0 0 6 ,   P   I N T   C   P R I V   S E C   T R U 	 3 1 	 0 	 0 	 W O R L D   S C I E N T I F I C   P U B L   C O   P T E   L T D 	 S I N G A P O R E 	 5   T O H   T U C K   L I N K ,   S I N G A P O R E   5 9 6 2 2 4 ,   S I N G A P O R E 	 0 2 1 8 - 8 4 3 0 	 	 	 I N T   J   C O O P   I N F   S Y S T 	 I n t .   J .   C o o p .   I n f .   S y s t . 	 D E C 	 2 0 1 2 	 2 1 	 4 	 	 	 	 	 3 8 3 	 4 0 3 	 	 1 0 . 1 1 4 2 / S 0 2 1 8 8 4 3 0 1 3 5 0 0 0 1 9 	 	 2 1 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 1 0 8 C H 	 W O S : 0 0 0 3 1 6 2 6 8 2 0 0 0 0 4 	 	 
 J 	 B a t t i s t e l l a ,   C ;   N o n i n o ,   F 	 	 	 	 B a t t i s t e l l a ,   C i n z i a ;   N o n i n o ,   F a b i o 	 	 	 O p e n   i n n o v a t i o n   w e b - b a s e d   p l a t f o r m s :   T h e   i m p a c t   o f   d i f f e r e n t   f o r m s   o f   m o t i v a t i o n   o n   c o l l a b o r a t i o n 	 I N N O V A T I O N - M A N A G E M E N T   P O L I C Y   &   P R A C T I C E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 m o t i v a t i o n s ;   w e b - b a s e d   p l a t f o r m s ;   o p e n   i n n o v a t i o n ;   c r o w d s o u r c i n g 	 O P E N   S O U R C E   S O F T W A R E ;   O P E N - S O U R C E   P R O J E C T S ;   C O M M U N I T I E S ;   D E V E L O P E R S ;   E C O N O M I C S ;   S T R A T E G Y ;   M O D E L 	 G i v e n   t h a t   o p e n   i n n o v a t i o n   w e b - b a s e d   p l a t f o r m s   ( O I P s )   a l l o w   f o r   t h e   c o l l a b o r a t i o n   o f   i n d i v i d u a l s   a n d   c o m p a n i e s ,   t h i s   p a p e r   f o c u s e s   o n   e x p l o r i n g   t h e   m o t i v a t i o n s   f o r   p a r t i c i p a t i n g   a n d   c o l l a b o r a t i n g   i n   O I P s .   E x t a n t   s t u d i e s   a r e   c o n f l i c t i n g ,   e s p e c i a l l y   w i t h   r e s p e c t   t o   t h e   i m p o r t a n c e   o f   t h e   m o n e t a r y   r e w a r d   a s   a   m o t i v a t i o n .   M o r e o v e r ,   l i t e r a t u r e   s u p p o r t s   o u r   p r e m i s e   f r o m   t h e   i n d i v i d u a l s '   m o t i v a t i o n s   a n a l y s i s   v i e w p o i n t ,   b u t   n o t   f r o m   t h e   c o m p a n i e s '   p e r s p e c t i v e .   F i n a l l y ,   l i t e r a t u r e   d o e s   n o t   c o n s i d e r   t h e   d i f f e r e n c e s   r e l a t e d   t o   d i f f e r e n t   m e m b e r s   a n d   t o   d i f f e r e n t   p h a s e s   o f   t h e   i n n o v a t i o n   p r o c e s s .   F i r s t ,   w e   b a s e   t h e   l i t e r a t u r e   o n   o p e n   i n n o v a t i o n   o n   t h e   I n t e r n e t   ( c r o w d s o u r c i n g ,   p e e r   p r o d u c t i o n   a n d   o p e n   s o u r c e )   t o   i d e n t i f y   t h e   p o t e n t i a l   m o t i v a t i o n s .   W e   t h e n   d e e p l y   a n a l y s e   1 1 6   O I P s   t o   d e t e r m i n e   i f   t h e   m o t i v a t i o n s   c a n   b e   a   f u n c t i o n   o f   t h e   p h a s e   o f   i n n o v a t i o n   a n d   t h e   d e p e n d e n c y   o n   m e m b e r s .   W e   s h o w   t h a t   t h e   d e s i g n   o f   t h e   m o t i v a t i o n a l   s y s t e m   s h o u l d   t a k e   i n t o   c o n s i d e r a t i o n   t h e   d i f f e r e n t   s t a g e s   o f   t h e   i n n o v a t i o n   p r o c e s s   a n d   t h a t   t h e   O I P s   s h o u l d   c o n s i d e r   m o v i n g   f r o m   ' w o r k   p l a c e '   l o g i c   t o   ' s o c i a l   p l a c e '   l o g i c . 	 [ B a t t i s t e l l a ,   C i n z i a ]   U n i v   U d i n e ,   D e p t   E l e c t   M a n a g e r i a l   &   M e c h   E n g n ,   I - 3 3 1 0 0   U d i n e ,   I t a l y ;   [ N o n i n o ,   F a b i o ]   U n i v   R o m a   L a   S a p i e n z a ,   D e p t   C o m p   C o n t r o l   &   M a n a g e m e n t   E n g n   A n t o n i o   R u b e r ,   R o m e ,   I t a l y 	 B a t t i s t e l l a ,   C   ( r e p r i n t   a u t h o r ) ,   U n i v   U d i n e ,   D e p t   E l e c t   M a n a g e r i a l   &   M e c h   E n g n ,   I - 3 3 1 0 0   U d i n e ,   I t a l y . 	 	 	 	 	 	 A m a b i l e   T M ,   1 9 9 8 ,   H A R V A R D   B U S   R E V ,   V 7 6 ,   P 7 6 ;   A n d e r s o n   J . ,   2 0 0 9 ,   F R E E   F U T U R E   R A D I C A L ;   A n t i k a i n e n   M a r i a   J ,   2 0 1 0 ,   I n t e r n a t i o n a l   J o u r n a l   o f   E n t r e p r e n e u r s h i p   a n d   I n n o v a t i o n   M a n a g e m e n t ,   V 1 1 ,   D O I   1 0 . 1 5 0 4 / I J E I M . 2 0 1 0 . 0 3 2 2 6 7 ;   A n t i k a i n e n   M a r i a ,   2 0 1 0 ,   E u r o p e a n   J o u r n a l   o f   I n n o v a t i o n   M a n a g e m e n t ,   V 1 3 ,   D O I   1 0 . 1 1 0 8 / 1 4 6 0 1 0 6 1 0 1 1 0 1 3 2 5 8 ;   A r i e l y   D ,   2 0 0 9 ,   R E V   E C O N   S T U D ,   V 7 6 ,   P 4 5 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 7 X . 2 0 0 9 . 0 0 5 3 4 . x ;   A v e n a l i   A ,   2 0 1 3 ,   I N F   S Y S T   E - B U S   M A N A G ,   V 1 1 ,   P 5 4 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 2 5 7 - 0 1 2 - 0 2 0 8 - 6 ;   B a b b i e   E . ,   1 9 9 9 ,   P R A C T I C E   S O C I A L   R E S ;   B a g o z z i   R .   P . ,   2 0 0 2 ,   J   I N T E R A C T   M A R K ,   V 1 6 ,   P 2 ,   D O I   D O I   1 0 . 1 0 0 2 / D I R . 1 0 0 0 6 ;   B a l d w i n   C .   Y . ,   2 0 0 3 ,   A R C H I T E C T U R E   C O O P E R A ;   B a n d u r a   A . ,   1 9 9 5 ,   S E L F   E F F I C A C Y   C H A N G I ;   B a t t i s t e l l a   C ,   2 0 1 2 ,   M A N A G E   D E C I S ,   V 5 0 ,   P 7 1 8 ,   D O I   1 0 . 1 1 0 8 / 0 0 2 5 1 7 4 1 2 1 1 2 2 0 3 9 0 ;   B a t t i s t e l l a   C ,   2 0 1 1 ,   T E C H N O L   F O R E C A S T   S O C ,   V 7 8 ,   P 1 0 2 9 ,   D O I   1 0 . 1 0 1 6 / j . t e c h f o r e . 2 0 1 1 . 0 1 . 0 0 6 ;   B a t t i s t e l l a   C . ,   2 0 1 3 ,   T E C H N O L O G I C A L   F O R E C A ,   D O I   [ 1 0 . 1 0 1 6 / j . t e c h f o r e . 2 0 1 2 . 1 1 . 0 0 2 ,   D O I   1 0 . 1 0 1 6 / J . T E C H F 0 R E . 2 0 1 2 . 1 1 . 0 0 2 ] ;   B a t t i s t e l l a   C . ,   2 0 1 2 ,   I N F O R M   R E S ,   V 1 7 ;   B a t t i s t e l l a   C ,   2 0 1 3 ,   P R O D   P L A N   C O N T R O L ,   V 2 4 ,   P 2 2 6 ,   D O I   1 0 . 1 0 8 0 / 0 9 5 3 7 2 8 7 . 2 0 1 1 . 6 4 7 8 7 6 ;   B e c k e r   P . ,   2 0 0 2 ,   C O R P O R A T E   F O R E S I G H T ;   B e n k l e r ,   2 0 0 2 ,   Y A L E   L A W   J ,   V 1 1 2 ,   P 3 6 9 ;   B o n a c c o r s i   A . ,   2 0 0 4 ,   1   M O N D A Y ,   V 9 ,   P 9 ;   B r a b h a m   D .   C . ,   2 0 1 1 ,   P A R T I C I P A T O R Y   C U L T U R ,   P 1 2 0 ;   B r a b h a m   D .   C . ,   2 0 0 8 ,   1   M O N D A Y ,   V 1 3 ,   P 2 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B r o w n   P . ,   2 0 0 0 ,   S O C I A L   C A P I T A L   C R I T I ,   P 2 2 6 ;   C o r r o c h e r   N ,   2 0 1 1 ,   T E C H N O L   F O R E C A S T   S O C ,   V 7 8 ,   P 5 4 7 ,   D O I   1 0 . 1 0 1 6 / j . t e c h f o r e . 2 0 1 0 . 1 0 . 0 0 6 ;   D e   T o n i   A F ,   2 0 0 7 ,   I N T   J   P R O D U C T I V I T Y   P ,   V 5 6 ,   P 4 1 7 ,   D O I   [ 1 0 . 1 1 0 8 / 1 7 4 1 0 4 0 0 7 1 0 7 5 7 1 2 3 ,   D O I   1 0 . 1 1 0 8 / 1 7 4 1 0 4 0 0 7 1 0 7 5 7 1 2 3 ] ;   d e   T o n i   A l b e r t o   F ,   2 0 1 0 ,   L e a r n i n g   O r g a n i z a t i o n ,   V 1 7 ,   D O I   1 0 . 1 1 0 8 / 0 9 6 9 6 4 7 1 0 1 1 0 0 8 2 6 0 ;   D e   T o n i   A l b e r t o   F . ,   2 0 1 2 ,   L e a r n i n g   O r g a n i z a t i o n :   A n   I n t e r n a t i o n a l   J o u r n a l ,   V 1 9 ,   D O I   1 0 . 1 1 0 8 / 0 9 6 9 6 4 7 1 2 1 1 2 2 6 6 9 9 ;   D e c k e r   C ,   2 0 1 1 ,   T E C H N O L   F O R E C A S T   S O C ,   V 7 8 ,   P 1 0 0 2 ,   D O I   1 0 . 1 0 1 6 / j . t e c h f o r e . 2 0 1 1 . 0 1 . 0 1 0 ;   D e   T o n i   A F ,   2 0 1 1 ,   K N O W L   M A N   R E S   P R A C T ,   V 9 ,   P 3 2 7 ,   D O I   [ 1 0 . 1 0 5 7 / k m r p . 2 0 1 ,   1 0 . 1 0 5 7 / k m r p . 2 0 1 1 . 3 6 ] ;   E V A N S   B M ,   2 0 0 8 ,   P   2 0 0 8   A C M   C   C O M P   S U ,   P 4 8 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 6 0 5 6 3 . 1 4 6 0 6 4 1 ;   G e r g e n   K . ,   2 0 0 0 ,   S A T U R A T E D   S E L F   D I L E M ;   H a r g a d o n   A B ,   2 0 0 6 ,   O R G A N   S C I ,   V 1 7 ,   P 4 8 4 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 6 0 . 0 2 0 0 ;   H a r s   A ,   2 0 0 2 ,   I N T   J   E L E C T R O N   C O M M ,   V 6 ,   P 2 5 ;   H e r t e l   G ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 1 5 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 4 7 - 7 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   J e n k i n s   H e n r i ,   2 0 0 6 ,   C O N V E R G E N C E   C U L T U R E ;   J e p p e s e n   L B ,   2 0 0 6 ,   O R G A N   S C I ,   V 1 7 ,   P 4 5 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 5 0 . 0 1 5 6 ;   J o n e s   J . C . ,   1 9 9 2 ,   D E S I G N   M E T H O D S ;   K o l l o c k   P . ,   1 9 9 9 ,   C O M M U N I T I E S   C Y B E R S P A ,   P 2 2 0 ;   K r i p p e n d o r f f   K . ,   1 9 8 0 ,   A N A L I S I   C O N T E N U T O   I N ;   K r i p p e n d o r f f   K . ,   1 9 8 9 ,   D E S I G N   I S S U E S ,   V 5 ,   P 9 ,   D O I   1 0 . 2 3 0 7 / 1 5 1 1 5 1 2 ;   L a k h a n i   K .   R . ,   2 0 0 7 ,   0 7 0 5 0   H A R V   B U S   S C H ;   L a k h a n i   K .   R . ,   2 0 0 5 ,   P E R S P E C T I V E S   F R E E   O P ;   L e r n e r   J ,   2 0 0 2 ,   J   I N D   E C O N ,   V 5 0 ,   P 1 9 7 ;   L e r n e r   J ,   2 0 0 5 ,   J   E C O N   P E R S P E C T ,   V 1 9 ,   P 9 9 ,   D O I   1 0 . 1 2 5 7 / 0 8 9 5 3 3 0 0 5 4 0 4 8 6 7 8 ;   L i n d i c   J ,   2 0 1 1 ,   M A N A G E   D E C I S ,   V 4 9 ,   P 1 6 9 4 ,   D O I   1 0 . 1 1 0 8 / 0 0 2 5 1 7 4 1 1 1 1 1 8 3 8 3 4 ;   M c E l r o y   M . ,   2 0 0 2 ,   J   I N T E L L E C T U A L   C A P I T ,   V 3 ,   P 3 0 ,   D O I   1 0 . 1 1 0 8 / 1 4 6 9 1 9 3 0 2 1 0 4 1 2 8 2 7 ;   M u r i l l o   E . ,   2 0 1 1 ,   I N F O R M   R E S ,   V 1 6 ;   N a k k i   P . ,   2 0 0 8 ,   O N L I N E   T O O L S   C O D E S I G ;   N o n i n o   F ,   2 0 0 7 ,   S U P P L Y   C H A I N   M A N A G ,   V 1 2 ,   P 1 5 0 ,   D O I   1 0 . 1 1 0 8 / 1 3 5 9 8 5 4 0 7 1 0 7 3 7 3 3 4 ;   P i s a n o   G . ,   2 0 0 8 ,   H A R V A R D   B U S   R E V ,   V 8 2 ,   P 7 8 ;   R a y m o n d   E .   S . ,   1 9 9 9 ,   K N O W L E D G E   T E C H N O L O G Y ,   V 1 2 ,   P 2 3 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 2 1 3 0 - 9 9 9 - 1 0 2 6 - 0 ;   R h e i n g o l d   R ,   2 0 0 2 ,   S M A R T   M O B S   N E X T   S O C I ;   R i d i n g s   C .   M . ,   2 0 0 4 ,   J   C O M P U T - M E D I A T   C O M M ,   V 1 0 ,   D O I   [ 1 0 . 1 1 1 1 / j . 1 0 8 3 - 6 1 0 1 . 2 0 0 4 . t b 0 0 2 2 9 . x ,   D O I   1 0 . 1 1 1 1 / J . 1 0 8 3 - 6 1 0 1 . 2 0 0 4 . T B 0 0 2 2 9 . X ] ;   R o b e r t s   J A ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 9 8 4 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 5 4 ;   R o m e r o   D ,   2 0 1 1 ,   P R O D   P L A N   C O N T R O L ,   V 2 2 ,   P 4 4 7 ,   D O I   1 0 . 1 0 8 0 / 0 9 5 3 7 2 8 7 . 2 0 1 0 . 5 3 6 6 1 9 ;   R y a n   R M ,   2 0 0 0 ,   C O N T E M P   E D U C   P S Y C H O L ,   V 2 5 ,   P 5 4 ,   D O I   1 0 . 1 0 0 6 / c e p s . 1 9 9 9 . 1 0 2 0 ;   S t a l l m a n   R . M . ,   1 9 9 9 ,   O P E N   S O U R C E S   V O I C E S ;   S t e w a r t   K J ,   2 0 0 6 ,   M I S   Q U A R T ,   V 3 0 ,   P 2 9 1 ;   T a p s c o t t   D . ,   2 0 0 6 ,   W I K I N O M I C S   M A S S   C O L L ;   v o n   H i p p e l   E r i c ,   2 0 0 5 ,   D E M O C R A T I Z I N G   I N N O V A ;   v o n   H i p p e l   E ,   2 0 0 3 ,   O R G A N   S C I ,   V 1 4 ,   P 2 0 9 ;   W a s k o   M M ,   2 0 0 0 ,   J   S T R A T E G I C   I N F   S Y S T ,   V 9 ,   P 1 5 5 ;   X u   F ,   2 0 0 7 ,   C R E A T I V I T Y   I N N O V A T I O ,   V 1 6 ,   P 2 1 6 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 6 9 1 . 2 0 0 7 . 0 0 4 4 5 . x 	 6 3 	 1 	 1 	 E C O N T E N T   M A N A G E M E N T 	 M A L E N Y 	 P O   B O X   1 0 2 7 ,   M A L E N Y ,   Q U E E N S L A N D   4 5 5 2 ,   A U S T R A L I A 	 1 4 4 7 - 9 3 3 8 	 	 	 I N N O V - M A N A G   P O L I C Y   P 	 I n n o v . - M a n a g .   P o l i c y   P r a c t . 	 D E C 	 2 0 1 2 	 1 4 	 4 	 	 	 	 	 5 5 7 	 5 7 5 	 	 	 	 1 9 	 M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 0 8 9 S W 	 W O S : 0 0 0 3 1 4 9 3 1 3 0 0 0 0 6 	 	 
 J 	 D e l b o u r g o ,   J 	 	 	 	 D e l b o u r g o ,   J a m e s 	 	 	 L i s t i n g   P e o p l e 	 I S I S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 H i s t o r i a n s   a n d   c o m m e n t a t o r s   h a v e   l o n g   d i s c u s s e d   t e n s i o n s   b e t w e e n   s p e c i a l i s t   a n d   l a y   e x p e r t i s e   i n   t h e   m a k i n g   o f   s c i e n t i f i c   k n o w l e d g e .   S u c h   a c c o u n t s   h a v e   o f t e n   d e s c r i b e d   q u a r r e l s   o v e r   t h e   d i s t r i b u t i o n   o f   e x p e r t i s e   i n   n i n e t e e n t h - c e n t u r y   " p o p u l a r "   a n d   i m p e r i a l   s c i e n c e s .   T h e   " c r o w d s o u r c i n g "   o f   s c i e n c e   o n   a   g l o b a l   s c a l e ,   h o w e v e r ,   a r g u a b l y   b e g a n   i n   t h e   e a r l y   m o d e r n   e r a .   T h i s   e s s a y   e x a m i n e s   t h e   l i s t s   o f   s p e c i m e n   s u p p l i e r s ,   t h e   a r t i f a c t s   o f   a   w o r l d w i d e   c o l l e c t i n g   c a m p a i g n ,   p u b l i s h e d   b y   t h e   L o n d o n   a p o t h e c a r y   J a m e s   P e t i v e r   a t   t h e   t u r n   o f   t h e   e i g h t e e n t h   c e n t u r y .   L i s t i n g   s u p p l i e r s   h e l p e d   P e t i v e r   a d v e r t i s e   h i s   s t a t u s   a s   a   g l o b a l   s p e c i m e n   b r o k e r   i n   t h e   R e p u b l i c   o f   L e t t e r s .   H o w e v e r ,   p u b l i c l y   l i s t i n g   h i s   s o u r c e s   d r e w   c r i t i c i s m   o v e r   t h e   s o c i a l   c h a r a c t e r   o f   h i s   c o l l e c t i n g   p r o j e c t ,   w h i l e   l i s t s   b e c a m e   s y n o n y m o u s   w i t h   t h e   d e b a s e m e n t   o f   l e a r n i n g   i n   p o l e m i c s   o v e r   n a t u r a l   h i s t o r y . 	 R u t g e r s   S t a t e   U n i v ,   D e p t   H i s t ,   N e w   B r u n s w i c k ,   N J   0 8 9 0 1   U S A 	 D e l b o u r g o ,   J   ( r e p r i n t   a u t h o r ) ,   R u t g e r s   S t a t e   U n i v ,   D e p t   H i s t ,   1 6   S e m i n a r y   P l ,   N e w   B r u n s w i c k ,   N J   0 8 9 0 1   U S A . 	 	 	 	 	 	 [ A n o n y m o u s ] ,   C O M M U N I C A T I O N ;   [ A n o n y m o u s ] ,   1 7 0 1 ,   C O M M U N I C A T I O N       0 1 0 6 ;   [ A n o n y m o u s ] ,   1 7 4 1 ,   C O M M U N I C A T I O N       0 4 1 0 ;   B R I G H A M   D .   R . ,   1 9 9 8 ,   E M P I R E S   N A T U R E   M   C A T ,   P 9 1 ;   B u r k e   P e t e r ,   1 9 9 9 ,   F R I E N D S H I P   M E D I E V A L ,   P 2 6 2 ;   C o l l e y   L i n d a ,   1 9 9 2 ,   B R I T O N S   F O R G I N G   N A T I ,   P 5 6 ;   C o o k   H a r o l d   J . ,   2 0 0 7 ,   M A T T E R S   E X C H A N G E   C O M ;   C o o k   W i l l i a m   J . ,   2 0 1 2 ,   S T U D   H I S T   P H I L O S   M   P ,   V 4 3 ,   p [ 2 3 2 ,   2 3 7 ] ;   C o o p e r   A l i x ,   2 0 1 0 ,   I N V E N T I N G   I N D I G E N O U S ,   p [ 7 4 ,   7 9 ] ;   C o u l t o n   R ,   2 0 1 2 ,   J   E I G H T E E N T H - C E N T U R Y ,   V 3 5 ,   P 4 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 5 4 - 0 2 0 8 . 2 0 1 0 . 0 0 3 5 1 . x ;   E n d e r s b y   J i m ,   2 0 0 8 ,   I M P E R I A L   N A T U R E   J   H O ;   F e i n g o l d   M o r d e c h a i ,   2 0 0 1 ,   I   N E W T O N S   N A T U R A L   P H ,   P 7 7 ;   G o o d y   J a c k ,   1 9 7 7 ,   D O M E S T I C A T I O N   S A V A G E ;   H a r r i s   S J ,   1 9 9 8 ,   C O N F I G U R A T I O N S ,   V 6 ,   P 2 6 9 ,   D O I   1 0 . 1 3 5 3 / c o n . 1 9 9 8 . 0 0 1 8 ;   K e l l e r   V e r a ,   N E W   W O R L D   S C I   T E M P O R ;   K i n g   W i l l i a m ,   1 7 0 0 ,   T R A N S A C T I O N E E R ,   P 3 8 ;   L a t o u r   B . ,   2 0 0 5 ,   M A K I N G   T H I N G S   P U B L I C ;   L a w   J o h n ,   1 9 8 8 ,   H U M A N   S T U D I E S ,   V 1 1 ,   p [ 2 7 1 ,   2 7 4 ] ;   L e v i n e   D r   J o s e p h   M . ,   1 9 7 7 ,   W O O D W A R D S   S H I E L D   H I S ,   P 2 4 7 ;   L e w i s   A J ,   2 0 1 1 ,   E A R L Y   A M   S T U D   S E R ,   P 1 ;   L i n n a e u s   C a r o l u s ,   1 9 3 8 ,   C R I T I C A   B O T A N I C A   L I N ,   P 5 4 ;   M a r g o c s y   D a n i e l ,   2 0 1 0 ,   J   H I S T   I D E A S ,   V 7 7 ,   p [ 6 3 ,   6 8 ] ;   M a y o r   J .   E .   B . ,   1 9 1 1 ,   C A M B R I D G E   Q U E E N   A N N E ,   P 3 7 0 ;   M c O u a t   G ,   2 0 0 1 ,   B R I T   J   H I S T   S C I ,   V 3 4 ,   P 1 ;   M u l l e r - W i l l e   S t a f f a n ,   L I S T S   R E S   T E C H N O L O G I ;   O g i l v i e   B . ,   2 0 0 6 ,   S C I   D E S C R I B I N G   N A T U R ,   P 1 9 2 ;   P a r r i s h   S u s a n   S c o t t ,   2 0 0 7 ,   S C I   E M P I R E   A T L A N T I C ,   P 2 8 1 ;   P a r r i s h   S u s a n   S c o t t ,   2 0 0 6 ,   A M   C U R I O S I T Y   C U L T U R E ,   P 1 ;   P e t i v e r   J a m e s ,   1 6 9 5 ,   M U S E I   P E T I V E R I A N I ,   P 4 3 ;   P e t i v e r   J a m e s ,   1 7 0 0 ,   D I R E C T I O N S   E A S I E   M A K ;   P e t i v e r   J a m e s ,   1 6 9 5 ,   P H I L O S   T ,   V 1 9 ,   P 6 7 7 ,   D O I   1 0 . 1 0 9 8 / r s t l . 1 6 9 5 . 0 1 2 4 ;   P i s a n i   E l i z a b e t h ,   2 0 1 0 ,   P R O S P E C T ,   P 1 7 7 ;   P o r t e r   R o y ,   1 9 9 0 ,   E N L I G H T E N M E N T ,   P 4 9 ;   P o y n t e r   F .   N .   L . ,   1 9 6 3 ,   J   J   Y O N G E   1 6 4 7   1 7 2 1 ,   P 2 4 ;   P u g l i a n o   V a l e n t i n a ,   S P E C I M E N   L I S T S   A R T I S ;   R u s n o c k   A n d r e a   A . ,   1 9 9 9 ,   S C I   E N L I G H T E N E D   E U R O ,   P 4 9 ;   S c h a f f e r ,   2 0 0 9 ,   B R O K E R E D   W O R L D   G O   B E ;   S c h a f f e r   S ,   2 0 0 9 ,   H I S T   S C I ,   V 4 7 ,   P 2 4 3 ;   S E C O R D   A ,   1 9 9 4 ,   H I S T   S C I ,   V 3 2 ,   P 2 6 9 ;   S e c o r d   J .   A . ,   1 9 8 5 ,   D A R W I N I A N   H E R I T A G E ,   P 5 1 9 ;   S h a p i n   S t e v e n ,   1 9 9 4 ,   S O C I A L   H I S T   T R U T H   C I ;   S l o a n e   H a n s ,   1 7 0 7 ,   V O Y A G E   I S L A N D S   M A D E R ,   V 2 ,   p i v ;   S m a l l w o o d   S t e p h a n i e   E . ,   2 0 0 7 ,   S A L T W A T E R   S L A V E R Y   M I ;   S t e a r n s   R a y m o n d ,   1 9 4 6 ,   W I L L I A M   M A R Y   Q ,   V 3 ,   P 2 0 8 ,   D O I   1 0 . 2 3 0 7 / 1 9 2 0 3 2 3 ;   S t e a r n s   R a y m o n d   P . ,   1 9 5 3 ,   J   P E T I V E R   P R O M O T E R   N ;   S w a n n   M a r j o r i e ,   2 0 0 1 ,   C U R I O S I T I E S   T E X T S   C U ,   P 9 0 ;   S w i f t   J o n a t h a n ,   1 9 9 9 ,   T A L E   T U B   O T H E R   W O R K S ,   P 7 0 ;   T a m e n   M i g u e l ,   2 0 1 1 ,   C O L L E C T I O N   J   M U S E U M ,   V 6 ,   p [ 2 0 9 ,   2 0 5 ] ;   W e i n b e r g e r   D a v i d ,   2 0 1 2 ,   T O O   B I G   K N O W   R E T H I N K ,   p [ 1 3 2 ,   1 3 4 ,   1 3 6 ] ;   W i n t e r b o t t o m   A n n a ,   2 0 1 1 ,   T H E S I S   U   L O N D O N 	 5 0 	 0 	 0 	 U N I V   C H I C A G O   P R E S S 	 C H I C A G O 	 1 4 2 7   E   6 0 T H   S T ,   C H I C A G O ,   I L   6 0 6 3 7 - 2 9 5 4   U S A 	 0 0 2 1 - 1 7 5 3 	 	 	 I S I S 	 I s i s 	 D E C 	 2 0 1 2 	 1 0 3 	 4 	 	 	 	 	 7 3 5 	 7 4 2 	 	 1 0 . 1 0 8 6 / 6 6 9 0 4 6 	 	 8 	 H i s t o r y   &   P h i l o s o p h y   O f   S c i e n c e 	 H i s t o r y   &   P h i l o s o p h y   o f   S c i e n c e 	 0 8 8 I M 	 W O S : 0 0 0 3 1 4 8 2 7 5 0 0 0 0 7 	 2 3 4 8 8 2 4 1 	 
 J 	 K u p e r m a n ,   V ;   S t a d t h a g e n - G o n z a l e z ,   H ;   B r y s b a e r t ,   M 	 	 	 	 K u p e r m a n ,   V i c t o r ;   S t a d t h a g e n - G o n z a l e z ,   H a n s ;   B r y s b a e r t ,   M a r c 	 	 	 A g e - o f - a c q u i s i t i o n   r a t i n g s   f o r   3 0 , 0 0 0   E n g l i s h   w o r d s 	 B E H A V I O R   R E S E A R C H   M E T H O D S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 W o r d   r e c o g n i t i o n ;   A g e   o f   a c q u i s i t i o n ;   R a t i n g s ;   A m a z o n   M e c h a n i c a l   T u r k 	 L E X I C A L   D E C I S I O N   D A T A ;   F R E Q U E N C Y   N O R M S ;   P R O J E C T ;   R E C O G N I T I O N ;   F A M I L I A R I T Y ;   T A S K S ;   I M A G E A B I L I T Y ;   C O N C R E T E N E S S ;   H Y P O T H E S I S ;   I M A G E R Y 	 W e   p r e s e n t   a g e - o f - a c q u i s i t i o n   ( A o A )   r a t i n g s   f o r   3 0 , 1 2 1   E n g l i s h   c o n t e n t   w o r d s   ( n o u n s ,   v e r b s ,   a n d   a d j e c t i v e s ) .   F o r   d a t a   c o l l e c t i o n ,   t h i s   m e g a s t u d y   u s e d   t h e   W e b - b a s e d   c r o w d s o u r c i n g   t e c h n o l o g y   o f f e r e d   b y   t h e   A m a z o n   M e c h a n i c a l   T u r k .   O u r   d a t a   i n d i c a t e   t h a t   t h e   r a t i n g s   c o l l e c t e d   i n   t h i s   w a y   a r e   a s   v a l i d   a n d   r e l i a b l e   a s   t h o s e   c o l l e c t e d   i n   l a b o r a t o r y   c o n d i t i o n s   ( t h e   c o r r e l a t i o n   b e t w e e n   o u r   r a t i n g s   a n d   t h o s e   c o l l e c t e d   i n   t h e   l a b   f r o m   U .   S .   s t u d e n t s   r e a c h e d   . 9 3   f o r   a   s u b s a m p l e   o f   2 , 5 0 0   m o n o s y l l a b i c   w o r d s ) .   W e   a l s o   s h o w   t h a t   o u r   A o A   r a t i n g s   e x p l a i n   a   s u b s t a n t i a l   p e r c e n t a g e   o f   t h e   v a r i a n c e   i n   t h e   l e x i c a l - d e c i s i o n   d a t a   o f   t h e   E n g l i s h   L e x i c o n   P r o j e c t ,   o v e r   a n d   a b o v e   t h e   e f f e c t s   o f   l o g   f r e q u e n c y ,   w o r d   l e n g t h ,   a n d   s i m i l a r i t y   t o   o t h e r   w o r d s .   T h i s   i s   t r u e   n o t   o n l y   f o r   t h e   l e m m a s   u s e d   i n   o u r   r a t i n g   s t u d y ,   b u t   a l s o   f o r   t h e i r   i n f l e c t e d   f o r m s .   W e   f u r t h e r   d i s c u s s   t h e   r e l a t i o n s h i p s   o f   A o A   w i t h   o t h e r   p r e d i c t o r s   o f   w o r d   r e c o g n i t i o n   a n d   i l l u s t r a t e   t h e   u t i l i t y   o f   A o A   r a t i n g s   f o r   r e s e a r c h   o n   v o c a b u l a r y   g r o w t h . 	 [ K u p e r m a n ,   V i c t o r ]   M c M a s t e r   U n i v ,   D e p t   L i n g u i s t   &   L a n g u a g e s ,   H a m i l t o n ,   O N   L 8 S   4 M 2 ,   C a n a d a ;   [ S t a d t h a g e n - G o n z a l e z ,   H a n s ]   B a n g o r   U n i v ,   B a n g o r ,   G w y n e d d ,   W a l e s ;   [ B r y s b a e r t ,   M a r c ]   U n i v   G h e n t ,   B - 9 0 0 0   G h e n t ,   B e l g i u m 	 K u p e r m a n ,   V   ( r e p r i n t   a u t h o r ) ,   M c M a s t e r   U n i v ,   D e p t   L i n g u i s t   &   L a n g u a g e s ,   T o g o   S a l m o n   H a l l   6 2 6 , 1 2 8 0   M a i n   S t   W ,   H a m i l t o n ,   O N   L 8 S   4 M 2 ,   C a n a d a . 	 v i c k u p @ m c m a s t e r . c a 	 	 	 	 	 B a l o t a   D A ,   2 0 0 4 ,   J   E X P   P S Y C H O L   G E N ,   V 1 3 3 ,   P 2 8 3 ,   D O I   1 0 . 1 0 3 7 / 0 0 9 6 - 3 4 4 5 . 1 3 3 . 2 . 2 8 3 ;   B a l o t a   D A ,   2 0 0 7 ,   B E H A V   R E S   M E T H O D S ,   V 3 9 ,   P 4 4 5 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 1 9 3 0 1 4 ;   B a r e n b o y m   D A ,   2 0 1 0 ,   B E H A V   R E S   M E T H O D S ,   V 4 2 ,   P 2 7 3 ,   D O I   1 0 . 3 7 5 8 / B R M . 4 2 . 1 . 2 7 3 ;   B i e m i l l e r   A ,   2 0 0 1 ,   J   E D U C   P S Y C H O L ,   V 9 3 ,   P 4 9 8 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 0 6 6 3 . 9 3 . 3 . 4 9 8 ;   B i r d   H ,   2 0 0 1 ,   B E H A V   R E S   M E T H   I N S   C ,   V 3 3 ,   P 7 3 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 1 9 5 3 4 9 ;   B o n i n   P ,   2 0 0 4 ,   J   M E M   L A N G ,   V 5 0 ,   P 4 5 6 ,   D O I   1 0 . 1 0 1 6 / j . j m l . 2 0 0 4 . 0 2 . 0 0 1 ;   D E B O Y S S O N B A R D I E S   B ,   1 9 9 1 ,   L A N G U A G E ,   V 6 7 ,   P 2 9 7 ,   D O I   1 0 . 2 3 0 7 / 4 1 5 1 0 8 ;   B r y s b a e r t   M ,   2 0 1 1 ,   E X P   P S Y C H O L ,   V 5 8 ,   P 4 1 2 ,   D O I   1 0 . 1 0 2 7 / 1 6 1 8 - 3 1 6 9 / a 0 0 0 1 2 3 ;   B r y s b a e r t   M ,   2 0 0 0 ,   A C T A   P S Y C H O L ,   V 1 0 4 ,   P 2 1 5 ,   D O I   1 0 . 1 0 1 6 / S 0 0 0 1 - 6 9 1 8 ( 0 0 ) 0 0 0 2 1 - 4 ;   B r y s b a e r t   M ,   2 0 0 9 ,   B E H A V   R E S   M E T H O D S ,   V 4 1 ,   P 9 7 7 ,   D O I   1 0 . 3 7 5 8 / B R M . 4 1 . 4 . 9 7 7 ;   B r y s b a e r t   M ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 9 9 1 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 2 - 0 1 9 0 - 4 ;   B r y s b a e r t   M ,   2 0 0 6 ,   V I S   C O G N ,   V 1 3 ,   P 9 9 2 ,   D O I   1 0 . 1 0 8 0 / 1 3 5 0 6 2 8 0 5 4 4 0 0 0 1 6 5 ;   B r y s b a e r t   M ,   2 0 1 1 ,   Q   J   E X P   P S Y C H O L ,   V 6 4 ,   P 5 4 5 ,   D O I   1 0 . 1 0 8 0 / 1 7 4 7 0 2 1 8 . 2 0 1 0 . 5 0 3 3 7 4 ;   C l a r k   J M ,   2 0 0 4 ,   B E H A V   R E S   M E T H   I N S   C ,   V 3 6 ,   P 3 7 1 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 1 9 5 5 8 4 ;   C o r t e s e   M J ,   2 0 0 8 ,   B E H A V   R E S   M E T H O D S ,   V 4 0 ,   P 7 9 1 ,   D O I   1 0 . 3 7 5 8 / B R M . 4 0 . 3 . 7 9 1 ;   F e r r a n d   L . ,   2 0 1 1 ,   F R O N T I E R S   P S Y C H O L ,   V 2 ,   P 1 ;   F e r r a n d   L ,   2 0 1 0 ,   B E H A V   R E S   M E T H O D S ,   V 4 2 ,   P 4 8 8 ,   D O I   1 0 . 3 7 5 8 / B R M . 4 2 . 2 . 4 8 8 ;   F i t z s i m m o n s   G ,   2 0 1 1 ,   P S Y C H O N   B   R E V ,   V 1 8 ,   P 7 3 6 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 3 - 0 1 1 - 0 1 0 5 - x ;   G h y s e l i n c k   M ,   2 0 0 0 ,   P S Y C H O L   B E L G ,   V 4 0 ,   P 7 7 ;   G h y s e l i n c k   M ,   2 0 0 4 ,   A C T A   P S Y C H O L ,   V 1 1 5 ,   P 4 3 ,   D O I   1 0 . 1 0 1 6 / j . a c t p s y . 2 0 0 3 . 1 1 . 0 0 2 ;   G i b s o n   E ,   2 0 1 1 ,   L A N G U A G E   L I N G U I S T I C S ,   V 5 ,   P 5 0 9 ,   D O I   D O I   1 0 . 1 1 1 1 / J . 1 7 4 9 - 8 1 8 X . 2 0 1 1 ;   G I L H O O L Y   K J ,   1 9 8 0 ,   B E H A V   R E S   M E T H   I N S T R ,   V 1 2 ,   P 3 9 5 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 2 0 1 6 9 3 ;   G I L H O O L Y   K J ,   1 9 8 0 ,   B E H A V   R E S   M E T H   I N S T R ,   V 1 2 ,   P 4 2 8 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 2 0 1 6 9 4 ;   I z u r a   C ,   2 0 1 1 ,   J   M E M   L A N G ,   V 6 4 ,   P 3 2 ,   D O I   1 0 . 1 0 1 6 / j . j m l . 2 0 1 0 . 0 9 . 0 0 2 ;   J o h n s t o n   R A ,   2 0 0 6 ,   V I S   C O G N ,   V 1 3 ,   P 7 8 9 ,   D O I   1 0 . 1 0 8 0 / 1 3 5 0 6 2 8 0 5 4 4 0 0 0 0 6 6 ;   J u h a s z   B J ,   2 0 1 1 ,   Q   J   E X P   P S Y C H O L ,   V 6 4 ,   P 1 6 8 3 ,   D O I   1 0 . 1 0 8 0 / 1 7 4 7 0 2 1 8 . 2 0 1 1 . 6 0 5 1 5 0 ;   J u h a s z   B J ,   2 0 0 5 ,   P S Y C H O L   B U L L ,   V 1 3 1 ,   P 6 8 4 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 0 9 . 1 3 1 . 5 . 6 8 4 ;   K e u l e e r s   E ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 2 8 7 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 1 1 8 - 4 ;   K e u l e e r s   E ,   2 0 1 0 ,   F R O N T   P S Y C H O L ,   V 1 ,   D O I   1 0 . 3 3 8 9 / f p s y g . 2 0 1 0 . 0 0 1 7 4 ;   M A S O N   W ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 1 ,   D O I   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 1 2 4 - 6 ;   M o n a g h a n   P ,   2 0 1 0 ,   J   M E M   L A N G ,   V 6 3 ,   P 5 0 6 ,   D O I   1 0 . 1 0 1 6 / j . j m l . 2 0 1 0 . 0 8 . 0 0 3 ;   M u n r o   R . ,   2 0 1 0 ,   W O R K S H   C R E A T   S P E E C H ,   P 1 2 2 ;   M u r r a y   W S ,   2 0 0 4 ,   P S Y C H O L   R E V ,   V 1 1 1 ,   P 7 2 1 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 5 X . 1 1 1 . 3 . 7 2 1 ;   N e w   B ,   2 0 0 6 ,   P S Y C H O N   B   R E V ,   V 1 3 ,   P 4 5 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 1 9 3 8 1 1 ;   P e r e z   M A ,   2 0 0 7 ,   Q   J   E X P   P S Y C H O L ,   V 6 0 ,   P 3 2 ,   D O I   1 0 . 1 0 8 0 / 1 7 4 7 0 2 1 0 6 0 0 5 7 7 4 2 3 ;   S a i l o r   K M ,   2 0 1 1 ,   Q   J   E X P   P S Y C H O L ,   V 6 4 ,   P 2 3 8 3 ,   D O I   1 0 . 1 0 8 0 / 1 7 4 7 0 2 1 8 . 2 0 1 1 . 5 9 6 6 6 0 ;   S c h n o e b e l e n   T ,   2 0 1 0 ,   P S I H O L O G I J A ,   V 4 3 ,   P 4 4 1 ,   D O I   1 0 . 2 2 9 8 / P S I 1 0 0 4 4 4 1 S ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   S p r o u s e   J ,   2 0 1 1 ,   B E H A V   R E S   M E T H O D S ,   V 4 3 ,   P 1 5 5 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 0 - 0 0 3 9 - 7 ;   S t a d t h a g e n - G o n z a l e z   H ,   2 0 0 4 ,   C O G N I T I O N ,   V 9 3 ,   p B 1 1 ,   D O I   1 0 . 1 0 1 6 / j . c o g n i t i o n . 2 0 0 3 . 1 0 . 0 0 9 ;   S t a d t h a g e n - G o n z a l e z   H ,   2 0 0 6 ,   B E H A V   R E S   M E T H O D S ,   V 3 8 ,   P 5 9 8 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 1 9 3 8 9 1 ;   S t e y v e r s   M ,   2 0 0 5 ,   C O G N I T I V E   S C I ,   V 2 9 ,   P 4 1 ,   D O I   1 0 . 1 2 0 7 / s 1 5 5 1 6 7 0 9 c o g 2 9 0 1 _ 3 ;   W u r m   L .   H . ,   2 0 1 0 ,   M E N T A L   L E X I C O N ,   V 5 ,   P 3 5 8 ,   D O I   1 0 . 1 0 7 5 / m l . 5 . 3 . 0 6 w u r ;   Y a p   M .   J . ,   2 0 0 9 ,   A U D I T O R Y   W O R D   U N P U B ;   Y a p   M J ,   2 0 0 9 ,   J   M E M   L A N G ,   V 6 0 ,   P 5 0 2 ,   D O I   1 0 . 1 0 1 6 / j . j m l . 2 0 0 9 . 0 2 . 0 0 1 ;   Y a r k o n i   T ,   2 0 0 8 ,   P S Y C H O N   B   R E V ,   V 1 5 ,   P 9 7 1 ,   D O I   [ 1 0 . 3 7 5 8 / P B R . 1 5 . 5 . 9 7 1 ,   1 0 . 3 7 3 8 / P B R . 1 5 . 5 . 9 7 1 ] ;   Z e v i n   J D ,   2 0 0 2 ,   J   M E M   L A N G ,   V 4 7 ,   P 1 ,   D O I   1 0 . 1 0 0 6 / j m l a . 2 0 0 1 . 2 8 3 4 	 4 7 	 2 8 	 2 8 	 S P R I N G E R 	 N E W   Y O R K 	 2 3 3   S P R I N G   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 3   U S A 	 1 5 5 4 - 3 5 1 X 	 	 	 B E H A V   R E S   M E T H O D S 	 B e h a v .   R e s .   M e t h o d s 	 D E C 	 2 0 1 2 	 4 4 	 4 	 	 	 	 	 9 7 8 	 9 9 0 	 	 1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 2 - 0 2 1 0 - 4 	 	 1 3 	 P s y c h o l o g y ,   M a t h e m a t i c a l ;   P s y c h o l o g y ,   E x p e r i m e n t a l 	 P s y c h o l o g y 	 0 8 4 X H 	 W O S : 0 0 0 3 1 4 5 7 3 2 0 0 0 0 9 	 2 2 5 8 1 4 9 3 	 
 J 	 P a r k ,   H ;   P a n g ,   R ;   P a r a m e s w a r a n ,   A ;   G a r c i a - M o l i n a ,   H ;   P o l y z o t i s ,   N ;   W i d o m ,   J 	 	 	 	 P a r k ,   H y u n j u n g ;   P a n g ,   R i c h a r d ;   P a r a m e s w a r a n ,   A d i t y a ;   G a r c i a - M o l i n a ,   H e c t o r ;   P o l y z o t i s ,   N e o k l i s ;   W i d o m ,   J e n n i f e r 	 	 	 A n   O v e r v i e w   o f   t h e   D e c o   S y s t e m :   D a t a   M o d e l   a n d   Q u e r y   L a n g u a g e ;   Q u e r y   P r o c e s s i n g   a n d   O p t i m i z a t i o n 	 S I G M O D   R E C O R D 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 D e c o   i s   a   c o m p r e h e n s i v e   s y s t e m   f o r   a n s w e r i n g   d e c l a r a t i v e   q u e r i e s   p o s e d   o v e r   s t o r e d   r e l a t i o n a l   d a t a   t o g e t h e r   w i t h   d a t a   o b t a i n e d   o n - d e m a n d   f r o m   t h e   c r o w d .   I n   t h i s   o v e r v i e w   p a p e r ,   w e   d e s c r i b e   D e c o ' s   d a t a   m o d e l ,   q u e r y   l a n g u a g e ,   a n d   s y s t e m   p r o t o t y p e ,   s u m m a r i z i n g   m a t e r i a l   f r o m   e a r l i e r   p a p e r s .   D e c o ' s   d a t a   m o d e l   w a s   d e s i g n e d   t o   b e   g e n e r a l ,   f l e x i b l e ,   a n d   p r i n c i p l e d .   D e c o ' s   q u e r y   l a n g u a g e   e x t e n d s   S Q L   w i t h   s i m p l e   c o n s t r u c t s   n e c e s s a r y   f o r   c r o w d s o u r c i n g ,   a n d   h a s   a   p r e c i s e   s e m a n t i c s   f o r   a r b i t r a r y   q u e r i e s .   D e c o ' s   q u e r y   e x e c u t i o n   e n g i n e   a n d   c o s t - b a s e d   q u e r y   o p t i m i z e r   i n c o r p o r a t e   m a n y   n o v e l   t e c h n i q u e s   t o   a d d r e s s   t h e   l i m i t a t i o n s   o f   t r a d i t i o n a l   q u e r y   p r o c e s s i n g   t e c h n i q u e s   i n   t h e   c r o w d s o u r c i n g   s e t t i n g .   Q u e r y   p r o c e s s i n g   i s   g u i d e d   b y   t h e   o b j e c t i v e   o f   m i n i m i z i n g   m o n e t a r y   c o s t   a n d   r e d u c i n g   l a t e n c y . 	 [ P a r k ,   H y u n j u n g ;   P a r a m e s w a r a n ,   A d i t y a ;   G a r c i a - M o l i n a ,   H e c t o r ;   W i d o m ,   J e n n i f e r ]   S t a n f o r d   U n i v ,   S t a n f o r d ,   C A   9 4 3 0 5   U S A ;   [ P o l y z o t i s ,   N e o k l i s ]   U C   S a n t a   C r u z ,   S a n t a   C r u z ,   C A   U S A 	 P a r k ,   H   ( r e p r i n t   a u t h o r ) ,   S t a n f o r d   U n i v ,   S t a n f o r d ,   C A   9 4 3 0 5   U S A . 	 	 	 	 	 	 A h m a d   S . ,   2 0 1 1 ,   U I S T ;   B l a k e l e y   J .   A . ,   1 9 8 6 ,   S I G M O D ;   B o z z o n   A . ,   2 0 1 2 ,   W W W ;   D e u t c h   D . ,   2 0 1 2 ,   W W W ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   F r a n k l i n   M .   J . ,   2 0 1 1 ,   S I G M O D ;   G o l d m a n   R . ,   2 0 0 0 ,   S I G M O D ;   J e f f e r y   S .   R . ,   2 0 1 3 ,   C I D R ;   M a r c u s   A . ,   2 0 1 1 ,   C I D R ;   M a r c u s   A . ,   2 0 1 2 ,   V L D B ;   P a r a m e s w a r a n   A . ,   2 0 1 2 ,   C I K M ;   P a r k   H . ,   2 0 1 2 ,   V L D B ;   P a r k   H . ,   2 0 1 2 ,   T E C H N I C A L   R E P O R T 	 1 3 	 0 	 0 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 2   P E N N   P L A Z A ,   S T E   7 0 1 ,   N E W   Y O R K ,   N Y   1 0 1 2 1 - 0 7 0 1   U S A 	 0 1 6 3 - 5 8 0 8 	 	 	 S I G M O D   R E C 	 S i g m o d   R e c . 	 D E C 	 2 0 1 2 	 4 1 	 4 	 	 	 	 	 2 2 	 2 7 	 	 	 	 6 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 0 7 5 T Y 	 W O S : 0 0 0 3 1 3 9 1 0 9 0 0 0 0 3 	 	 
 J 	 H e n n e k e n ,   R ;   H e l m ,   S ;   M e n z e l ,   A 	 	 	 	 H e n n e k e n ,   R . ;   H e l m ,   S . ;   M e n z e l ,   A . 	 	 	 M e t e o r o l o g i c a l   I n f l u e n c e s   o n   S w a r m   E m e r g e n c e   i n   H o n e y   B e e s   ( H y m e n o p t e r a :   A p i d a e )   a s   D e t e c t e d   b y   C r o w d s o u r c i n g 	 E N V I R O N M E N T A L   E N T O M O L O G Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 A p i s   m e l l i f e r a ;   p h e n o l o g y ;   s w a r m ;   d i s t r i b u t i o n 	 A P I S - M E L L I F E R A   L ;   B E H A V I O R 	 A   c r o w d s o u r c e d   d a t a s e t   o f   1 , 3 3 5   h o n e y   b e e   ( A p i s   m e l l i f e r a   L . )   s w a r m   e v e n t s   i n   G e r m a n y   i n   2 0 1 1   w a s   c r e a t e d   b y   b e e k e e p e r s ,   p u b l i c   i n s t i t u t i o n s ,   a n d   m e m b e r s   o f   t h e   p u b l i c   a n d   a n a l y z e d   w i t h   r e s p e c t   t o   p r e v a i l i n g   w e a t h e r .   T h e   e m e r g e n c e   o f   s w a r m s   a p p e a r e d   t o   b e   i n f l u e n c e d   b y   t e m p e r a t u r e   a n d   r a i n f a l l .   O n   s u c c e s s i v e   w a r m   d a y s   i n   M a y   t h e   n u m b e r   o f   s w a r m i n g   e v e n t s   i n c r e a s e d   n o t i c e a b l y ,   b u t   d u r i n g   a   m i d - m o n t h   f r o s t   e v e n t   t h e   n u m b e r   o f   s w a r m i n g   e v e n t s   d r o p p e d   m a r k e d l y .   S w a r m i n g   e v e n t s   a l s o   o c c u r r e d   o n l y   r a r e l y   o n   r a i n y   d a y s .   T h i s   s t u d y   s h o w e d   h o w   c r o w d s o u r c i n g   c a n   b e   u s e d   t o   g e n e r a t e   l a r g e ,   u s e f u l ,   p h e n o l o g i c a l   d a t a s e t s . 	 [ H e n n e k e n ,   R . ;   M e n z e l ,   A . ]   T e c h   U n i v   M u n i c h ,   D - 8 5 3 5 4   F r e i s i n g   W e i h e n s t e p h a n ,   G e r m a n y ;   [ H e n n e k e n ,   R . ;   H e l m ,   S . ]   K l i m a b i e n e ,   D - 8 5 3 5 6   F r e i s i n g   W e i h e n s t e p h a n ,   G e r m a n y 	 H e n n e k e n ,   R   ( r e p r i n t   a u t h o r ) ,   T e c h   U n i v   M u n i c h ,   H a n s   C a r l   v o n   C a r l o w i t z   P l   2 ,   D - 8 5 3 5 4   F r e i s i n g   W e i h e n s t e p h a n ,   G e r m a n y . 	 h e n n e k e n @ t u m . d e 	 M e n z e l ,   A n n e t t e / B - 1 1 0 5 - 2 0 1 3 	 	 	 	 B U R G E T T   D M ,   1 9 7 4 ,   A N N   E N T O M O L   S O C   A M ,   V 6 7 ,   P 7 1 9 ;   B u t t e l - R e e p e n   H .   V . ,   1 9 1 5 ,   L E B E N   W E S E N   B I E N E N ;   C A R O N   D M ,   1 9 7 9 ,   A M   B E E   J ,   V 1 1 9 ,   P 2 4 ;   D e m u t h   G .   S . ,   1 9 2 1 ,   F A R M E R S   B   U S D A ,   V 1 1 9 8 ,   P 1 ;   F e f f e r m a n   N H ,   2 0 0 6 ,   I N S E C T   S O C ,   V 5 3 ,   P 3 7 ,   D O I   1 0 . 1 0 0 7 / s 0 0 0 4 0 - 0 0 5 - 0 8 3 3 - x ;   F E L L   R D ,   1 9 7 7 ,   J   A P I C U L T   R E S ,   V 1 6 ,   P 1 7 0 ;   G e r s t u n g   F . ,   1 9 2 1 ,   B I E N   S E I N E   Z U C H T ;   H u b e r   F . ,   1 7 9 2 ,   N O U V E L L E S   O B S E R V A T I O ;   J e f f r e e   E .   P . ,   1 9 5 1 ,   W I L T S H I R E   B E E K E E P E R S ,   V 7 4 ,   P 2 ;   K E F U S S   J A ,   1 9 7 8 ,   J   A P I C U L T   R E S ,   V 1 7 ,   P 1 3 7 ;   K l i m a b i e n e ,   2 0 1 1 ,   P R O J   K L I M ;   M a r t i n   P . ,   1 9 6 3 ,   I n s e c t e s   S o c i a u x   P a r i s ,   V 1 0 ,   P 1 3 ,   D O I   1 0 . 1 0 0 7 / B F 0 2 2 2 3 5 2 0 ;   M I T C H E N E R   A V ,   1 9 4 7 ,   J   E C O N   E N T O M O L ,   V 4 0 ,   P 8 5 4 ;   M I T C H E N E R   A V ,   1 9 4 8 ,   J   E C O N   E N T O M O L ,   V 4 1 ,   P 6 4 6 ;   M o r l a n d   D M T ,   1 9 3 0 ,   A N N   A P P L   B I O L ,   V 1 7 ,   P 1 3 7 ;   M u l l e r - W e s t e r m e i e r   G . ,   1 9 9 5 ,   B E R I C H T E   D T S C H   W E T T E ,   V 1 9 3 ;   P A G E   R E ,   1 9 8 1 ,   A M   B E E   J ,   V 1 2 1 ,   P 2 6 6 ;   R a n k m o r e   M . ,   2 0 0 9 ,   N S W   D E P   P R I M A R Y   I N D ,   V 9 3 ,   P 1 ;   S c h w a r m b o r s e ,   2 0 1 1 ,   S C H W A R M B   M E L L   V E R   W E ;   S E E L E Y   T D ,   1 9 8 5 ,   E C O L   E N T O M O L ,   V 1 0 ,   P 8 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 3 1 1 . 1 9 8 5 . t b 0 0 5 3 7 . x ;   S I M P S O N   J . ,   1 9 5 8 ,   I N S E C T S   S O C I A U X ,   V 5 ,   P 7 7 ,   D O I   1 0 . 1 0 0 7 / B F 0 2 2 2 2 4 3 0 ;   S I M P S O N   J . ,   1 9 5 9 ,   I N S E C T E S   S O C I A U X ,   V 6 ,   P 8 5 ,   D O I   1 0 . 1 0 0 7 / B F 0 2 2 2 3 7 9 3 ;   S o m e r v i l l e   D . ,   2 0 0 0 ,   A G N O T E   N S W   A G R   D A I ,   V 1 2 5 ,   P 1 ;   V i l l a   J D ,   2 0 0 4 ,   A N N   E N T O M O L   S O C   A M ,   V 9 7 ,   P 1 1 1 ,   D O I   1 0 . 1 6 0 3 / 0 0 1 3 - 8 7 4 6 ( 2 0 0 4 ) 0 9 7 [ 0 1 1 1 : S B O H B H ] 2 . 0 . C O ; 2 ;   W I N S T O N   M L ,   1 9 9 1 ,   J   I N S E C T   B E H A V ,   V 4 ,   P 6 4 9 ,   D O I   1 0 . 1 0 0 7 / B F 0 1 0 4 8 0 7 6 ;   W I N S T O N   M L ,   1 9 8 0 ,   I N S E C T   S O C ,   V 2 7 ,   P 2 8 9 ,   D O I   1 0 . 1 0 0 7 / B F 0 2 2 2 3 7 2 2 	 2 6 	 0 	 0 	 E N T O M O L O G I C A L   S O C   A M E R 	 L A N H A M 	 1 0 0 0 1   D E R E K W O O D   L A N E ,   S T E   1 0 0 ,   L A N H A M ,   M D   2 0 7 0 6 - 4 8 7 6   U S A 	 0 0 4 6 - 2 2 5 X 	 	 	 E N V I R O N   E N T O M O L 	 E n v i r o n .   E n t o m o l . 	 D E C 	 2 0 1 2 	 4 1 	 6 	 	 	 	 	 1 4 6 2 	 1 4 6 5 	 	 1 0 . 1 6 0 3 / E N 1 2 1 3 9 	 	 4 	 E n t o m o l o g y 	 E n t o m o l o g y 	 0 5 8 Y C 	 W O S : 0 0 0 3 1 2 6 7 0 0 0 0 0 1 9 	 2 3 3 2 1 0 9 3 	 
 J 	 M e r r i m a n ,   B ;   R o t h b e r g ,   J M 	 	 	 	 M e r r i m a n ,   B a r r y ;   R o t h b e r g ,   J o n a t h a n   M . 	 	 I o n   T o r r e n t   R & D   T e a m 	 P r o g r e s s   i n   I o n   T o r r e n t   s e m i c o n d u c t o r   c h i p   b a s e d   s e q u e n c i n g 	 E L E C T R O P H O R E S I S 	 	 	 E n g l i s h 	 R e v i e w 	 	 	 	 	 	 B i o s e n s o r ;   C M O S   s e n s o r   a r r a y ;   D N A   s e q u e n c i n g ;   I S F E T ;   N e x t - g e n e r a t i o n   s e q u e n c i n g 	 C M O S   T E C H N O L O G Y ;   S E N S O R ;   D E V I C E 	 I n   o r d e r   f o r   n e x t - g e n e r a t i o n   s e q u e n c i n g   t o   b e c o m e   w i d e l y   u s e d   a s   a   d i a g n o s t i c   i n   t h e   h e a l t h c a r e   i n d u s t r y ,   s e q u e n c i n g   i n s t r u m e n t a t i o n   w i l l   n e e d   t o   b e   m a s s   p r o d u c e d   w i t h   a   h i g h   d e g r e e   o f   q u a l i t y   a n d   e c o n o m y .   O n e   w a y   t o   a c h i e v e   t h i s   i s   t o   r e c a s t   D N A   s e q u e n c i n g   i n   a   f o r m a t   t h a t   f u l l y   l e v e r a g e s   t h e   m a n u f a c t u r i n g   b a s e   c r e a t e d   f o r   c o m p u t e r   c h i p s ,   c o m p l e m e n t a r y   m e t a l - o x i d e   s e m i c o n d u c t o r   c h i p   f a b r i c a t i o n ,   w h i c h   i s   t h e   c u r r e n t   p i n n a c l e   o f   l a r g e   s c a l e ,   h i g h   q u a l i t y ,   l o w - c o s t   m a n u f a c t u r i n g   o f   h i g h   t e c h n o l o g y .   T o   a c h i e v e   t h i s ,   i d e a l l y   t h e   e n t i r e   s e n s o r y   a p p a r a t u s   o f   t h e   s e q u e n c e r   w o u l d   b e   e m b o d i e d   i n   a   s t a n d a r d   s e m i c o n d u c t o r   c h i p ,   m a n u f a c t u r e d   i n   t h e   s a m e   f a b   f a c i l i t i e s   u s e d   f o r   l o g i c   a n d   m e m o r y   c h i p s .   R e c e n t l y ,   s u c h   a   s e q u e n c i n g   c h i p ,   a n d   t h e   a s s o c i a t e d   s e q u e n c i n g   p l a t f o r m ,   h a s   b e e n   d e v e l o p e d   a n d   c o m m e r c i a l i z e d   b y   I o n   T o r r e n t ,   a   d i v i s i o n   o f   L i f e   T e c h n o l o g i e s ,   I n c .   H e r e   w e   p r o v i d e   a n   o v e r v i e w   o f   t h i s   s e m i c o n d u c t o r   c h i p   b a s e d   s e q u e n c i n g   t e c h n o l o g y ,   a n d   s u m m a r i z e   t h e   p r o g r e s s   m a d e   s i n c e   i t s   c o m m e r c i a l   i n t r o d u c t i o n .   W e   d e s c r i b e d   i n   d e t a i l   t h e   p r o g r e s s   i n   c h i p   s c a l i n g ,   s e q u e n c i n g   t h r o u g h p u t ,   r e a d   l e n g t h ,   a n d   a c c u r a c y .   W e   a l s o   s u m m a r i z e   t h e   e n h a n c e m e n t s   i n   t h e   a s s o c i a t e d   p l a t f o r m ,   i n c l u d i n g   s a m p l e   p r e p a r a t i o n ,   d a t a   p r o c e s s i n g ,   a n d   e n g a g e m e n t   o f   t h e   b r o a d e r   d e v e l o p m e n t   c o m m u n i t y   t h r o u g h   o p e n   s o u r c e   a n d   c r o w d s o u r c i n g   i n i t i a t i v e s . 	 [ M e r r i m a n ,   B a r r y ;   R o t h b e r g ,   J o n a t h a n   M . ;   I o n   T o r r e n t   R & D   T e a m ]   I o n   T o r r e n t ,   G u i l f o r d ,   C T   0 6 4 3 7   U S A 	 R o t h b e r g ,   J M   ( r e p r i n t   a u t h o r ) ,   I o n   T o r r e n t ,   S u i t e   1 0 0 , 2 4 6   G o o s e   L a n e ,   G u i l f o r d ,   C T   0 6 4 3 7   U S A . 	 J o n a t h a n . R o t h b e r g @ L i f e t e c h . c o m 	 	 	 	 	 A r d e n   W . ,   2 0 1 0 ,   I T R S   M O R E   T H A N   M O O R E ;   B a u s e l l s   J ,   1 9 9 9 ,   S E N S O R   A C T U A T   B - C H E M ,   V 5 7 ,   P 5 6 ,   D O I   1 0 . 1 0 1 6 / S 0 9 2 5 - 4 0 0 5 ( 9 9 ) 0 0 1 3 5 - 5 ;   B E R G V E L D   P ,   1 9 7 0 ,   I E E E   T   B I O - M E D   E N G ,   V B M 1 7 ,   P 7 0 ,   D O I   1 0 . 1 1 0 9 / T B M E . 1 9 7 0 . 4 5 0 2 6 8 8 ;   B e r g v e l d   P ,   2 0 0 3 ,   S E N S O R   A C T U A T   B - C H E M ,   V 8 8 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / S 0 9 2 5 - 4 0 0 5 ( 0 2 ) 0 0 3 0 1 - 5 ;   L e a m o n   J H ,   2 0 0 7 ,   C H E M   R E V ,   V 1 0 7 ,   P 3 3 6 7 ,   D O I   1 0 . 1 0 2 1 / c r 0 6 8 2 9 7 s ;   M a r g u l i e s   M ,   2 0 0 5 ,   N A T U R E ,   V 4 3 7 ,   P 3 7 6 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 3 9 5 9 ;   M i l g r e w   M .   J . ,   2 0 0 3 ,   E U R   1 7   P   1 7   E U R   C   T R ;   M i l g r e w   M J ,   2 0 0 4 ,   S E N S O R   A C T U A T   B - C H E M ,   V 1 0 3 ,   P 3 7 ,   D O I   1 0 . 1 0 1 6 / j . s n b . 2 0 0 4 . 0 3 . 0 0 4 ;   M o o r e   G .   E . ,   1 9 6 5 ,   E L E C T R O N I C S ,   V 3 8 ,   P 1 1 4 ;   R o t h b e r g   J .   M . ,   2 0 0 6 ,   U n i t e d   S t a t e s   P a t e n t ,   P a t e n t   N o .   7 9 4 8 0 1 5 ;   R o t h b e r g   J M ,   2 0 0 8 ,   N A T   B I O T E C H N O L ,   V 2 6 ,   P 1 1 1 7 ,   D O I   1 0 . 1 0 3 8 / n b t 1 4 8 5 ;   R o t h b e r g   J M ,   2 0 1 1 ,   N A T U R E ,   V 4 7 5 ,   P 3 4 8 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 1 0 2 4 2 ;   S A K U R A I   T ,   1 9 9 2 ,   A N A L   C H E M ,   V 6 4 ,   P 1 9 9 6 ,   D O I   1 0 . 1 0 2 1 / a c 0 0 0 4 1 a 0 4 0 ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   T h e   I n t e r n a t i o n a l   T e c h n o l o g y   R o a d m a p   f o r   S e m i c o n d u c t o r s   C o n s o r t i u m ,   2 0 1 1 ,   I N T   T E C H N O L O G Y   R O A D M 	 1 5 	 3 0 	 3 0 	 W I L E Y - B L A C K W E L L 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 0 1 7 3 - 0 8 3 5 	 	 	 E L E C T R O P H O R E S I S 	 E l e c t r o p h o r e s i s 	 D E C 	 2 0 1 2 	 3 3 	 2 3 	 	 	 S I 	 	 3 3 9 7 	 3 4 1 7 	 	 1 0 . 1 0 0 2 / e l p s . 2 0 1 2 0 0 4 2 4 	 	 2 1 	 B i o c h e m i c a l   R e s e a r c h   M e t h o d s ;   C h e m i s t r y ,   A n a l y t i c a l 	 B i o c h e m i s t r y   &   M o l e c u l a r   B i o l o g y ;   C h e m i s t r y 	 0 5 1 V Y 	 W O S : 0 0 0 3 1 2 1 5 7 2 0 0 0 0 2 	 2 3 2 0 8 9 2 1 	 
 J 	 A r m s t r o n g ,   A W ;   H a r s k a m p ,   C T ;   C h e e n e y ,   S ;   W u ,   J ;   S c h u p p ,   C W 	 	 	 	 A r m s t r o n g ,   A p r i l   W . ;   H a r s k a m p ,   C a i t l i n   T . ;   C h e e n e y ,   S a f i a ;   W u ,   J u l i e ;   S c h u p p ,   C l a y t o n   W . 	 	 	 P o w e r   o f   c r o w d s o u r c i n g :   N o v e l   m e t h o d s   o f   d a t a   c o l l e c t i o n   i n   p s o r i a s i s   a n d   p s o r i a t i c   a r t h r i t i s 	 J O U R N A L   O F   T H E   A M E R I C A N   A C A D E M Y   O F   D E R M A T O L O G Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c r o w d s o u r c e ;   c r o w d s o u r c i n g ;   d a t a   c o l l e c t i o n ;   p s o r i a s i s ;   p s o r i a t i c   a r t h r i t i s ;   t r e a t m e n t 	 C H R O N I C   P L A Q U E   P S O R I A S I S ;   D O U B L E - B L I N D   T R I A L ;   N A R R O W - B A N D   U V B ;   A R T I C U L A R   M A N I F E S T A T I O N S ;   T O P I C A L   C A L C I T R I O L ;   P H A S E - I I I ;   E F F I C A C Y ;   P L A C E B O ;   T H E R A P Y ;   S A F E T Y 	 B a c k g r o u n d :   C r o w d s o u r c i n g   i s   a   n o v e l   m e t h o d   o f   c o l l e c t i n g   r e s e a r c h   d a t a   f r o m   d i v e r s e   p a t i e n t   p o p u l a t i o n s .   T h e   q u a l i t y   o f   r e s e a r c h   d a t a   o b t a i n e d   t h r o u g h   c r o w d s o u r c i n g   i s   u n k n o w n .   O b j e c t i v e :   T h e   p r i m a r y   a i m   o f   t h i s   p i l o t   s t u d y   w a s   t o   e x a m i n e   h o w   d a t a   c o l l e c t e d   f r o m   a n   o n l i n e   c r o w d s o u r c i n g   W o r l d   W i d e   W e b   s i t e   c o m p a r e   w i t h   t h o s e   f r o m   p u b l i s h e d   l i t e r a t u r e   i n   p s o r i a s i s   a n d   p s o r i a t i c   a r t h r i t i s   ( P s A ) .   M e t h o d s :   C r o w d s o u r c e d   d a t a   w e r e   c o l l e c t e d   f r o m   a   h e a l t h   c r o w d s o u r c i n g   s i t e   f r o m   A u g u s t   2 3 ,   2 0 0 8 ,   t o   J u n e   2 7 ,   2 0 1 1 .   T h e   c r o w d s o u r c e d   d a t a   w e r e   c o m p a r e d   w i t h   f i n d i n g s   f r o m   s y s t e m a t i c   r e v i e w s ,   m e t a - a n a l y s e s ,   a n d   c l i n i c a l   t r i a l s .   R e s u l t s :   A   t o t a l   o f   1 6 0   o n l i n e   p a t i e n t s   w i t h   p s o r i a s i s   o r   P s A   w e r e   i n c l u d e d   i n   t h e   a n a l y s i s .   A m o n g   t h e m ,   1 2 7   p a t i e n t s   w i t h   p s o r i a s i s   p r o v i d e d   3 1 3   c o m p l e t e   r e s p o n s e s   o n   p s o r i a s i s   s y m p t o m s   a n d   2 7 6   c o m p l e t e   r e s p o n s e s   t o   p s o r i a s i s   t r e a t m e n t s ;   3 3   p a t i e n t s   w i t h   P s A   p r o v i d e d   9 1   c o m p l e t e   r e s p o n s e s   o n   P s A   s y m p t o m s   a n d   7 9   r e s p o n s e s   t o   P s A   t r e a t m e n t s .   W e   c o m p a r e d   t o p i c a l   t r e a t m e n t s ,   p h o t o t h e r a p y ,   a n d   s y s t e m i c   t r e a t m e n t s   f o r   p s o r i a s i s   a n d   P s A   f r o m   c r o w d s o u r c e d   d a t a   w i t h   t h e   p u b l i s h e d   l i t e r a t u r e .   F o r   t h e   t r e a t m e n t   w i t h   t h e   l a r g e s t   r e s p o n s e   r a t e s ,   e q u i v a l e n c y   t e s t i n g   w a s   p e r f o r m e d   c o m p a r i n g   c r o w d s o u r c e d   d a t a   a n d   t h e   p u b l i s h e d   l i t e r a t u r e .   O v e r a l l ,   c r o w d s o u r c e d   d a t a   w e r e   n o t   e q u i v a l e n t   t o   t h o s e   p u b l i s h e d   i n   t h e   m e d i c a l   l i t e r a t u r e .   L i m i t a t i o n s :   C r o w d s o u r c i n g   s i t e s   u s e d   d i f f e r e n t   o u t c o m e s   m e a s u r e s   f r o m   t h o s e   r e p o r t e d   i n   c l i n i c a l   t r i a l s .   C o n c l u s i o n :   D i f f e r e n c e s   e x i s t e d   i n   a s s e s s m e n t   o f   t r e a t m e n t   e f f e c t i v e n e s s   b e t w e e n   c r o w d s o u r c e d   d a t a   a n d   t h o s e   p u b l i s h e d   i n   t h e   l i t e r a t u r e .   W i t h   i m p r o v e m e n t s   i n   t h e   c o l l e c t i o n   o f   c r o w d s o u r c e d   d a t a ,   c r o w d s o u r c i n g   c a n   b e   a   v a l u a b l e   t o o l   f o r   c o l l e c t i n g   p a t i e n t   d a t a   i n   r e a l - w o r l d   s e t t i n g s   f o r   p s o r i a s i s   a n d   P s A .   ( J   A m   A c a d   D e r m a t o l   2 0 1 2 ;   6 7 :   1 2 7 3 - 8 1 . ) 	 [ A r m s t r o n g ,   A p r i l   W . ;   H a r s k a m p ,   C a i t l i n   T . ;   W u ,   J u l i e ;   S c h u p p ,   C l a y t o n   W . ]   U n i v   C a l i f   D a v i s   H l t h   S y s t ,   D e p t   D e r m a t o l ,   S a c r a m e n t o ,   C A   9 5 8 1 6   U S A ;   [ C h e e n e y ,   S a f i a ]   U n i v   A r i z o n a ,   T u c s o n ,   A Z   8 5 7 2 1   U S A 	 A r m s t r o n g ,   A W   ( r e p r i n t   a u t h o r ) ,   U n i v   C a l i f   D a v i s   H l t h   S y s t ,   D e p t   D e r m a t o l ,   3 3 0 1   C   S t , S u i t e   1 4 0 0 ,   S a c r a m e n t o ,   C A   9 5 8 1 6   U S A . 	 a p r i l a r m s t r o n g @ p o s t . h a r v a r d . e d u 	 	 	 A b b o t t ;   A m g e n ;   J a n s s e n 	 D r   A r m s t r o n g   h a s   r e c e i v e d   r e s e a r c h   g r a n t s   a n d / o r   c o n s u l t a n t   h o n o r a r i a   f r o m   A b b o t t ,   A m g e n ,   a n d   J a n s s e n .   M s   H a r s k a m p ,   D r   C h e e n e y ,   M s   W u ,   a n d   D r   S c h u p p   h a v e   n o   c o n f l i c t s   o f   i n t e r e s t   t o   d e c l a r e . 	 A B U S H A K R A   M ,   1 9 9 5 ,   J   R H E U M A T O L ,   V 2 2 ,   P 2 4 1 ;   A d a m s   S A ,   2 0 1 1 ,   S O C   S C I   M E D ,   V 7 2 ,   P 1 0 6 9 ,   D O I   1 0 . 1 0 1 6 / j . s o c s c i m e d . 2 0 1 1 . 0 2 . 0 0 1 ;   A n t o n i   C ,   2 0 0 5 ,   A N N   R H E U M   D I S ,   V 6 4 ,   P 1 1 5 0 ,   D O I   1 0 . 1 1 3 6 / a r d . 2 0 0 4 . 0 3 2 2 6 8 ;   A n t o n i   C E ,   2 0 0 5 ,   A R T H R I T I S   R H E U M ,   V 5 2 ,   P 1 2 2 7 ,   D O I   1 0 . 1 0 0 2 / a r t . 2 0 9 6 7 ;   B e h r e n d   T S ,   2 0 1 1 ,   B E H A V   R E S   M E T H O D S ,   V 4 3 ,   P 8 0 0 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 0 8 1 - 0 ;   B o e h n c k e   W H ,   2 0 1 0 ,   J   E U R   A C A D   D E R M A T O L ,   V 2 4 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 8 - 3 0 8 3 . 2 0 1 0 . 0 3 7 8 7 . x ;   B o n i f a t i   C ,   2 0 0 7 ,   R e u m a t i s m o ,   V 5 9   S u p p l   1 ,   P 6 4 ;   B r a d l e y   J C ,   2 0 0 9 ,   J   C H E M I N F O R M A T I C S ,   V 1 ,   D O I   1 0 . 1 1 8 6 / 1 7 5 8 - 2 9 4 6 - 1 - 9 ;   C a n t i n i   F ,   2 0 1 0 ,   I N T   J   R H E U M   D I S ,   V 1 3 ,   P 3 0 0 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 5 6 - 1 8 5 X . 2 0 1 0 . 0 1 5 4 0 . x ;   C e p o n i s   A ,   2 0 1 0 ,   C L I N   E X P   R H E U M A T O L ,   V 2 8 ,   p S 1 3 2 ;   C h a n d r a n   V ,   2 0 0 8 ,   J   R H E U M A T O L ,   V 3 5 ,   P 4 6 9 ;   C h a u h a n   P S ,   2 0 1 1 ,   C L I N   E X P   D E R M A T O L ,   V 3 6 ,   P 1 6 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 2 3 0 . 2 0 1 0 . 0 3 8 7 4 . x ;   C l e g g   D O ,   1 9 9 6 ,   A R T H R I T I S   R H E U M ,   V 3 9 ,   P 2 0 1 3 ,   D O I   1 0 . 1 0 0 2 / a r t . 1 7 8 0 3 9 1 2 1 0 ;   C l e g g   D O ,   1 9 9 9 ,   A R T H R I T I S   R H E U M ,   V 4 2 ,   P 2 3 2 5 ,   D O I   1 0 . 1 0 0 2 / 1 5 2 9 - 0 1 3 1 ( 1 9 9 9 1 1 ) 4 2 : 1 1 < 2 3 2 5 : : A I D - A N R 1 0 > 3 . 0 . C O ; 2 - C ;   E j i o g u   N ,   2 0 1 1 ,   G E R O N T O L O G I S T ,   V 5 1 ,   p S 3 3 ,   D O I   1 0 . 1 0 9 3 / g e r o n t / g n r 0 2 7 ;   E k i n s   S ,   2 0 1 0 ,   P H A R M   R E S - D O R D R ,   V 2 7 ,   P 3 9 3 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 9 5 - 0 1 0 - 0 0 5 9 - 0 ;   F o l e y   P A ,   2 0 1 0 ,   J   E U R   A C A D   D E R M A T O L ,   V 2 4 ,   P 1 1 3 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 8 - 3 0 8 3 . 2 0 1 0 . 0 3 6 1 3 . x ;   F r a n z   T J ,   1 9 9 9 ,   I N T   J   D E R M A T O L ,   V 3 8 ,   P 6 2 8 ,   D O I   1 0 . 1 0 4 6 / j . 1 3 6 5 - 4 3 6 2 . 1 9 9 9 . 0 0 7 8 2 . x ;   F r a s e r   A D ,   2 0 0 5 ,   A N N   R H E U M   D I S ,   V 6 4 ,   P 8 5 9 ,   D O I   1 0 . 1 1 3 6 / a r d . 2 0 0 4 . 0 2 4 4 6 3 ;   F R A S E R   S M ,   1 9 9 3 ,   B R I T   J   R H E U M A T O L ,   V 3 2 ,   P 9 2 3 ;   G l a d m a n   D a f n a   D ,   2 0 0 5 ,   J   R h e u m a t o l ,   V 3 2 ,   P 2 2 6 2 ;   G o l d i n g e r   S M ,   2 0 0 6 ,   D E R M A T O L O G Y ,   V 2 1 3 ,   P 1 3 4 ,   D O I   1 0 . 1 1 5 9 / 0 0 0 0 9 3 8 5 2 ;   G o t t l i e b   A ,   2 0 0 9 ,   L A N C E T ,   V 3 7 3 ,   P 6 3 3 ,   D O I   1 0 . 1 0 1 6 / S 0 1 4 0 - 6 7 3 6 ( 0 9 ) 6 0 1 4 0 - 9 ;   G o t t l i e b   A B ,   2 0 0 3 ,   J   C U T A N   M E D   S U R G ,   V 7 ,   P 1 8 5 ,   D O I   1 0 . 1 0 0 7 / s 1 0 2 2 7 - 0 0 2 - 0 1 1 4 - 5 ;   G r e e n   L . ,   2 0 1 1 ,   N U R S   S T A N D ,   V 2 5 ,   P 5 6 ;   G r e e n   L i z ,   2 0 1 1 ,   N u r s   S t a n d ,   V 2 5 ,   P 4 7 ;   G u l   R B ,   2 0 1 0 ,   J   C L I N   N U R S ,   V 1 9 ,   P 2 2 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 7 0 2 . 2 0 0 9 . 0 3 0 4 1 . x ;   H I G H T O N   A ,   1 9 9 5 ,   J   A M   A C A D   D E R M A T O L ,   V 3 2 ,   P 6 7 ,   D O I   1 0 . 1 0 1 6 / 0 1 9 0 - 9 6 2 2 ( 9 5 ) 9 0 1 8 6 - 8 ;   J o h n s t o n   S C ,   2 0 0 9 ,   A N N   N E U R O L ,   V 6 5 ,   p A 7 ,   D O I   [ 1 0 . 1 0 0 2 / a n a . 2 1 7 3 5 ,   1 0 . 1 0 0 2 / a n a . 2 1 7 9 1 ] ;   K a l t w a s s e r   J P ,   2 0 0 4 ,   A R T H R I T I S   R H E U M ,   V 5 0 ,   P 1 9 3 9 ,   D O I   1 0 . 1 0 0 2 / a r t . 2 0 2 5 3 ;   K i r k e   S M ,   2 0 0 7 ,   J   I N V E S T   D E R M A T O L ,   V 1 2 7 ,   P 1 6 4 1 ,   D O I   1 0 . 1 0 3 8 / s j . j i d . 5 7 0 0 7 6 7 ;   K i v i t z   A J ,   2 0 0 7 ,   S E M I N   A R T H R I T I S   R H E U ,   V 3 7 ,   P 1 6 4 ,   D O I   1 0 . 1 0 1 6 / j . s e m a r t h r i t . 2 0 0 7 . 0 3 . 0 0 4 ;   K u r i a n   A ,   2 0 1 1 ,   S k i n   T h e r a p y   L e t t ,   V 1 6 ,   P 4 ;   L A N G N E R   A ,   1 9 9 3 ,   B R I T   J   D E R M A T O L ,   V 1 2 8 ,   P 5 6 6 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 1 3 3 . 1 9 9 3 . t b 0 0 2 3 7 . x ;   L a p o l l a   W ,   2 0 1 1 ,   J   A M   A C A D   D E R M A T O L ,   V 6 4 ,   P 9 3 6 ,   D O I   1 0 . 1 0 1 6 / j . j a a d . 2 0 0 9 . 1 2 . 0 5 4 ;   L a w s   P ,   2 0 1 0 ,   J   E U R   A C A D   D E R M A T O L ,   V 2 4 ,   P 1 2 7 0 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 8 - 3 0 8 3 . 2 0 1 0 . 0 3 6 5 4 . x ;   L E A T H A M   P A ,   1 9 8 2 ,   A G E N T S   A C T I O N S ,   V 1 2 ,   P 2 2 1 ,   D O I   1 0 . 1 0 0 7 / B F 0 1 9 6 5 1 5 0 ;   M e a s e   P ,   2 0 1 1 ,   A R T H R I T I S   R H E U M - U S ,   V 6 3 ,   P 9 3 9 ,   D O I   1 0 . 1 0 0 2 / a r t . 3 0 1 7 6 ;   M e a s e   P J . ,   2 0 1 1 ,   A N N   R H E U M   D I S   S 1 ,   V 7 0 ,   p i 7 7 ;   M e a s e   P J ,   2 0 0 6 ,   A R T H R I T I S   R H E U M ,   V 5 4 ,   P 1 6 3 8 ,   D O I   1 0 . 1 0 0 2 / a r t . 2 1 8 7 0 ;   M e a s e   P J ,   2 0 0 5 ,   A R T H R I T I S   R H E U M ,   V 5 2 ,   P 3 2 7 9 ,   D O I   1 0 . 1 0 0 2 / a r t . 2 1 3 0 6 ;   M e a s e   P J ,   2 0 0 4 ,   A R T H R I T I S   R H E U M ,   V 5 0 ,   P 2 2 6 4 ,   D O I   1 0 . 1 0 0 2 / a r t . 2 0 3 3 5 ;   M u r p h y   G ,   2 0 1 1 ,   J   E U R   A C A D   D E R M A T O L ,   V 2 5 ,   P 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 8 - 3 0 8 3 . 2 0 1 1 . 0 4 0 5 9 . x ;   M u r r a y   M A ,   2 0 0 9 ,   A M   J   H O S P   P A L L I A T   M E ,   V 2 6 ,   P 2 5 4 ,   D O I   1 0 . 1 1 7 7 / 1 0 4 9 9 0 9 1 0 8 3 3 1 3 1 6 ;   N o r m a n   T C ,   2 0 1 1 ,   S C I   T R A N S L   M E D ,   V 3 ,   D O I   1 0 . 1 1 2 6 / s c i t r a n s l m e d . 3 0 0 2 6 7 8 ;   P A L I T   J ,   1 9 9 0 ,   B R I T   J   R H E U M A T O L ,   V 2 9 ,   P 2 8 0 ;   P a p p   K A ,   2 0 0 5 ,   B R I T   J   D E R M A T O L ,   V 1 5 2 ,   P 1 3 0 4 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 1 3 3 . 2 0 0 5 . 0 6 6 8 8 . x ;   P e r e z   A ,   1 9 9 6 ,   B R I T   J   D E R M A T O L ,   V 1 3 4 ,   P 2 3 8 ;   P H I L L I P S   D H ,   1 9 9 4 ,   B R I T   J   C A N C E R ,   V 6 9 ,   P 1 0 4 3 ,   D O I   1 0 . 1 0 3 8 / b j c . 1 9 9 4 . 2 0 5 ;   P r a i n s a c k   B ,   2 0 1 0 ,   P H A R M A C O G E N O M I C S ,   V 1 1 ,   P 6 5 1 ,   D O I   [ 1 0 . 2 2 1 7 / p g s . 1 0 . 3 3 ,   1 0 . 2 2 1 7 / P G S . 1 0 . 3 3 ] ;   R a j p a r a   A n a n d   N ,   2 0 1 0 ,   D e r m a t o l   O n l i n e   J ,   V 1 6 ,   P 2 ;   R e i c h   K ,   2 0 0 5 ,   L A N C E T ,   V 3 6 6 ,   P 1 3 6 7 ,   D O I   1 0 . 1 0 1 6 / S 0 1 4 0 - 6 7 3 6 ( 0 5 ) 6 7 5 6 6 - 6 ;   S a l v a r a n i   C ,   2 0 0 1 ,   J   R H E U M A T O L ,   V 2 8 ,   P 2 2 7 4 ;   S t r e i t f e l d   D . ,   N Y   T I M E S ;   T h u r z o   A ,   2 0 1 0 ,   B R A T I S L   M E D   J ,   V 1 1 1 ,   P 1 6 8 ;   W e g e r   W ,   2 0 1 0 ,   B R I T   J   P H A R M A C O L ,   V 1 6 0 ,   P 8 1 0 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 7 6 - 5 3 8 1 . 2 0 1 0 . 0 0 7 0 2 . x ;   Y o n e s   S S ,   2 0 0 6 ,   A R C H   D E R M A T O L ,   V 1 4 2 ,   P 8 3 6 ,   D O I   1 0 . 1 0 0 1 / a r c h d e r m . 1 4 2 . 7 . 8 3 6 	 5 7 	 4 	 4 	 M O S B Y - E L S E V I E R 	 N E W   Y O R K 	 3 6 0   P A R K   A V E N U E   S O U T H ,   N E W   Y O R K ,   N Y   1 0 0 1 0 - 1 7 1 0   U S A 	 0 1 9 0 - 9 6 2 2 	 	 	 J   A M   A C A D   D E R M A T O L 	 J .   A m .   A c a d .   D e r m a t o l . 	 D E C 	 2 0 1 2 	 6 7 	 6 	 	 	 	 	 1 2 7 3 	 U 2 7 8 	 	 1 0 . 1 0 1 6 / j . j a a d . 2 0 1 2 . 0 5 . 0 1 3 	 	 1 8 	 D e r m a t o l o g y 	 D e r m a t o l o g y 	 0 5 1 M L 	 W O S : 0 0 0 3 1 2 1 3 1 2 0 0 0 5 2 	 2 2 8 1 8 7 9 2 	 
 J 	 F i e n e n ,   M N ;   L o w r y ,   C S 	 	 	 	 F i e n e n ,   M i c h a e l   N . ;   L o w r y ,   C h r i s t o p h e r   S . 	 	 	 S o c i a l . W a t e r - A   c r o w d s o u r c i n g   t o o l   f o r   e n v i r o n m e n t a l   d a t a   a c q u i s i t i o n 	 C O M P U T E R S   &   G E O S C I E N C E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 E - g e o s c i e n c e ;   C i t i z e n   s c i e n c e ;   H y d r o l o g y ;   S t r e a m g a g i n g ;   P y t h o n 	 	 R e m o t e   t e l e m e t r y   h a s   a   l o n g   h i s t o r y   o f   u s e   f o r   c o l l e c t i o n   o f   e n v i r o n m e n t a l   m e a s u r e m e n t s .   W i t h   t h e   r i s e   o f   m o b i l e   p h o n e s   a n d   S M S   t e x t - m e s s a g i n g   c a p a c i t y ,   m a n y   m e m b e r s   o f   t h e   g e n e r a l   p u b i c   c a r r y   c o m m u n i c a t i o n s   e q u i p m e n t   i n   t h e i r   p o c k e t s   a t   a l l   t i m e s .   E n a b l i n g   t h e   g e n e r a l   p u b l i c   t o   p r o v i d e   e n v i r o n m e n t a l   d a t a   t h r o u g h   t e x t   m e s s a g e s   h a s   t h e   p o t e n t i a l   b o t h   t o   p r o v i d e   a d d i t i o n a l   d a t a   t o   s c i e n t i f i c   p r o j e c t s   a n d   a l s o   t o   r a i s e   a w a r e n e s s   o f   t h e   p r o j e c t s   t h r o u g h   p a r t i c i p a t i o n .   H y d r o l o g i c   m e a s u r e m e n t s   -   s o m e   o f   w h i c h   c a n   b e   m a d e   w i t h o u t   t r a i n i n g ,   i n v o l v e   a   s i n g l e   m e a s u r e m e n t ,   a n d   a r e   o f t e n   m a d e   i n   r u r a l   a r e a s   -   a r e   w e l l - s u i t e d   t o   t e x t - m e s s a g e   c o n v e y a n c e .   M a n y   o t h e r   e n v i r o n m e n t a l   m e a s u r e m e n t s   a r e   s i m i l a r l y   w e l l - s u i t e d   f o r   t h i s   t e c h n o l o g y .   S o c i a l . W a t e r   i s   a   s o f t w a r e   p a c k a g e ,   w r i t t e n   i n   P y t h o n ,   t h a t   c o l l e c t s ,   p a r s e s ,   a n d   c a t e g o r i z e s   t e x t   m e s s a g e s   s e n t   t o   a   d e d i c a t e d   p h o n e   n u m b e r ,   u p d a t e s   a   s i m p l e   d a t a b a s e ,   a n d   p o s t s   b o t h   g r a p h i c a l   r e s u l t s   a n d   t h e   d a t a b a s e   o n   t h e   W e b .   S o c i a l . W a t e r   w a s   d e s i g n e d   a s   t h e   b a c k e n d   t o   t h e   C r o w d h y d r o l o g y   p r o j e c t   a n d   i s   w r i t t e n   i n   a n   o b j e c t - o r i e n t e d   d e s i g n   t h a t   m a k e s   c u s t o m i z a t i o n   a n d   m o d i f i c a t i o n   s t r a i g h t f o r w a r d .   P u b l i s h e d   b y   E l s e v i e r   L t d . 	 [ F i e n e n ,   M i c h a e l   N . ]   U S   G e o l   S u r v e y ,   W i s c o n s i n   W a t e r   S c i   C t r ,   M i d d l e t o n ,   W I   5 3 5 6 2   U S A ;   [ L o w r y ,   C h r i s t o p h e r   S . ]   S U N Y   B u f f a l o ,   D e p t   G e o l ,   B u f f a l o ,   N Y   1 4 2 6 0   U S A 	 F i e n e n ,   M N   ( r e p r i n t   a u t h o r ) ,   U S   G e o l   S u r v e y ,   W i s c o n s i n   W a t e r   S c i   C t r ,   8 5 0 5   R e s   W a y ,   M i d d l e t o n ,   W I   5 3 5 6 2   U S A . 	 m n f i e n e n @ u s g s . g o v ;   c s l o w r y @ b u f f a l o . e d u 	 F i e n e n ,   M i c h a e l / D - 2 4 7 9 - 2 0 0 9 	 F i e n e n ,   M i c h a e l / 0 0 0 0 - 0 0 0 2 - 7 7 5 6 - 4 6 5 1 	 	 	 C o h e n   A . ,   2 0 1 1 ,   F U Z Z Y W U Z Z Y   F U Z Z Y   S T R ;   F i e n e n   M . N . ,   G R O U N D   W A T E   I N   P R E S S ;   H o w e   J . ,   2 0 0 6 ,   R I S E   C R O W D S O U R C I N G   W ;   I B M ,   2 0 1 2 ,   C R E E K   W A T C H ;   I n t e r n e t   E n g i n e e r i n g   T a s k   F o r c e ,   2 0 0 3 ,   B A S E 1 6   B A S E 3 2   B A S E 6 4 ;   I n t e r n e t   E n g i n e e r i n g   T a s k   F o r c e ,   2 0 0 3 ,   I N T   M E S S   A C C   P R O T   V E ;   I s a a c   M ,   2 0 1 1 ,   J O B S   W A S   R I G H T   A D O B E ;   P a r k   Y S ,   2 0 1 0 ,   I N T   J   I N D   E R G O N O M ,   V 4 0 ,   P 6 8 ,   D O I   1 0 . 1 0 1 6 / j . e r g o n . 2 0 0 9 . 0 8 . 0 0 2 ;   S m i t h   A . ,   2 0 1 2 ,   T E C H N I C A L   R E P O R T ;   v a n   R o s s u m   G . ,   2 0 1 2 ,   P Y T H O N   R E F E R E N C E   M A N ;   V a n d e r k a m   D . ,   2 0 0 6 ,   D Y G R A P H S   J A V A S C R I P T ;   W a l t e m e y e r   S . D . ,   2 0 0 5 ,   A U T O M A T E D   C R E S T   S T A G ;   W i e r s m a   Y . F . ,   2 0 1 0 ,   A V I A N   C O N S E R V A T I O N   E ,   V 5 	 1 3 	 4 	 4 	 P E R G A M O N - E L S E V I E R   S C I E N C E   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   E N G L A N D 	 0 0 9 8 - 3 0 0 4 	 	 	 C O M P U T   G E O S C I - U K 	 C o m p u t .   G e o s c i . 	 D E C 	 2 0 1 2 	 4 9 	 	 	 	 	 	 1 6 4 	 1 6 9 	 	 1 0 . 1 0 1 6 / j . c a g e o . 2 0 1 2 . 0 6 . 0 1 5 	 	 6 	 C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   G e o s c i e n c e s ,   M u l t i d i s c i p l i n a r y 	 C o m p u t e r   S c i e n c e ;   G e o l o g y 	 0 4 4 W Q 	 W O S : 0 0 0 3 1 1 6 5 6 3 0 0 0 1 8 	 	 
 J 	 F a d z l i ,   S A ;   S e t c h i ,   R 	 	 	 	 F a d z l i ,   S y e d   A b d u l l a h ;   S e t c h i ,   R o s s i t z a 	 	 	 C o n c e p t - b a s e d   i n d e x i n g   o f   a n n o t a t e d   i m a g e s   u s i n g   s e m a n t i c   D N A 	 E N G I N E E R I N G   A P P L I C A T I O N S   O F   A R T I F I C I A L   I N T E L L I G E N C E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C o n c e p t   D e s i g n ;   I m a g e   I n d e x i n g ;   S e m a n t i c s ;   L e x i c a l   O n t o l o g y ;   D e s i g n   C r e a t i v i t y 	 R E T R I E V A L 	 O n e   o f   t h e   c h a l l e n g e s   i n   i m a g e   r e t r i e v a l   i s   d e a l i n g   w i t h   c o n c e p t s   w h i c h   h a v e   n o   v i s u a l   a p p e a r a n c e   i n   t h e   i m a g e s   o r   a r e   n o t   u s e d   a s   k e y w o r d s   i n   t h e i r   a n n o t a t i o n s .   T o   a d d r e s s   t h i s   p r o b l e m ,   t h i s   p a p e r   p r o p o s e s   a n   u n s u p e r v i s e d   c o n c e p t - b a s e d   i m a g e   i n d e x i n g   t e c h n i q u e   w h i c h   u s e s   a   l e x i c a l   o n t o l o g y   t o   e x t r a c t   s e m a n t i c   s i g n a t u r e s   c a l l e d   ' s e m a n t i c   c h r o m o s o m e s '   f r o m   i m a g e   a n n o t a t i o n s .   A   s e m a n t i c   c h r o m o s o m e   i s   a n   i n f o r m a t i o n   s t r u c t u r e ,   w h i c h   c a r r i e s   t h e   s e m a n t i c   i n f o r m a t i o n   o f   a n   i m a g e ;   i t   i s   t h e   s e m a n t i c   s i g n a t u r e   o f   a n   i m a g e   i n   a   c o l l e c t i o n   e x p r e s s e d   t h r o u g h   a   s e t   o f   s e m a n t i c   D N A   ( S D N A ) ,   e a c h   o f   t h e m   r e p r e s e n t i n g   a   c o n c e p t .   C e n t r a l   t o   t h e   c o n c e p t - b a s e d   i n d e x i n g   t e c h n i q u e   d i s c u s s e d   i s   t h e   c o n c e p t   d i s a m b i g u a t i o n   a l g o r i t h m   d e v e l o p e d ,   w h i c h   i d e n t i f i e s   t h e   m o s t   r e l e v a n t   ' s e m a n t i c   D N A '   ( S D N A )   b y   m e a s u r i n g   t h e   s e m a n t i c   i m p o r t a n c e   o f   e a c h   w o r d / p h r a s e   i n   t h e   a n n o t a t i o n .   T h e   c o n c e p t   d i s a m b i g u a t i o n   a l g o r i t h m   i s   e v a l u a t e d   u s i n g   c r o w d s o u r c i n g .   T h e   e x p e r i m e n t s   s h o w   t h a t   t h e   a l g o r i t h m   h a s   b e t t e r   a c c u r a c y   ( 7 9 . 4 % )   t h a n   t h e   a c c u r a c y   d e m o n s t r a t e d   b y   o t h e r   u n s u p e r v i s e d   a l g o r i t h m s   ( 7 3 % )   i n   t h e   2 0 0 7   S e m e v a l   c o m p e t i t i o n .   I t   i s   a l s o   c o m p a r a b l e   w i t h   t h e   a c c u r a c y   a c h i e v e d   i n   t h e   s a m e   c o m p e t i t i o n   b y   t h e   s u p e r v i s e d   a l g o r i t h m s   ( 8 2 - 8 3 % )   w h i c h   c o n t r a r y   t o   t h e   a p p r o a c h   p r o p o s e d   i n   t h i s   p a p e r   h a v e   t o   b e   t r a i n e d   w i t h   l a r g e   c o r p o r a .   T h e   a p p r o a c h   i s   c u r r e n t l y   a p p l i e d   t o   t h e   a u t o m a t e d   g e n e r a t i o n   o f   m o o d   b o a r d s   u s e d   a s   a n   i n s p i r a t i o n a l   t o o l   i n   c o n c e p t   d e s i g n .   ( C )   2 0 1 2   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ F a d z l i ,   S y e d   A b d u l l a h ;   S e t c h i ,   R o s s i t z a ]   C a r d i f f   U n i v ,   S c h   E n g n ,   C a r d i f f   C F 2 4   3 A A ,   S   G l a m ,   W a l e s ;   [ F a d z l i ,   S y e d   A b d u l l a h ]   U n i v   S u l t a n   Z a i n a l   A b i d i n ,   F a c   I n f o r m a t ,   K u a l a   T e r e n g g a n u   2 1 3 0 0 ,   T e r e n g g a n u ,   M a l a y s i a 	 S e t c h i ,   R   ( r e p r i n t   a u t h o r ) ,   C a r d i f f   U n i v ,   S c h   E n g n ,   C a r d i f f   C F 2 4   3 A A ,   S   G l a m ,   W a l e s . 	 s e t c h i @ c f . a c . u k 	 	 	 M i n i s t r y   o f   H i g h e r   E d u c a t i o n   o f   M a l a y s i a ;   S u l t a n   Z a i n a l   A b i d i n   U n i v e r s i t y   i n   M a l a y s i a 	 T h e   a u t h o r s   a r e   g r a t e f u l   t o   t h e   M i n i s t r y   o f   H i g h e r   E d u c a t i o n   o f   M a l a y s i a   a n d   S u l t a n   Z a i n a l   A b i d i n   U n i v e r s i t y   i n   M a l a y s i a   f o r   s p o n s o r i n g   t h i s   r e s e a r c h .   T h e y   a l s o   w i s h   t o   a c k n o w l e d g e   t h e   s u p p o r t   o f   a l l   m e m b e r s   o f   t h e   K n o w l e d g e   E n g i n e e r i n g   S y s t e m s   g r o u p   a t   C a r d i f f   w h o   h a v e   p r o v i d e d   a   v i b r a n t   a n d   i n t e l l e c t u a l l y   s t i m u l a t i n g   e n v i r o n m e n t   f o r   t h i s   r e s e a r c h .   S p e c i a l   t h a n k s   t o   V i s c o n   P r o   L t d .   f o r   s u p p o r t i n g   t h i s   r e s e a r c h   b y   p r o v i d i n g   a c c e s s   t o   t h e i r   f o t o L i b r a   c o l l e c t i o n   o f   i m a g e s . 	 A k k a y a   C . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 9 5 ;   A l o n s o   O . ,   2 0 0 9 ,   E V   W O R K S H   B O S T   M A S S ,   P 1 5 ;   B o u j e m a a   N . ,   2 0 0 1 ,   P   I N T   W O R K S H   M U L T   C O ;   C a l l i s o n - B u r c h   C . ,   2 0 0 9 ,   E M N L P   0 9 ,   P 2 8 6 ;   C h a n g   S . - F . ,   1 9 9 8 ,   I N T   C   I M   P R O C   I C I P   W ,   V 3 ,   P 5 3 1 ;   C h e n   Y . ,   2 0 0 3 ,   I S S P A   2 0 0 3 .   S e v e n t h   I n t e r n a t i o n a l   S y m p o s i u m   o n   S i g n a l   P r o c e s s i n g   a n d   i t s   A p p l i c a t i o n s .   P r o c e e d i n g s   ( C a t .   N o . 0 3 E X 7 1 4 ) ;   C o r n e y   J R ,   2 0 1 0 ,   A D V   E N G   I N F O R M ,   V 2 4 ,   P 2 4 3 ,   D O I   1 0 . 1 0 1 6 / j . a e i . 2 0 1 0 . 0 5 . 0 1 1 ;   D a v i d s o n   E . ,   2 0 0 3 ,   R O G E T S   T H E S A U R U S   E N G ;   D i l l   S . ,   2 0 0 3 ,   W E B   S E M A N T I C S   S C I   S E ,   V 1 ,   P 1 1 5 ,   D O I   1 0 . 1 0 1 6 / j . w e b s e m . 2 0 0 3 . 0 7 . 0 0 6 ;   D o u l a m i s   A D ,   2 0 0 4 ,   I E E E   T   C I R C   S Y S T   V I D ,   V 1 4 ,   P 6 5 6 ,   D O I   1 0 . 1 1 0 9 / T C S V T . 2 0 0 4 . 8 2 6 7 5 2 ;   E d m o n d s   P h i l i p ,   2 0 0 2 ,   E L R A   N E W S L ,   V 7 ,   P 5 ;   E n s e r   P G B ,   2 0 0 7 ,   J   D O C ,   V 6 3 ,   P 4 6 5 ,   D O I   1 0 . 1 1 0 8 / 0 0 2 2 0 4 1 0 7 1 0 7 5 8 9 7 7 ;   E u g e n i o   D . S . ,   2 0 0 2 ,   J   A R T I F   I N T E L L   R E S ,   V 1 6 ,   P 2 0 9 ;   F a d z l i   S A ,   2 0 1 0 ,   L E C T   N O T E S   A R T I F   I N T ,   V 6 2 7 9 ,   P 2 4 0 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 5 3 8 4 - 6 _ 2 6 ;   F a d z l i   S . A . ,   2 0 1 1 ,   P   S T A I R   1 1   I N T   C   S E M ;   F e n g   H . ,   2 0 0 4 ,   P   A C M   I N T   C   M U L T ;   F e r e c a t u   M ,   2 0 0 8 ,   M U L T I M E D I A   S Y S T ,   V 1 3 ,   P 3 0 9 ,   D O I   1 0 . 1 0 0 7 / s 0 0 5 3 0 - 0 0 7 - 0 0 9 4 - 9 ;   F U H R   N ,   1 9 9 1 ,   A C M   T   I N F O R M   S Y S T ,   V 9 ,   P 2 2 3 ,   D O I   1 0 . 1 1 4 5 / 1 2 5 1 8 7 . 1 2 5 1 8 9 ;   G a u c h   S . ,   2 0 0 3 ,   T R 8 6 4 6 3 7   U   K A N S ;   H a r t   M . ,   2 0 0 3 ,   P R O J E C T   G U T E N B E R G ;   H o f m a n n   T ,   1 9 9 9 ,   S I G I R ' 9 9 :   P R O C E E D I N G S   O F   2 2 N D   I N T E R N A T I O N A L   C O N F E R E N C E   O N   R E S E A R C H   A N D   D E V E L O P M E N T   I N   I N F O R M A T I O N   R E T R I E V A L ,   P 5 0 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ;   H y v o n e n   E . ,   2 0 0 2 ,   P   X M L   F I N L   2 0 0 2   C ,   V 1 6 ,   P 1 5 ;   L e e   J . H . ,   1 9 9 5 ,   P   1 8   A N N   I N T   A C M   S I G ,   P 1 8 0 ,   D O I   1 0 . 1 1 4 5 / 2 1 5 2 0 6 . 2 1 5 3 5 8 ;   L i u   Y ,   2 0 0 7 ,   P A T T E R N   R E C O G N ,   V 4 0 ,   P 2 6 2 ,   D O I   1 0 . 1 0 1 6 / j . p a t c o g . 2 0 0 6 . 0 4 . 0 4 5 ;   L u   Y . ,   2 0 0 0 ,   A C M   M U L T I M E D I A ,   P 3 1 ;   M e z a r i s   V . ,   2 0 0 3 ,   P   I E E E   I N T   C   I M   P R O C ,   P 5 1 1 ;   N a v i g l i   R ,   2 0 0 9 ,   A C M   C O M P U T   S U R V ,   V 4 1 ,   D O I   1 0 . 1 1 4 5 / 1 4 5 9 3 5 2 . 1 4 5 9 3 5 5 ;   P a p i n e n i   K . ,   2 0 0 2 ,   A C L ,   P 3 1 1 ;   R e n   J . ,   2 0 0 3 ,   P   I M   V I S   C O M P   N Z   N O V ,   P 1 0 2 ;   R o b e r t s o n   S .   E . ,   1 9 9 9 ,   P   7   T E X T   R E T R I E V A L   C ;   S A L T O N   G ,   1 9 8 8 ,   I N F O R M   P R O C E S S   M A N A G ,   V 2 4 ,   P 5 1 3 ,   D O I   1 0 . 1 0 1 6 / 0 3 0 6 - 4 5 7 3 ( 8 8 ) 9 0 0 2 1 - 0 ;   S a l t o n   G ,   1 9 8 3 ,   I N T R O   M O D E R N   I N F O R M ;   S e t c h i   R . ,   2 0 1 0 ,   T   A S M E   J   C O M P U T   I N F ,   V 1 0 ,   p [ 3 1 0 0 6 ,   2 3 ] ;   S e t c h i   R ,   2 0 1 1 ,   A D V   E N G   I N F O R M ,   V 2 5 ,   P 1 3 1 ,   D O I   1 0 . 1 0 1 6 / j . a e i . 2 0 1 0 . 0 7 . 0 0 6 ;   S e t c h i   R M ,   2 0 0 7 ,   P R O C   W R L D   A C A D   S C I   E ,   V 1 9 ,   P 2 2 1 ;   S m e u l d e r s   A W M ,   2 0 0 0 ,   I E E E   T   P A T T E R N   A N A L ,   V 2 2 ,   P 1 3 4 9 ,   D O I   1 0 . 1 1 0 9 / 3 4 . 8 9 5 9 7 2 ;   S n o w   R . ,   2 0 0 8 ,   E M N L P ,   P 2 5 4 ;   S t a a b   A . ,   2 0 0 8 ,   L N C S ,   V 5 2 2 4 ,   P 1 2 5 ;   S t y l t s v i g   H . B . ,   2 0 0 6 ,   T H E S I S   R O S K I L D E   U   D E ;   T s a i   C . - F . ,   2 0 0 7 ,   O N L I N E   I N F O R M   R E V ,   P 1 8 5 ;   V a s c o n c e l o s   N ,   2 0 0 4 ,   I E E E   T   I N F O R M   T H E O R Y ,   V 5 0 ,   P 1 4 8 2 ,   D O I   1 0 . 1 1 0 9 / T I T . 2 0 0 4 . 8 3 0 7 6 0 ;   V i s c o n P r o ,   2 0 1 1 ,   V I S C O N P R O ;   V o o r h e e s   E . M . ,   1 9 9 9 ,   P   T R E C ,   P 1 ;   Y I   X ,   2 0 0 9 ,   P   3 1   E U R   C   I R   R E S   E C ,   V 5 4 7 8 ,   P 2 9 ;   Z h a n g   R F ,   2 0 0 6 ,   M U L T I M E D I A   S Y S T ,   V 1 2 ,   P 2 7 ,   D O I   1 0 . 1 0 0 7 / s 0 0 5 3 0 - 0 0 6 - 0 0 2 5 - 1 	 4 6 	 1 	 1 	 P E R G A M O N - E L S E V I E R   S C I E N C E   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   E N G L A N D 	 0 9 5 2 - 1 9 7 6 	 	 	 E N G   A P P L   A R T I F   I N T E L 	 E n g .   A p p l .   A r t i f .   I n t e l l . 	 D E C 	 2 0 1 2 	 2 5 	 8 	 	 	 	 	 1 6 4 4 	 1 6 5 5 	 	 1 0 . 1 0 1 6 / j . e n g a p p a i . 2 0 1 2 . 0 2 . 0 0 5 	 	 1 2 	 A u t o m a t i o n   &   C o n t r o l   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   E n g i n e e r i n g ,   M u l t i d i s c i p l i n a r y ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 A u t o m a t i o n   &   C o n t r o l   S y s t e m s ;   C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 0 4 5 N F 	 W O S : 0 0 0 3 1 1 7 0 2 8 0 0 0 1 1 	 	 
 J 	 K i m ,   S H ;   D o n g ,   Z H ;   X i a n ,   H J ;   U p a t i s i n g ,   B ;   Y i ,   J S 	 	 	 	 K i m ,   S u n g - H e e ;   D o n g ,   Z h i h u a ;   X i a n ,   H a n j u n ;   U p a t i s i n g ,   B e n j a v a n ;   Y i ,   J i   S o o 	 	 	 D o e s   a n   E y e   T r a c k e r   T e l l   t h e   T r u t h   a b o u t   V i s u a l i z a t i o n s ? :   F i n d i n g s   w h i l e   I n v e s t i g a t i n g   V i s u a l i z a t i o n s   f o r   D e c i s i o n   M a k i n g 	 I E E E   T R A N S A C T I O N S   O N   V I S U A L I Z A T I O N   A N D   C O M P U T E R   G R A P H I C S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 V i s u a l i z e d   d e c i s i o n   m a k i n g ;   e y e   t r a c k i n g ;   c r o w d s o u r c i n g ;   q u a n t i t a t i v e   e m p i r i c a l   s t u d y ;   l i m i t a t i o n s ;   p e r i p h e r a l   v i s i o n 	 C H O I C E ;   R E P R E S E N T A T I O N ;   S T R A T E G I E S ;   M O V E M E N T S ;   T A S K 	 F o r   i n f o r m a t i o n   v i s u a l i z a t i o n   r e s e a r c h e r s ,   e y e   t r a c k i n g   h a s   b e e n   a   u s e f u l   t o o l   t o   i n v e s t i g a t e   r e s e a r c h   p a r t i c i p a n t s '   u n d e r l y i n g   c o g n i t i v e   p r o c e s s e s   b y   t r a c k i n g   t h e i r   e y e   m o v e m e n t s   w h i l e   t h e y   i n t e r a c t   w i t h   v i s u a l   t e c h n i q u e s .   W e   u s e d   a n   e y e   t r a c k e r   t o   b e t t e r   u n d e r s t a n d   w h y   p a r t i c i p a n t s   w i t h   a   v a r i a n t   o f   a   t a b u l a r   v i s u a l i z a t i o n   c a l l e d   ' S i m u l S o r t '   o u t p e r f o r m e d   o n e s   w i t h   a   c o n v e n t i o n a l   t a b l e   a n d   t y p i c a l   o n e - c o l u m n   s o r t i n g   f e a t u r e   ( i . e . ,   T y p i c a l   S o r t i n g ) .   T h e   c o l l e c t e d   e y e - t r a c k i n g   d a t a   c e r t a i n l y   s h e d   l i g h t   o n   t h e   d e t a i l e d   c o g n i t i v e   p r o c e s s e s   o f   t h e   p a r t i c i p a n t s ;   S i m u l S o r t   h e l p e d   w i t h   d e c i s i o n - m a k i n g   t a s k s   b y   p r o m o t i n g   e f f i c i e n t   b r o w s i n g   b e h a v i o r   a n d   c o m p e n s a t o r y   d e c i s i o n - m a k i n g   s t r a t e g i e s .   H o w e v e r ,   m o r e   i n t e r e s t i n g l y ,   w e   a l s o   f o u n d   u n e x p e c t e d   e y e - t r a c k i n g   p a t t e r n s   w i t h   S i m u l S o r t .   W e   i n v e s t i g a t e d   t h e   c a u s e   o f   t h e   u n e x p e c t e d   p a t t e r n s   t h r o u g h   a   c r o w d s o u r c i n g - b a s e d   s t u d y   ( i . e . ,   E x p e r i m e n t   2 ) ,   w h i c h   e l i c i t e d   a n   i m p o r t a n t   l i m i t a t i o n   o f   t h e   e y e   t r a c k i n g   m e t h o d :   i n c a p a b i l i t y   o f   c a p t u r i n g   p e r i p h e r a l   v i s i o n .   T h i s   p a r t i c u l a r   r e s u l t   w o u l d   b e   a   c a v e a t   f o r   o t h e r   v i s u a l i z a t i o n   r e s e a r c h e r s   w h o   p l a n   t o   u s e   a n   e y e   t r a c k e r   i n   t h e i r   s t u d i e s .   I n   a d d i t i o n ,   t h e   m e t h o d   t o   u s e   a   t e s t i n g   s t i m u l u s   ( i . e . ,   i n f l u e n t i a l   c o l u m n )   i n   E x p e r i m e n t   2   t o   v e r i f y   t h e   e x i s t e n c e   o f   s u c h   l i m i t a t i o n s   w o u l d   b e   u s e f u l   f o r   r e s e a r c h e r s   w h o   w o u l d   l i k e   t o   v e r i f y   t h e i r   e y e   t r a c k i n g   r e s u l t s . 	 [ K i m ,   S u n g - H e e ;   D o n g ,   Z h i h u a ;   U p a t i s i n g ,   B e n j a v a n ;   Y i ,   J i   S o o ]   P u r d u e   U n i v ,   S c h   I n d   E n g n ,   W   L a f a y e t t e ,   I N   4 7 9 0 7   U S A ;   [ X i a n ,   H a n j u n ]   P u r d u e   U n i v ,   S c h   E n g n   E d u c ,   W   L a f a y e t t e ,   I N   4 7 9 0 7   U S A 	 K i m ,   S H   ( r e p r i n t   a u t h o r ) ,   P u r d u e   U n i v ,   S c h   I n d   E n g n ,   W   L a f a y e t t e ,   I N   4 7 9 0 7   U S A . 	 k i m 7 3 1 @ p u r d u e . e d u ;   d o n g 1 7 @ p u r d u e . e d u ;   h x i a n @ p u r d u e . e d u ;   b e n j a v a n @ p u r d u e . e d u ;   y i j @ p u r d u e . e d u 	 	 	 	 	 [ A n o n y m o u s ] ,   T O B   S T U D   2   2   U S   M A N ;   B A U T I S T A   J . ,   2 0 0 8 ,   P   W O R K   C   A D V   V I S   I N T ,   P 2 0 7 ,   D O I   1 0 . 1 1 4 5 / 1 3 8 5 5 6 9 . 1 3 8 5 6 0 3 ;   B E T T M A N   J R ,   1 9 9 0 ,   O R G A N   B E H A V   H U M   D E C ,   V 4 5 ,   P 1 1 1 ,   D O I   1 0 . 1 0 1 6 / 0 7 4 9 - 5 9 7 8 ( 9 0 ) 9 0 0 0 7 - V ;   B o n n e r   S .   E . ,   2 0 0 0 ,   J   M A N A G E M E N T   A C C O U N T ,   V 1 2 ,   P 1 9 ,   D O I   D O I   1 0 . 2 3 0 8 / J M A R . 2 0 0 0 . 1 2 . 1 . 1 9 ;   B O U S H   D M ,   1 9 9 1 ,   J   M A R K E T I N G   R E S ,   V 2 8 ,   P 1 6 ,   D O I   1 0 . 2 3 0 7 / 3 1 7 2 7 2 3 ;   B r i n c k   T ,   2 0 0 2 ,   D E S I G N I N G   W E B   S I T E S ;   B u r c h   M ,   2 0 1 1 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 7 ,   P 2 4 4 0 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 1 1 . 1 9 3 ;   C r e y e r   E .   H . ,   1 9 9 0 ,   J o u r n a l   o f   B e h a v i o r a l   D e c i s i o n   M a k i n g ,   V 3 ;   G i g e r e n z e r   G ,   2 0 1 1 ,   A N N U   R E V   P S Y C H O L ,   V 6 2 ,   P 4 5 1 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v - p s y c h - 1 2 0 7 0 9 - 1 4 5 3 4 6 ;   G l a h o l t   M .   G . ,   2 0 1 1 ,   J   N E U R O S C I E N C E   P S Y C H ,   V 4 ,   P 1 2 5 ,   D O I   [ 1 0 . 1 0 3 7 / a 0 0 2 0 6 9 2 ,   D O I   1 0 . 1 0 3 7 / A 0 0 2 0 6 9 2 ] ;   G o l d b e r g   J ,   2 0 1 1 ,   I N F O R M   V I S U A L ,   V 1 0 ,   P 1 8 2 ,   D O I   1 0 . 1 1 7 7 / 1 4 7 3 8 7 1 6 1 1 4 0 6 6 2 3 ;   G o n z a l e z   V ,   2 0 0 3 ,   I E E E   I N F O R   V I S ,   P 3 3 1 ;   H a u g t v e d t   C . ,   2 0 0 5 ,   O N L I N E   C O N S U M E R   P S Y C ;   H o r t o n   J . J . ,   2 0 1 0 ,   P   1 1   A C M   C   E L   C O M M ,   P 2 0 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 0 7 3 4 2 . 1 8 0 7 3 7 6 ;   H u r   I ,   2 0 1 3 ,   I N T   J   H U M - C O M P U T   I N T ,   V 2 9 ,   P 3 7 9 ,   D O I   1 0 . 1 0 8 0 / 1 0 4 4 7 3 1 8 . 2 0 1 2 . 7 1 3 8 0 2 ;   H u r   I ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 6 1 1 ,   P 6 8 4 ;   H w a n g   C . L . ,   1 9 8 1 ,   M U L T I P L E   A T T R I B U T E   D ;   I N S E L B E R G   A ,   1 9 9 0 ,   P R O C E E D I N G S   O F   T H E   F I R S T   I E E E   C O N F E R E N C E   O N   V I S U A L I Z A T I O N   -   V I S U A L I Z A T I O N   9 0 ,   P 3 6 1 ,   D O I   1 0 . 1 1 0 9 / V I S U A L . 1 9 9 0 . 1 4 6 4 0 2 ;   J a c o b   R .   J .   K . ,   2 0 0 3 ,   M I N D ,   V 2 ,   P 4 ;   J o h n s o n   E . ,   1 9 8 9 ,   T E C H N I C A L   R E P O R T ;   J O H N S O N   E J ,   1 9 8 5 ,   M A N A G E   S C I ,   V 3 1 ,   P 3 9 5 ,   D O I   1 0 . 1 2 8 7 / m n s c . 3 1 . 4 . 3 9 5 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   L o h s e   G . ,   1 9 9 6 ,   S Y S T   S C I   1 9 9 6   P   2 9   H ,   V 4 ,   P 8 6 ;   L u r i e   N H ,   2 0 0 4 ,   J   C O N S U M   R E S ,   V 3 0 ,   P 4 7 3 ,   D O I   1 0 . 1 0 8 6 / 3 8 0 2 8 3 ;   L u r i e   N H ,   2 0 0 7 ,   J   M A R K E T I N G ,   V 7 1 ,   P 1 6 0 ,   D O I   1 0 . 1 5 0 9 / j m k g . 7 1 . 1 . 1 6 0 ;   M a r s h a l l   S P ,   2 0 0 7 ,   A V I A T   S P A C E   E N V I R   M D ,   V 7 8 ,   p B 1 6 5 ;   M a s o n   W . ,   2 0 1 0 ,   S S R N   E L I B R A R Y ,   P 1 ;   P A N   B . ,   2 0 0 4 ,   P   2 0 0 4   S   E Y E   T R A C K   R ,   P 1 4 7 ,   D O I   1 0 . 1 1 4 5 / 9 6 8 3 6 3 . 9 6 8 3 9 1 ;   P a t a l a n o   A .   L . ,   2 0 0 9 ,   J   B E H A V   D E C I S   M A K I N G ,   P 3 5 3 ;   P A Y N E   J W ,   1 9 8 8 ,   J   E X P   P S Y C H O L   L E A R N ,   V 1 4 ,   P 5 3 4 ,   D O I   1 0 . 1 0 3 7 / / 0 2 7 8 - 7 3 9 3 . 1 4 . 3 . 5 3 4 ;   P A Y N E   J W ,   1 9 7 6 ,   O R G A N   B E H A V   H U M   P E R F ,   V 1 6 ,   P 3 6 6 ,   D O I   1 0 . 1 0 1 6 / 0 0 3 0 - 5 0 7 3 ( 7 6 ) 9 0 0 2 2 - 2 ;   P e e b l e s   D ,   2 0 0 3 ,   H U M   F A C T O R S ,   V 4 5 ,   P 2 8 ,   D O I   1 0 . 1 5 1 8 / h f e s . 4 5 . 1 . 2 8 . 2 7 2 2 5 ;   R a y n e r   K ,   1 9 9 8 ,   P S Y C H O L   B U L L ,   V 1 2 4 ,   P 3 7 2 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 0 9 . 1 2 4 . 3 . 3 7 2 ;   R A Y N E R   K ,   1 9 7 8 ,   P S Y C H O L   B U L L ,   V 8 5 ,   P 6 1 8 ,   D O I   1 0 . 1 0 3 7 / / 0 0 3 3 - 2 9 0 9 . 8 5 . 3 . 6 1 8 ;   R e i s e n   N ,   2 0 0 8 ,   J U D G M   D E C I S   M A K ,   V 3 ,   P 6 4 1 ;   R O S E N   L D ,   1 9 7 6 ,   M E M   C O G N I T I O N ,   V 4 ,   P 7 4 7 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 2 1 3 2 4 3 ;   R o s s   J . ,   2 0 1 0 ,   P   2 8   I N T   C   H U M   F A C T ,   P 2 8 6 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 5 3 8 4 6 . 1 7 5 3 8 7 3 . A C C E S S E D ;   R u d o l p h   S . ,   2 0 0 9 ,   V I S   A N   S C I   T E C H N   2 0 0 ,   P 1 9 5 ;   R U S S O   J E ,   1 9 8 3 ,   J   E X P   P S Y C H O L   L E A R N ,   V 9 ,   P 6 7 6 ;   S a v i k h i n   A ,   2 0 0 8 ,   I E E E   S   V I S   A N A L ,   P 1 0 7 ;   S e i d l   C ,   1 9 9 9 ,   S T U D   E C O N   T H E O R Y ,   V 8 ,   P 4 1 3 ;   S h a h   A K ,   2 0 0 8 ,   P S Y C H O L   B U L L ,   V 1 3 4 ,   P 2 0 7 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 0 9 . 1 3 4 . 2 . 2 0 7 ;   S h r e s t h a   S . ,   2 0 0 7 ,   P   H U M   F A C T   E R G   S O C   A ,   V 5 1 ,   P 1 2 0 0 ;   S p e n k e   M ,   2 0 0 0 ,   M A N A G   I N F O R M A T   S Y S T ,   V 2 ,   P 4 5 5 ;   S p e n k e   M . ,   1 9 9 6 ,   P   U I S T   9 6 ,   P 4 1 ,   D O I   1 0 . 1 1 4 5 / 2 3 7 0 9 1 . 2 3 7 0 9 7 ;   S t e i n b e r g e r   M ,   2 0 1 1 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 7 ,   P 2 2 4 9 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 1 1 . 1 8 3 ;   T o d d   P .   M . ,   2 0 0 7 ,   M A R K E T I N G   T H E O R Y ,   V 7 ,   P 1 3 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 4 7 0 5 9 3 1 0 7 0 7 3 8 4 2 ;   T s a n g   H Y ,   2 0 1 0 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 6 ,   P 9 5 3 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 1 0 . 1 4 9 ;   T V E R S K Y   A ,   1 9 7 2 ,   P S Y C H O L   R E V ,   V 7 9 ,   P 2 8 1 ,   D O I   1 0 . 1 0 3 7 / h 0 0 3 2 9 5 5 ;   W a r e   C . ,   2 0 0 4 ,   I N F O R M   V I S U A L I Z A T I O N ;   W E G M A N   E J ,   1 9 9 0 ,   J   A M   S T A T   A S S O C ,   V 8 5 ,   P 6 6 4 ,   D O I   1 0 . 2 3 0 7 / 2 2 9 0 0 0 1 ;   W E S T E N B E R G   M R M ,   1 9 9 4 ,   A C T A   P S Y C H O L ,   V 8 7 ,   P 6 5 ,   D O I   1 0 . 1 0 1 6 / 0 0 0 1 - 6 9 1 8 ( 9 4 ) 9 0 0 4 4 - 2 ;   W i t t e n b u r g   K . ,   2 0 0 1 ,   P   1 4   A N N   A C M   S   U S   I N ,   P 5 1 ;   Y i   J . ,   2 0 0 8 ,   P   2 0 0 8   C   T I M   E R R   N O V ,   P 1 ,   D O I   1 0 . 1 1 4 5 / 1 3 7 7 9 6 6 . 1 3 7 7 9 7 1 ;   Y o o n   K . P . ,   1 9 9 5 ,   M U L T I P L E   A T T R I B U T E   D 	 5 5 	 0 	 0 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 3 1 4   U S A 	 1 0 7 7 - 2 6 2 6 	 	 	 I E E E   T   V I S   C O M P U T   G R 	 I E E E   T r a n s .   V i s .   C o m p u t .   G r a p h . 	 D E C 	 2 0 1 2 	 1 8 	 1 2 	 	 	 	 	 2 4 2 1 	 2 4 3 0 	 	 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 0 2 4 X B 	 W O S : 0 0 0 3 1 0 1 4 3 1 0 0 0 4 6 	 	 
 J 	 M i c a l l e f ,   L ;   D r a g i c e v i c ,   P ;   F e k e t e ,   J D 	 	 	 	 M i c a l l e f ,   L u a n a ;   D r a g i c e v i c ,   P i e r r e ;   F e k e t e ,   J e a n - D a n i e l 	 	 	 A s s e s s i n g   t h e   E f f e c t   o f   V i s u a l i z a t i o n s   o n   B a y e s i a n   R e a s o n i n g   t h r o u g h   C r o w d s o u r c i n g 	 I E E E   T R A N S A C T I O N S   O N   V I S U A L I Z A T I O N   A N D   C O M P U T E R   G R A P H I C S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 B a y e s i a n   r e a s o n i n g ;   b a s e   r a t e   f a l l a c y ;   p r o b a b i l i s t i c   j u d g m e n t ;   E u l e r   d i a g r a m s ;   g l y p h s ;   c r o w d s o u r c i n g 	 B A S E - R A T E   R E S P E C T ;   E U L E R   D I A G R A M S ;   C O N D I T I O N A L - P R O B A B I L I T Y ;   F R E Q U E N C Y ;   I N F O R M A T I O N ;   F O R M A T S ;   C O M P R E H E N S I O N ;   P R E F E R E N C E S ;   J U D G M E N T S ;   N U M E R A C Y 	 P e o p l e   h a v e   d i f f i c u l t y   u n d e r s t a n d i n g   s t a t i s t i c a l   i n f o r m a t i o n   a n d   a r e   u n a w a r e   o f   t h e i r   w r o n g   j u d g m e n t s ,   p a r t i c u l a r l y   i n   B a y e s i a n   r e a s o n i n g .   P s y c h o l o g y   s t u d i e s   s u g g e s t   t h a t   t h e   w a y   B a y e s i a n   p r o b l e m s   a r e   r e p r e s e n t e d   c a n   i m p a c t   c o m p r e h e n s i o n ,   b u t   f e w   v i s u a l   d e s i g n s   h a v e   b e e n   e v a l u a t e d   a n d   o n l y   p o p u l a t i o n s   w i t h   a   s p e c i f i c   b a c k g r o u n d   h a v e   b e e n   i n v o l v e d .   I n   t h i s   s t u d y ,   a   t e x t u a l   a n d   s i x   v i s u a l   r e p r e s e n t a t i o n s   f o r   t h r e e   c l a s s i c   p r o b l e m s   w e r e   c o m p a r e d   u s i n g   a   d i v e r s e   s u b j e c t   p o o l   t h r o u g h   c r o w d s o u r c i n g .   V i s u a l i z a t i o n s   i n c l u d e d   a r e a - p r o p o r t i o n a l   E u l e r   d i a g r a m s ,   g l y p h   r e p r e s e n t a t i o n s ,   a n d   h y b r i d   d i a g r a m s   c o m b i n i n g   b o t h .   O u r   s t u d y   f a i l e d   t o   r e p l i c a t e   p r e v i o u s   f i n d i n g s   i n   t h a t   s u b j e c t s '   a c c u r a c y   w a s   r e m a r k a b l y   l o w e r   a n d   v i s u a l i z a t i o n s   e x h i b i t e d   n o   m e a s u r a b l e   b e n e f i t .   A   s e c o n d   e x p e r i m e n t   c o n f i r m e d   t h a t   s i m p l y   a d d i n g   a   v i s u a l i z a t i o n   t o   a   t e x t u a l   B a y e s i a n   p r o b l e m   i s   o f   l i t t l e   h e l p ,   e v e n   w h e n   t h e   t e x t   r e f e r s   t o   t h e   v i s u a l i z a t i o n ,   b u t   s u g g e s t s   t h a t   v i s u a l i z a t i o n s   a r e   m o r e   e f f e c t i v e   w h e n   t h e   t e x t   i s   g i v e n   w i t h o u t   n u m e r i c a l   v a l u e s .   W e   d i s c u s s   o u r   f i n d i n g s   a n d   t h e   n e e d   f o r   m o r e   s u c h   e x p e r i m e n t s   t o   b e   c a r r i e d   o u t   o n   h e t e r o g e n e o u s   p o p u l a t i o n s   o f   n o n - e x p e r t s . 	 [ M i c a l l e f ,   L u a n a ;   D r a g i c e v i c ,   P i e r r e ;   F e k e t e ,   J e a n - D a n i e l ]   I N R I A ,   P a r i s ,   F r a n c e ;   [ M i c a l l e f ,   L u a n a ]   U n i v   K e n t ,   S c h   C o m p ,   C a n t e r b u r y   C T 2   7 N Z ,   K e n t ,   E n g l a n d 	 M i c a l l e f ,   L   ( r e p r i n t   a u t h o r ) ,   I N R I A ,   P a r i s ,   F r a n c e . 	 l m 3 0 4 @ k e n t . a c . u k ;   d r a g i c e @ l r i . f r ;   j e a n - d a n i e l . f e k e t e @ i n r i a . f r 	 	 	 	 	 A j z e n   I . ,   1 9 7 7 ,   P E R S O N A L I T Y   S O C I A L   P ,   V 3 5 ,   P 3 0 3 ;   A n c k e r   J S ,   2 0 1 1 ,   M E D   D E C I S   M A K I N G ,   V 3 1 ,   P 1 4 3 ,   D O I   1 0 . 1 1 7 7 / 0 2 7 2 9 8 9 X 1 0 3 6 9 0 0 6 ;   B a r b e y   A K ,   2 0 0 7 ,   B E H A V   B R A I N   S C I ,   V 3 0 ,   P 2 8 7 ,   D O I   1 0 . 1 0 1 7 / S 0 1 4 0 5 2 5 X 0 7 0 0 1 9 6 3 ;   B a r b e y   A K ,   2 0 0 7 ,   B E H A V   B R A I N   S C I ,   V 3 0 ,   P 2 4 1 ,   D O I   1 0 . 1 0 1 7 / S 0 1 4 0 5 2 5 X 0 7 0 0 1 6 5 3 ;   B A R H I L L E L   M ,   1 9 8 0 ,   A C T A   P S Y C H O L ,   V 4 4 ,   P 2 1 1 ,   D O I   1 0 . 1 0 1 6 / 0 0 0 1 - 6 9 1 8 ( 8 0 ) 9 0 0 4 6 - 3 ;   B A U E R   M I ,   1 9 9 3 ,   P S Y C H O L   S C I ,   V 4 ,   P 3 7 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 2 8 0 . 1 9 9 3 . t b 0 0 5 8 4 . x ;   B e n o y   F ,   2 0 0 7 ,   I E E E   I N T   C O N F   I N F   V I ,   P 7 7 1 ;   B r a s e   G L ,   2 0 0 9 ,   A P P L   C O G N I T I V E   P S Y C H ,   V 2 3 ,   P 3 6 9 ,   D O I   1 0 . 1 0 0 2 / a c p . 1 4 6 0 ;   B r o w n   S M ,   2 0 1 1 ,   P A T I E N T   E D U C   C O U N S ,   V 8 3 ,   P 9 2 ,   D O I   1 0 . 1 0 1 6 / j . p e c . 2 0 1 0 . 0 4 . 0 2 7 ;   B u r n s   K . ,   2 0 0 4 ,   C   A D V   V I S   I N T ,   P 3 4 4 ;   C h a p m a n   G B ,   2 0 0 9 ,   J U D G M   D E C I S   M A K ,   V 4 ,   P 3 4 ;   C h e n   J .   J . ,   2 0 1 1 ,   H U M   F A C T O R S ,   V 5 ,   P 3 ;   C h i c a g o   T r i b u n e ,   1 9 9 3 ,   C H I C A G O   T R I B U N E ;   C O H E N   J ,   1 9 9 4 ,   A M   P S Y C H O L ,   V 4 9 ,   P 9 9 7 ,   D O I   1 0 . 1 0 3 7 / 0 0 0 3 - 0 6 6 X . 5 0 . 1 2 . 1 1 0 3 ;   C o l e   W .   G . ,   1 9 8 9 ,   A C M   C   H U M   F A C T   C O M P ,   P 3 8 1 ;   C o l e   W .   G . ,   1 9 8 9 ,   S   C O M P   A P P L   M E D   C A R ,   P 2 2 7 ;   C o l l i n s   C ,   2 0 0 9 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 5 ,   P 1 0 0 9 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 0 9 . 1 2 2 ;   C o s m i d e s   L ,   1 9 9 6 ,   C O G N I T I O N ,   V 5 8 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / 0 0 1 0 - 0 2 7 7 ( 9 5 ) 0 0 6 6 4 - 8 ;   D a v i s   T C ,   2 0 0 1 ,   C A N C E R   I N V E S T ,   V 1 9 ,   P 1 9 3 ,   D O I   1 0 . 1 0 8 1 / C N V - 1 0 0 0 0 0 1 5 4 ;   D o l a n   J G ,   2 0 0 8 ,   B M C   M E D   I N F O R M   D E C I S ,   V 8 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 2 - 6 9 4 7 - 8 - 1 4 ;   E d d y   D .   M . ,   1 9 8 2 ,   P R O B A B I L I S T I C   R E A S O N ,   P 2 4 9 ;   E k s t r o m   R .   B . ,   1 9 7 6 ,   M A N U A L   K I T   F A C T O R   R E ;   F a g e r l i n   A ,   2 0 0 7 ,   M E D   D E C I S   M A K I N G ,   V 2 7 ,   P 6 7 2 ,   D O I   1 0 . 1 1 7 7 / 0 2 7 2 9 8 9 x 0 7 3 0 4 4 4 9 ;   G a l e s i c   M ,   2 0 0 9 ,   H E A L T H   P S Y C H O L ,   V 2 8 ,   P 2 1 0 ,   D O I   1 0 . 1 0 3 7 / a 0 0 1 4 4 7 4 ;   G i g e r e n z e r   G . ,   1 9 9 8 ,   E C O L O G I C A L   I N T E L L I G E ,   V 3 9 ,   P 9 ;   G i g e r e n z e r   G ,   2 0 0 7 ,   P S Y C H O L   S C I   P U B L   I N T ,   V 8 ,   P 5 3 ,   D O I   D O I   1 0 . 1 1 1 1 / J . 1 5 3 9 - 6 0 5 3 . 2 0 0 8 . 0 0 0 3 3 . X ;   G I G E R E N Z E R   G ,   1 9 9 5 ,   P S Y C H O L   R E V ,   V 1 0 2 ,   P 6 8 4 ,   D O I   1 0 . 1 0 3 7 / / 0 0 3 3 - 2 9 5 X . 1 0 2 . 4 . 6 8 4 ;   G i r o t t o   V ,   2 0 0 1 ,   C O G N I T I O N ,   V 7 8 ,   P 2 4 7 ,   D O I   1 0 . 1 0 1 6 / S 0 0 1 0 - 0 2 7 7 ( 0 0 ) 0 0 1 3 3 - 5 ;   G O O D   I J ,   1 9 9 5 ,   N A T U R E ,   V 3 7 5 ,   P 5 4 1 ,   D O I   1 0 . 1 0 3 8 / 3 7 5 5 4 1 a 0 ;   H E E R   J ,   2 0 1 0 ,   A C M   C   H U M   F A C T   C O M P ,   P 2 0 3 ;   H o f f r a g e   U ,   2 0 0 4 ,   E X P E R T S   I N   S C I E N C E   A N D   S O C I E T Y ,   P 2 4 9 ,   D O I   1 0 . 1 0 0 7 / 0 - 3 0 6 - 4 7 9 6 4 - 8 _ 1 3 ;   H o f f r a g e   U ,   2 0 0 0 ,   S C I E N C E ,   V 2 9 0 ,   P 2 2 6 1 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 2 9 0 . 5 5 0 0 . 2 2 6 1 ;   J o h n s o n - L a i r d   P N ,   1 9 9 9 ,   P S Y C H O L   R E V ,   V 1 0 6 ,   P 6 2 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 5 X . 1 0 6 . 1 . 6 2 ;   K a h n e m a n   D . ,   1 9 8 2 ,   J U D G M E N T   U N C E R T A I N T Y ;   K e l l e n   V ,   2 0 0 7 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 5 5 1 ,   P 6 3 ;   K o e h l e r   J .   J . ,   1 9 9 7 ,   L E G A L   E D ,   V 4 7 ,   P 2 1 4 ;   K o f f k a   K . ,   1 9 3 5 ,   P R I N C I P L E S   G E S T A L T   P ;   M i c a l l e f   L . ,   2 0 1 1 ,   T R 3 1 1   U   K E N T   S C H   C O M ;   N i c h o l s   A L ,   2 0 0 8 ,   J   G E N   P S Y C H O L ,   V 1 3 5 ,   P 1 5 1 ,   D O I   1 0 . 3 2 0 0 / G E N P . 1 3 5 . 2 . 1 5 1 - 1 6 6 ;   P a o l a c c i   G ,   2 0 1 0 ,   J U D G M   D E C I S   M A K ,   V 5 ,   P 4 1 1 ;   P O U L T O N   E C ,   1 9 6 6 ,   P S Y C H O L   B U L L ,   V 6 6 ,   P 1 ,   D O I   1 0 . 1 0 3 7 / h 0 0 2 3 4 2 7 ;   P r i c e   M ,   2 0 0 7 ,   P A T I E N T   E D U C   C O U N S ,   V 6 9 ,   P 1 2 1 ,   D O I   1 0 . 1 0 1 6 / j . p e c . 2 0 0 7 . 0 8 . 0 0 6 ;   R i c h e   N H ,   2 0 1 0 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 6 ,   P 1 0 9 0 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 1 0 . 2 1 0 ;   R o d g e r s   P ,   2 0 1 2 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 8 ,   P 1 0 8 9 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 1 1 . 1 4 3 ;   R o d g e r s   P ,   2 0 0 8 ,   L E C T   N O T E S   A R T I F   I N T ,   V 5 2 2 3 ,   P 1 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 8 7 7 3 0 - 1 _ 6 ;   R o s s   J . ,   2 0 1 0 ,   A C M   C   H U M   F A C T   C O M P ,   P 2 8 6 3 ;   S a l t h o u s e   T A ,   1 9 9 6 ,   P S Y C H O L   R E V ,   V 1 0 3 ,   P 4 0 3 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 5 X . 1 0 3 . 3 . 4 0 3 ;   S e d l m e i e r   P ,   2 0 0 1 ,   J   E X P   P S Y C H O L   G E N ,   V 1 3 0 ,   P 3 8 0 ,   D O I   1 0 . 1 0 3 7 / / 0 0 9 6 - 3 4 4 5 . 1 3 0 . 3 . 3 8 0 ;   S l o m a n   S A ,   2 0 0 3 ,   O R G A N   B E H A V   H U M   D E C ,   V 9 1 ,   P 2 9 6 ,   D O I   1 0 . 1 0 1 6 / S 0 7 4 9 - 5 9 7 8 ( 0 3 ) 0 0 0 2 1 - 9 ;   S t i n e   G . ,   1 9 9 6 ,   A C Q U I R E D   I M M U N E   D E F I ;   S t o n e   E .   R . ,   1 9 9 7 ,   E X P T   P S Y C H O L   A P P L ,   V 3 ;   S u r o w i e c k i   J a m e s ,   2 0 0 5 ,   W I S D O M   C R O W D S ;   T u f t e   E . ,   2 0 0 6 ,   B E A U T I F U L   E V I D E N C E ;   V i c t o r   B . ,   2 0 1 1 ,   E X P L O R A B L E   E X P L A N A T I ;   W e l c h   H G ,   2 0 1 0 ,   J   N A T L   C A N C E R   I ,   V 1 0 2 ,   P 6 0 5 ,   D O I   1 0 . 1 0 9 3 / j n c i / d j q 0 9 9 ;   W i l k i n s o n   L . ,   2 0 1 1 ,   I E E E   T   V I S U A L I Z A T I O N ,   V 1 8 ,   P 3 2 1 ;   Y a m a g i s h i   K ,   2 0 0 3 ,   E X P   P S Y C H O L ,   V 5 0 ,   P 9 7 ,   D O I   1 0 . 1 0 2 7 / / 1 6 1 8 - 3 1 6 9 . 5 0 . 2 . 9 7 ;   Z a h l   P e r - H e n r i k ,   2 0 0 4 ,   T i d s s k r   N o r   L a e g e f o r e n ,   V 1 2 4 ,   P 2 2 3 8 	 5 8 	 6 	 6 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 3 1 4   U S A 	 1 0 7 7 - 2 6 2 6 	 	 	 I E E E   T   V I S   C O M P U T   G R 	 I E E E   T r a n s .   V i s .   C o m p u t .   G r a p h . 	 D E C 	 2 0 1 2 	 1 8 	 1 2 	 	 	 	 	 2 5 3 6 	 2 5 4 5 	 	 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 0 2 4 X B 	 W O S : 0 0 0 3 1 0 1 4 3 1 0 0 0 5 8 	 	 
 J 	 Y a n g ,   Z J ;   L e v o w ,   G A ;   M e n g ,   H 	 	 	 	 Y a n g ,   Z h a o j u n ;   L e v o w ,   G i n a - A n n e ;   M e n g ,   H e l e n 	 	 	 P r e d i c t i n g   U s e r   S a t i s f a c t i o n   i n   S p o k e n   D i a l o g   S y s t e m   E v a l u a t i o n   W i t h   C o l l a b o r a t i v e   F i l t e r i n g 	 I E E E   J O U R N A L   O F   S E L E C T E D   T O P I C S   I N   S I G N A L   P R O C E S S I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 S p o k e n   d i a l o g   s y s t e m   e v a l u a t i o n ;   c o l l a b o r a t i v e   f i l t e r i n g ;   c r o w d s o u r c i n g   u s e r   s a t i s f a c t i o n 	 	 W e   p r o p o s e   a   c o l l a b o r a t i v e   f i l t e r i n g   ( C F )   m o d e l   t o   p r e d i c t   u s e r   s a t i s f a c t i o n   i n   S D S   e v a l u a t i o n .   I n s p i r e d   b y   t h e   u s e   o f   C F   i n   r e c o m m e n d a t i o n   s y s t e m s ,   w h e r e   a   u s e r ' s   p r e f e r e n c e   f o r   a   n e w   i t e m   i s   a s s u m e   t o   r e s e m b l e   t h a t   f o r   s i m i l a r   i t e m s   r a t e d   p r e v i o u s l y ,   w e   a d a p t   t h e   i d e a   t o   p r e d i c t   u s e r   e v a l u a t i o n s   o f   u n r a t e d   d i a l o g s   b a s e d   o n   t h e   r a t i n g s   r e c e i v e d   b y   s i m i l a r   d i a l o g s .   R a t i n g s   o f   d i a l o g s   a r e   g a t h e r e d   b y   c r o w d s o u r c i n g   t h r o u g h   A m a z o n   M e c h a n i c a l   T u r k .   A   r e f e r e n c e   b a s e l i n e   i s   p r o v i d e d   b y   a   l i n e a r   r e g r e s s i o n   m o d e l   ( L R M )   b a s e d   o n   t h e   P A R A D I S E   f r a m e w o r k .   W e   p r e s e n t   t w o   v e r s i o n s   o f   t h e   C F   m o d e l .   F i r s t ,   t h e   i t e m - b a s e d   c o l l a b o r a t i v e   f i l t e r i n g   m o d e l   ( I C F M )   c l u s t e r s   r a t e d   d i a l o g s   a n d   b u i l d s   a n   L R M   f o r   e a c h   c l u s t e r .   T h e   r a t i n g   o f   a n   u n s e e n   d i a l o g   i s   p r e d i c t e d   b y   t h e   L R M   o f   i t s   m o s t   s i m i l a r   c l u s t e r .   S e c o n d ,   t h e   e x t e n d e d   I C F M   ( E I C F M )   s e p a r a t e s   d i a l o g   f e a t u r e s   i n t o   u s e r - r e l a t e d   a n d   s y s t e m - r e l a t e d   g r o u p s ,   t o   b u i l d   L R M s   f o r   t h e s e   s e p a r a t e l y .   E x p e r i m e n t a l   r e s u l t s   o n   d i a l o g s   f r o m   t h e   L e t ' s   G o !   s y s t e m   s h o w   b o t h   I C F M   a n d   E I C F M   c a n   s i g n i f i c a n t l y   i m p r o v e   t h e   p r o p o r t i o n   o f   v a r i a b i l i t y   e x p l a i n e d   b y   t h e   L R M .   W e   a l s o   d e m o n s t r a t e   t h e   g e n e r a l i z a b i l i t y   o f   t h e   C F   m o d e l   t o   a   n e w   d i a l o g   c o r p u s   f r o m   t h e   s y s t e m s   i n   t h e   S p o k e n   D i a l o g   C h a l l e n g e   ( S D C )   2 0 1 0 . 	 [ Y a n g ,   Z h a o j u n ]   U n i v   S o   C a l i f ,   D e p t   E l e c t   E n g n ,   L o s   A n g e l e s ,   C A   9 0 0 8 9   U S A ;   [ L e v o w ,   G i n a - A n n e ]   U n i v   W a s h i n g t o n ,   D e p t   L i n g u i s t ,   S e a t t l e ,   W A   9 8 1 9 5   U S A ;   [ M e n g ,   H e l e n ]   C h i n e s e   U n i v   H o n g   K o n g ,   H u m a n   C o m p   C o m m u n   L a b ,   S h a t i n ,   H o n g   K o n g ,   P e o p l e s   R   C h i n a 	 Y a n g ,   Z J   ( r e p r i n t   a u t h o r ) ,   U n i v   S o   C a l i f ,   D e p t   E l e c t   E n g n ,   L o s   A n g e l e s ,   C A   9 0 0 8 9   U S A . 	 z h a o - j u n y @ u s c . e d u ;   l e v o w @ u . w a s h i n g t o n . e d u ;   h m m e n g @ s e . c u h k . e d u . h k 	 	 	 H K S A R   G o v e r n m e n t   R e s e a r c h   G r a n t s   C o u n c i l   [ 4 1 5 6 0 9 ] 	 M a n u s c r i p t   r e c e i v e d   J u l y   2 4 ,   2 0 1 2 ;   r e v i s e d   O c t o b e r   1 9 ,   2 0 1 2 ;   a c c e p t e d   N o v e m b e r   1 2 ,   2 0 1 2 .   D a t e   o f   p u b l i c a t i o n   N o v e m b e r   2 7 ,   2 0 1 2 ;   d a t e   o f   c u r r e n t   v e r s i o n   J a n u a r y   0 3 ,   2 0 1 3 .   T h i s   w o r k   w a s   s u p p o r t e d   i n   p a r t   b y   a   g r a n t   f r o m   t h e   H K S A R   G o v e r n m e n t   R e s e a r c h   G r a n t s   C o u n c i l   ( P r o j e c t   N o .   4 1 5 6 0 9 ) .   T h e   a s s o c i a t e   e d i t o r   c o o r d i n a t i n g   t h e   r e v i e w   o f   t h i s   m a n u s c r i p t   a n d   a p p r o v i n g   i t   f o r   p u b l i c a t i o n   w a s   D r .   P a s c a l   P o u p a r t . 	 A d o m a v i c i u s   G ,   2 0 0 5 ,   I E E E   T   K N O W L   D A T A   E N ,   V 1 7 ,   P 7 3 4 ,   D O I   1 0 . 1 1 0 9 / T K D E . 2 0 0 5 . 9 9 ;   [ A n o n y m o u s ] ,   2 0 0 5 ,   P A R   D E S C R   I N T   S P O K   D ;   B e r i n g e r   N . ,   2 0 0 2 ,   P   L R E C   W O R K S H   M U L T   R ,   P 9 0 ;   B l a c k   A   W ,   2 0 1 0 ,   P r o c e e d i n g s   2 0 1 0   I E E E   S p o k e n   L a n g u a g e   T e c h n o l o g y   W o r k s h o p   ( S L T   2 0 1 0 ) ,   D O I   1 0 . 1 1 0 9 / S L T . 2 0 1 0 . 5 7 0 0 8 9 4 ;   B o n n e a u - M a y n a r d   H . ,   2 0 0 0 ,   P   L A N G   R E S   E V   C   L R E C ;   C o h e n   P . R . ,   1 9 9 5 ,   E M P I R I C A L   M E T H O D S   A R ,   V 5 5 ;   D y b k j a e r   L ,   2 0 0 4 ,   S P E E C H   C O M M U N ,   V 4 3 ,   P 3 3 ,   D O I   1 0 . 1 0 1 6 / j . s p e c o m . 2 0 0 4 . 0 2 . 0 0 1 ;   E n g e l b r e c h t   K . ,   2 0 0 7 ,   P   S I G D I A L   W O R K S H   D I S ;   E n g e l b r e c h t   K . - P . ,   2 0 0 9 ,   P   S I G D I A L   W O R K S H   D I S ,   P 1 7 0 ,   D O I   1 0 . 3 1 1 5 / 1 7 0 8 3 7 6 . 1 7 0 8 4 0 2 ;   F o r b e s - R i l e y   K . ,   2 0 0 6 ,   P   H U M   L A N G   T E C H N   C   A ,   P 2 6 4 ,   D O I   1 0 . 3 1 1 5 / 1 2 2 0 8 3 5 . 1 2 2 0 8 6 9 ;   G l a s s   J . ,   2 0 0 0 ,   P   I N T   C   S P O K   L A N G   P R ;   H i r s c h m a n   L . ,   1 9 9 3 ,   P   H U M   L A N G   T E C H N   W O R ,   P 1 9 ,   D O I   1 0 . 3 1 1 5 / 1 0 7 5 6 7 1 . 1 0 7 5 6 7 6 ;   H o n e   K . ,   2 0 0 1 ,   P   7   E U R   C   S P E E C H   C O M ;   J i n   R . ,   2 0 0 4 ,   P   S I G I R ;   K a m m   C . ,   1 9 9 9 ,   P   A V I O S ;   L i n d e n   G ,   2 0 0 3 ,   I E E E   I N T E R N E T   C O M P U T ,   V 7 ,   P 7 6 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 0 3 . 1 1 6 7 3 4 4 ;   L i t m a n   D . ,   2 0 0 5 ,   I N T   J   A R T I F I C I A L   I N T ,   V 1 6 ,   P 1 4 5 ;   M c G r a w   I . ,   2 0 1 0 ,   P   L A N G   R E S   E V   C   L R E C ;   M c T e a r   M . ,   2 0 0 2 ,   A C M   C O M P U T   S U R V ,   V 3 4 ,   P 1 6 9 ;   M c T e a r   M . ,   1 9 9 8 ,   P   I N T   C   S P O K   L A N G   P R ,   P 1 2 2 3 ;   M e n g   H . ,   2 0 0 4 ,   A C M   T   C O M P U T E R   H U M A N ,   V 1 1 ,   P 2 6 8 ,   D O I   1 0 . 1 1 4 5 / 1 0 1 7 4 9 4 . 1 0 1 7 4 9 7 ;   M o l l e r   S . ,   2 0 0 5 ,   P   S I G D I A L   W O R K S H   D I S ,   P 1 6 6 ;   M o l l e r   S . ,   2 0 0 3 ,   P   8   E U R   C   S P E E C H   C O M ;   N o v o t n e y   S . ,   2 0 1 0 ,   P   H L T   N A A C L ,   V P r o c .   A s s o c .   C o m p u t .   L i n g u i s t .   ( A C L ) ,   P 2 0 7 ;   R a u x   A . ,   2 0 0 5 ,   P   I N T E R S P E E C H ;   R e c   I . ,   2 0 0 3 ,   P   8 5 1   S U B J   Q U A L   E V   T ,   P 8 5 1 ;   S a r w a r   B . ,   2 0 0 1 ,   P   1 0   I N T   C   W O R L D   W I D ,   P 2 9 5 ;   S h o u k r i   M .   M . ,   2 0 0 4 ,   M E A S U R E S   I N T E R O B S E R V ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   S u   X . ,   2 0 0 9 ,   A D V   A R T I F I C I A L   I N T E L ,   V 4 ,   P 2 0 0 9 ,   D O I   D O I   1 0 . 1 1 5 5 / 2 0 0 9 / 4 2 1 4 2 5 ;   W a l k e r   M . ,   2 0 0 1 ,   P   A S S   C O M P   L I N G   A C L ,   P 5 2 2 ;   W a l k e r   M . ,   1 9 9 7 ,   P   A S S   C O M P   L I N G   A C L ;   W a l k e r   M .   A . ,   2 0 0 0 ,   N A T   L A N G   E N G ,   V 6 ,   P 3 6 3 ,   D O I   1 0 . 1 0 1 7 / S 1 3 5 1 3 2 4 9 0 0 0 0 2 5 0 3 ;   W a l k e r   M A ,   1 9 9 8 ,   C O M P U T   S P E E C H   L A N G ,   V 1 2 ,   P 3 1 7 ,   D O I   1 0 . 1 0 0 6 / c s l a . 1 9 9 8 . 0 1 1 0 ;   W a n g   J . ,   2 0 0 6 ,   P r o c e e d i n g s   o f   t h e   T w e n t y - N i n t h   A n n u a l   I n t e r n a t i o n a l   A C M   S I G I R   C o n f e r e n c e   o n   R e s e a r c h   a n d   D e v e l o p m e n t   i n   I n f o r m a t i o n   R e t r i e v a l ,   D O I   1 0 . 1 1 4 5 / 1 1 4 8 1 7 0 . 1 1 4 8 2 5 7 ;   W u   Z Y ,   2 0 0 6 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 2 7 4 ,   P 6 1 4 ;   Y a n g   Z . ,   2 0 1 0 ,   P   I E E E   W O R K S H   S P O K   L ,   P 4 7 2 ;   Y a n g   Z . ,   2 0 1 0 ,   P   I E E E   W O R K S H   S P O K   L ,   P 2 7 7 	 3 8 	 1 	 1 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 1 9 3 2 - 4 5 5 3 	 1 9 4 1 - 0 4 8 4 	 	 I E E E   J - S T S P 	 I E E E   J .   S e l .   T o p .   S i g n a l   P r o c e s s . 	 D E C 	 2 0 1 2 	 6 	 8 	 	 	 	 	 9 7 1 	 9 8 1 	 	 1 0 . 1 1 0 9 / J S T S P . 2 0 1 2 . 2 2 2 9 9 6 5 	 	 1 1 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 E n g i n e e r i n g 	 V 3 2 I W 	 W O S : 0 0 0 2 0 8 9 4 5 9 0 0 0 0 8 	 	 
 J 	 D u b o i s ,   O ;   M a r s h a l l ,   K ;   M c N a m a r a ,   S S 	 	 	 	 D u b o i s ,   O l i v i e r ;   M a r s h a l l ,   K a t h a r i n e ;   M c N a m a r a ,   S i o b h a n   S p a r k e s 	 	 	 N e w   t e c h n o l o g i e s   a n d   n e w   p o l i c i e s :   t h e   I C R C ' s   e v o l v i n g   a p p r o a c h   t o   w o r k i n g   w i t h   s e p a r a t e d   f a m i l i e s 	 I N T E R N A T I O N A L   R E V I E W   O F   T H E   R E D   C R O S S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 s e p a r a t i o n ;   f a m i l i e s ;   m i s s i n g ;   t e c h n o l o g y ;   c r o w d s o u r c i n g ;   m u l t i d i s c i p l i n a r y ;   h o l i s t i c ;   f o r e n s i c s 	 	 T h e   f i e l d   o f   h u m a n i t a r i a n   a c t i o n   i s   f a r   f r o m   s t a t i c ,   a n d   t h e   I C R C   h a s   w o r k e d   o v e r   t h e   y e a r s   t o   e v o l v e   a n d   r e s p o n d   t o   c h a n g i n g   n e e d s   a n d   c h a n g i n g   c i r c u m s t a n c e s .   T h e   p a s t   s e v e r a l   d e c a d e s   h a v e   s e e n   a   p r o l i f e r a t i o n   o f   h u m a n i t a r i a n   a c t o r s ,   p r o t r a c t e d ,   c o m p l e x   c o n f l i c t s ,   a n d   t h e   r a p i d   r i s e   o f   n e w   t e c h n o l o g i e s   t h a t   h a v e   s i g n i f i c a n t l y   i m p a c t e d   h o w   h u m a n i t a r i a n   w o r k   i s   d o n e .   T h e   I C R C   h a s   b e e n   c o n t i n u a l l y   c h a l l e n g e d   t o   a d a p t   i n   t h i s   c h a n g i n g   e n v i r o n m e n t ,   a n d   i t s   c o r e   w o r k   o f   s u p p o r t i n g   s e p a r a t e d   f a m i l i e s - t h r o u g h   r e s t o r a t i o n   o f   f a m i l y   l i n k s   a n d   t h r o u g h   s u p p o r t   t o   t h e   f a m i l i e s   o f   t h e   m i s s i n g - p r o v i d e s   i n s i g h t   i n t o   w a y s   t h a t   i t   h a s   m e t   t h i s   c h a l l e n g e   a n d   a r e a s   i n   w h i c h   i t   m a y   s t i l l   s e e k   t o   i m p r o v e . 	 [ D u b o i s ,   O l i v i e r ]   I C R C ,   C e n t   T r a c i n g   A g c y ,   G e n e v a ,   S w i t z e r l a n d ;   [ D u b o i s ,   O l i v i e r ]   I C R C ,   P r o t e c t   D i v ,   G e n e v a ,   S w i t z e r l a n d ;   [ M a r s h a l l ,   K a t h a r i n e ;   M c N a m a r a ,   S i o b h a n   S p a r k e s ]   I C R C ,   R e s t o r i n g   F a m i l y   L i n k s   &   M i s s i n g   P e r s o n s   U n i t ,   G e n e v a ,   S w i t z e r l a n d 	 D u b o i s ,   O   ( r e p r i n t   a u t h o r ) ,   I C R C ,   C e n t   T r a c i n g   A g c y ,   G e n e v a ,   S w i t z e r l a n d . 	 	 	 	 	 	 	 0 	 0 	 0 	 C A M B R I D G E   U N I V   P R E S S 	 C A M B R I D G E 	 E D I N B U R G H   B L D G ,   S H A F T E S B U R Y   R D ,   C B 2   8 R U   C A M B R I D G E ,   E N G L A N D 	 1 8 1 6 - 3 8 3 1 	 1 6 0 7 - 5 8 8 9 	 	 I N T   R E V   R E D   C R O S S 	 I n t .   R e v .   R e d   C r o s s 	 D E C 	 2 0 1 2 	 9 4 	 8 8 8 	 	 	 	 	 1 4 5 5 	 1 4 7 9 	 	 1 0 . 1 0 1 7 / S 1 8 1 6 3 8 3 1 1 3 0 0 0 5 7 X 	 	 2 5 	 L a w 	 G o v e r n m e n t   &   L a w 	 A C 2 W B 	 W O S : 0 0 0 3 3 2 3 7 5 9 0 0 0 2 0 	 	 
 J 	 R o v e r e ,   A ;   R a y m o ,   M E ;   O ' L e a r y ,   M J ;   H e a r t y ,   P J 	 	 	 	 R o v e r e ,   A . ;   R a y m o ,   M .   E . ;   O ' L e a r y ,   M .   J . ;   H e a r t y ,   P .   J . 	 	 	 C r o w d s o u r c i n g   i n   t h e   Q u a t e r n a r y   s e a   l e v e l   c o m m u n i t y :   i n s i g h t s   f r o m   t h e   P l i o c e n e 	 Q U A T E R N A R Y   S C I E N C E   R E V I E W S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 R S L   d a t a b a s e s ;   C r o w d s o u r c i n g ;   P l i o - Q u a t e r n a r y   s e a   l e v e l s 	 	 I n   o r d e r   t o   e s t a b l i s h   t h e   ' f i n g e r p r i n t '   o f   p a s t   s e a   l e v e l   c h a n g e s ,   m a n y   f i e l d   m e a s u r e m e n t s   o f   p a l e o   s e a   l e v e l   f r o m   g l o b a l l y   d i s t r i b u t e d   l o c a t i o n s   a r e   n e e d e d .   I t   i s   b e c a u s e   t h i s   p r o b l e m   r e q u i r e s   a   g e o g r a p h i c a l l y   e x p a n s i v e   d a t a b a s e   t h a t   i t   b e c o m e s   a n   i d e a l   c a n d i d a t e   f o r   c r o w d s o u r c i n g   t e c h n i q u e s .   I n   o r d e r   t o   c r o w d s o u r c e   s e a   l e v e l   d a t a   f r o m   t h e   M i d - P l i o c e n e   W a r m   P e r i o d ,   w e   d e v e l o p e d   t h r e e   t o o l s :   P l i o W i k i .   R S L c a l c   a n d   R S L m a p .   P l i o W i k i   i s   a   w e b   p o r t a l ,   o p e n   t o   c o n t r i b u t i o n s ,   w h e r e   i n v e s t i g a t o r s   c a n   s h a r e   k n o w l e d g e   o n   P l i o c e n e   t o   Q u a t e r n a r y   r e l a t i v e   s e a   l e v e l s .   R S L c a l c   i s   a   s t a n d a r d i z e d ,   r e a d y - t o - u s e   t o o l   f o r   f i e l d   g e o l o g i s t s   t o   l o g   t h e i r   o w n   s e a   l e v e l   f i e l d   o b s e r v a t i o n s   a n d ,   i f   t h e y   d e s i r e ,   s u b m i t   n e w   d a t a   t o   a n   o p e n   a c c e s s   d a t a b a s e   o f   r e l a t i v e   s e a   l e v e l   m a r k e r s .   R S L m a p   a l l o w s   o n e   t o   v i s u a l i z e   a n d   q u e r y   t h e   d a t a b a s e   b u i l t   w i t h   R S L c a l c   o n   a   G o o g l e   M a p   i n t e r f a c e .   H e r e   w e   d e s c r i b e   t h e s e   t o o l s   a n d   d i s c u s s   t h e   a d v a n t a g e s   o f   c r o w d s o u r c i n g ,   r e l a t i v e   t o   t r a d i t i o n a l   a p p r o a c h e s ,   f o r   t h e   c r e a t i o n   o f   s e a   l e v e l   d a t a b a s e s   f o r   a n y   t i m e   p e r i o d .   ( C )   2 0 1 2   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ R o v e r e ,   A . ;   R a y m o ,   M .   E . ]   C o l u m b i a   U n i v ,   L a m o n t   D o h e r t y   E a r t h   O b s e r v ,   P a l i s a d e s ,   N Y   1 0 9 6 4   U S A ;   [ O ' L e a r y ,   M .   J . ]   C u r t i n   U n i v   T e c h n o l ,   D e p t   E n v i r o n m   &   A g r ,   B e n t l e y ,   W A   6 1 0 2 ,   A u s t r a l i a ;   [ H e a r t y ,   P .   J . ]   U n i v   N   C a r o l i n a ,   D e p t   E n v i r o n m   S t u d i e s ,   W i l m i n g t o n ,   N C   2 8 4 0 3   U S A 	 R o v e r e ,   A   ( r e p r i n t   a u t h o r ) ,   C o l u m b i a   U n i v ,   L a m o n t   D o h e r t y   E a r t h   O b s e r v ,   P O B   1 0 0 0 , 6 1   R o u t e   9 W ,   P a l i s a d e s ,   N Y   1 0 9 6 4   U S A . 	 r o v e r e @ l d e o . c o l u m b i a . e d u 	 R o v e r e ,   A l e s s i o / C - 4 2 6 2 - 2 0 1 1 	 	 N S F   [ O C E - 1 2 0 2 6 3 2 ] ;   I N Q U A   ' M e d f l o o d '   p r o j e c t 	 A u t h o r s   w a n t   t o   t h a n k   N S F   g r a n t   O C E - 1 2 0 2 6 3 2   a n d   I N Q U A   ' M e d f l o o d '   p r o j e c t   f o r   s u p p o r t   a s   w e l l   a s   S p r e a d s h e e t C o n v e r t e r   ( c )   ( w w w . s p r e a d s h e e t c o n v e r t e r . c o m )   f o r   c o n c e d i n g   a   f r e e   l i c e n s e   f o r   r e s e a r c h   p u r p o s e s .   W e   a c k n o w l e d g e   R i c k   H o u s l e y   f o r   a s s i s t a n c e   w o r k i n g   o n   e a r l i e r   v e r s i o n s   o f   P l i o W i k i . 	 F r i t z   S ,   2 0 0 9 ,   R E M O T E   S E N S - B A S E L ,   V 1 ,   P 3 4 5 ,   D O I   1 0 . 3 3 9 0 / r s 1 0 3 0 3 4 5 ;   H e a r t y   P J ,   1 9 9 8 ,   Q U A T E R N A R Y   S C I   R E V ,   V 1 7 ,   P 3 3 3 ,   D O I   1 0 . 1 0 1 6 / S 0 2 7 7 - 3 7 9 1 ( 9 8 ) 0 0 0 4 6 - 8 ;   H e i p k e   C ,   2 0 1 0 ,   I S P R S   J   P H O T O G R A M M ,   V 6 5 ,   P 5 5 0 ,   D O I   1 0 . 1 0 1 6 / j . i s p r s j p r s . 2 0 1 0 . 0 6 . 0 0 5 ;   K l e m a n n   V ,   2 0 1 1 ,   A M   G E O P H   U N   F A L L   M   2 ;   R a y m o   M ,   2 0 0 9 ,   P A G E S   N E W S ,   V 1 7 ;   R i n a l d i   A ,   2 0 0 9 ,   E M B O   R E P ,   V 1 0 ,   P 4 3 9 ,   D O I   1 0 . 1 0 3 8 / e m b o r . 2 0 0 9 . 7 9 ;   R o v e r e   A ,   2 0 1 2 ,   A L P I N E   M E D I T E R R A N E A N ,   V 2 5 ,   p i i i ;   S i d d a l l   M ,   2 0 1 2 ,   E A R T H   P L A N E T   S C   L E T T ,   V 3 1 5 ,   P 2 ,   D O I   1 0 . 1 0 1 6 / j . e p s l . 2 0 1 1 . 1 0 . 0 2 3 ;   T a p s c o t t   D . ,   2 0 0 6 ,   W I K I N O M I C S   M A S S   C O L L ;   W i s s e r   D ,   2 0 0 9 ,   A G U   F A L L   M ,   V A G U   F a l l   M e e t i n g   A b s t r a c t s ,   P 0 6 ;   Z o o k   M . ,   2 0 1 0 ,   W o r l d   M e d i c a l   a n d   H e a l t h   P o l i c y ,   V 2 ,   P 7 ,   D O I   1 0 . 2 2 0 2 / 1 9 4 8 - 4 6 8 2 . 1 0 6 9 	 1 1 	 1 	 1 	 P E R G A M O N - E L S E V I E R   S C I E N C E   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   E N G L A N D 	 0 2 7 7 - 3 7 9 1 	 	 	 Q U A T E R N A R Y   S C I   R E V 	 Q u a t .   S c i .   R e v . 	 N O V   2 1 	 2 0 1 2 	 5 6 	 	 	 	 	 	 1 6 4 	 1 6 6 	 	 1 0 . 1 0 1 6 / j . q u a s c i r e v . 2 0 1 2 . 0 9 . 0 1 4 	 	 3 	 G e o g r a p h y ,   P h y s i c a l ;   G e o s c i e n c e s ,   M u l t i d i s c i p l i n a r y 	 P h y s i c a l   G e o g r a p h y ;   G e o l o g y 	 0 4 4 Z Z 	 W O S : 0 0 0 3 1 1 6 6 5 0 0 0 0 1 1 	 	 
 J 	 L o c k w o o d ,   D 	 	 	 	 L o c k w o o d ,   D e i r d r e 	 	 	 C R O W D S O U R C I N G   C H E M I S T R Y 	 C H E M I C A L   &   E N G I N E E R I N G   N E W S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 0 	 1 	 1 	 A M E R   C H E M I C A L   S O C 	 W A S H I N G T O N 	 1 1 5 5   1 6 T H   S T ,   N W ,   W A S H I N G T O N ,   D C   2 0 0 3 6   U S A 	 0 0 0 9 - 2 3 4 7 	 	 	 C H E M   E N G   N E W S 	 C h e m .   E n g .   N e w s 	 N O V   1 2 	 2 0 1 2 	 9 0 	 4 6 	 	 	 	 	 3 0 	 3 2 	 	 	 	 3 	 C h e m i s t r y ,   M u l t i d i s c i p l i n a r y ;   E n g i n e e r i n g ,   C h e m i c a l 	 C h e m i s t r y ;   E n g i n e e r i n g 	 0 3 8 M K 	 W O S : 0 0 0 3 1 1 1 7 8 6 0 0 0 4 5 	 	 
 J 	 L u e n g o - O r o z ,   M A ;   A r r a n z ,   A ;   F r e a n ,   J 	 	 	 	 A n g e l   L u e n g o - O r o z ,   M i g u e l ;   A r r a n z ,   A s i e r ;   F r e a n ,   J o h n 	 	 	 C r o w d s o u r c i n g   M a l a r i a   P a r a s i t e   Q u a n t i f i c a t i o n :   A n   O n l i n e   G a m e   f o r   A n a l y z i n g   I m a g e s   o f   I n f e c t e d   T h i c k   B l o o d   S m e a r s 	 J O U R N A L   O F   M E D I C A L   I N T E R N E T   R E S E A R C H 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   M a l a r i a ;   I m a g e   A n a l y s i s ;   G a m e s   f o r   H e a l t h ;   T e l e p a t h o l o g y 	 M A T H E M A T I C A L   M O R P H O L O G Y ;   M I C R O S C O P Y ;   D I S C O V E R Y ;   P L A Y E R S 	 B a c k g r o u n d :   T h e r e   a r e   6 0 0 , 0 0 0   n e w   m a l a r i a   c a s e s   d a i l y   w o r l d w i d e .   T h e   g o l d   s t a n d a r d   f o r   e s t i m a t i n g   t h e   p a r a s i t e   b u r d e n   a n d   t h e   c o r r e s p o n d i n g   s e v e r i t y   o f   t h e   d i s e a s e   c o n s i s t s   i n   m a n u a l l y   c o u n t i n g   t h e   n u m b e r   o f   p a r a s i t e s   i n   b l o o d   s m e a r s   t h r o u g h   a   m i c r o s c o p e ,   a   p r o c e s s   t h a t   c a n   t a k e   m o r e   t h a n   2 0   m i n u t e s   o f   a n   e x p e r t   m i c r o s c o p i s t ' s   t i m e .   O b j e c t i v e :   T h i s   r e s e a r c h   t e s t s   t h e   f e a s i b i l i t y   o f   a   c r o w d s o u r c e d   a p p r o a c h   t o   m a l a r i a   i m a g e   a n a l y s i s .   I n   p a r t i c u l a r ,   w e   i n v e s t i g a t e d   w h e t h e r   a n o n y m o u s   v o l u n t e e r s   w i t h   n o   p r i o r   e x p e r i e n c e   w o u l d   b e   a b l e   t o   c o u n t   m a l a r i a   p a r a s i t e s   i n   d i g i t i z e d   i m a g e s   o f   t h i c k   b l o o d   s m e a r s   b y   p l a y i n g   a   W e b - b a s e d   g a m e .   M e t h o d s :   T h e   e x p e r i m e n t a l   s y s t e m   c o n s i s t e d   o f   a   W e b - b a s e d   g a m e   w h e r e   o n l i n e   v o l u n t e e r s   w e r e   t a s k e d   w i t h   d e t e c t i n g   p a r a s i t e s   i n   d i g i t i z e d   b l o o d   s a m p l e   i m a g e s   c o u p l e d   w i t h   a   d e c i s i o n   a l g o r i t h m   t h a t   c o m b i n e d   t h e   a n a l y s e s   f r o m   s e v e r a l   p l a y e r s   t o   p r o d u c e   a n   i m p r o v e d   c o l l e c t i v e   d e t e c t i o n   o u t c o m e .   D a t a   w e r e   c o l l e c t e d   t h r o u g h   t h e   M a l a r i a S p o t   w e b s i t e .   R a n d o m   i m a g e s   o f   t h i c k   b l o o d   f i l m s   c o n t a i n i n g   P l a s m o d i u m   f a l c i p a r u m   a t   m e d i u m   t o   l o w   p a r a s i t e m i a s ,   a c q u i r e d   b y   c o n v e n t i o n a l   o p t i c a l   m i c r o s c o p y ,   w e r e   p r e s e n t e d   t o   p l a y e r s .   I n   t h e   g a m e ,   p l a y e r s   h a d   t o   f i n d   a n d   t a g   a s   m a n y   p a r a s i t e s   a s   p o s s i b l e   i n   1   m i n u t e .   I n   t h e   e v e n t   t h a t   p l a y e r s   f o u n d   a l l   t h e   p a r a s i t e s   p r e s e n t   i n   t h e   i m a g e ,   t h e y   w e r e   p r e s e n t e d   w i t h   a   n e w   i m a g e .   I n   o r d e r   t o   c o m b i n e   t h e   c h o i c e s   o f   d i f f e r e n t   p l a y e r s   i n t o   a   s i n g l e   c r o w d   d e c i s i o n ,   w e   i m p l e m e n t e d   a n   i m a g e   p r o c e s s i n g   p i p e l i n e   a n d   a   q u o r u m   a l g o r i t h m   t h a t   j u d g e d   a   p a r a s i t e   t a g g e d   w h e n   a   g r o u p   o f   p l a y e r s   a g r e e d   o n   i t s   p o s i t i o n .   R e s u l t s :   O v e r   1   m o n t h ,   a n o n y m o u s   p l a y e r s   f r o m   9 5   c o u n t r i e s   p l a y e d   m o r e   t h a n   1 2 , 0 0 0   g a m e s   a n d   g e n e r a t e d   a   d a t a b a s e   o f   m o r e   t h a n   2 7 0 , 0 0 0   c l i c k s   o n   t h e   t e s t   i m a g e s .   R e s u l t s   r e v e a l e d   t h a t   c o m b i n i n g   2 2   g a m e s   f r o m   n o n e x p e r t   p l a y e r s   a c h i e v e d   a   p a r a s i t e   c o u n t i n g   a c c u r a c y   h i g h e r   t h a n   9 9 % .   T h i s   p e r f o r m a n c e   c o u l d   b e   o b t a i n e d   a l s o   b y   c o m b i n i n g   1 3   g a m e s   f r o m   p l a y e r s   t r a i n e d   f o r   1   m i n u t e .   E x h a u s t i v e   c o m p u t a t i o n s   m e a s u r e d   t h e   p a r a s i t e   c o u n t i n g   a c c u r a c y   f o r   a l l   p l a y e r s   a s   a   f u n c t i o n   o f   t h e   n u m b e r   o f   g a m e s   c o n s i d e r e d   a n d   t h e   e x p e r i e n c e   o f   t h e   p l a y e r s .   I n   a d d i t i o n ,   w e   p r o p o s e   a   m a t h e m a t i c a l   e q u a t i o n   t h a t   a c c u r a t e l y   m o d e l s   t h e   c o l l e c t i v e   p a r a s i t e   c o u n t i n g   p e r f o r m a n c e .   C o n c l u s i o n s :   T h i s   r e s e a r c h   v a l i d a t e s   t h e   o n l i n e   g a m i n g   a p p r o a c h   f o r   c r o w d s o u r c e d   c o u n t i n g   o f   m a l a r i a   p a r a s i t e s   i n   i m a g e s   o f   t h i c k   b l o o d   f i l m s .   T h e   f i n d i n g s   s u p p o r t   t h e   c o n c l u s i o n   t h a t   n o n e x p e r t s   a r e   a b l e   t o   r a p i d l y   l e a r n   h o w   t o   i d e n t i f y   t h e   t y p i c a l   f e a t u r e s   o f   m a l a r i a   p a r a s i t e s   i n   d i g i t i z e d   t h i c k   b l o o d   s a m p l e s   a n d   t h a t   c o m b i n i n g   t h e   a n a l y s e s   o f   s e v e r a l   u s e r s   p r o v i d e s   s i m i l a r   p a r a s i t e   c o u n t i n g   a c c u r a c y   r a t e s   a s   t h o s e   o f   e x p e r t   m i c r o s c o p i s t s .   T h i s   e x p e r i m e n t   i l l u s t r a t e s   t h e   p o t e n t i a l   o f   t h e   c r o w d s o u r c e d   g a m i n g   a p p r o a c h   f o r   p e r f o r m i n g   r o u t i n e   m a l a r i a   p a r a s i t e   q u a n t i f i c a t i o n ,   a n d   m o r e   g e n e r a l l y   f o r   s o l v i n g   b i o m e d i c a l   i m a g e   a n a l y s i s   p r o b l e m s ,   w i t h   f u t u r e   p o t e n t i a l   f o r   t e l e d i a g n o s i s   r e l a t e d   t o   g l o b a l   h e a l t h   c h a l l e n g e s . ( J   M e d   I n t e r n e t   R e s   2 0 1 2 ; 1 4 ( 6 ) : e 1 6 7 )   d o i : 1 0 . 2 1 9 6 / j m i r . 2 3 3 8 	 [ A n g e l   L u e n g o - O r o z ,   M i g u e l ]   U n i v   P o l i t e c n   M a d r i d ,   B i o m e d   I m a g e   T e c h n o l   G r p ,   D I E ,   E T S I   T e l e c o m u n i c a c , C E I   M o n c l o a   U P M   U C M ,   E - 2 8 0 4 0   M a d r i d ,   S p a i n ;   [ A n g e l   L u e n g o - O r o z ,   M i g u e l ]   C I B E R   B B N ,   B i o m e d   R e s   N e t w o r k i n g   C t r   B i o e n g n   B i o m a t   &   N a n o m e ,   M a d r i d ,   S p a i n ;   [ A r r a n z ,   A s i e r ]   N e b u t e k   S o l u c   S L ,   V i z c a y a ,   S p a i n ;   [ F r e a n ,   J o h n ]   N a t l   H l t h   L a b   S e r v ,   N a t l   I n s t   C o m m u n i c a b l e   D i s ,   J o h a n n e s b u r g ,   S o u t h   A f r i c a ;   [ F r e a n ,   J o h n ]   U n i v   W i t w a t e r s r a n d ,   F a c   H l t h   S c i ,   S c h   P a t h o l ,   J o h a n n e s b u r g ,   S o u t h   A f r i c a 	 L u e n g o - O r o z ,   M A   ( r e p r i n t   a u t h o r ) ,   U n i v   P o l i t e c n   M a d r i d ,   B i o m e d   I m a g e   T e c h n o l   G r p ,   D I E ,   E T S I   T e l e c o m u n i c a c , E T S I T , C E I   M o n c l o a   U P M   U C M ,   A v   C o m p l u t e n s e   3 0 ,   E - 2 8 0 4 0   M a d r i d ,   S p a i n . 	 m a l u e n g o @ d i e . u p m . e s 	 	 	 P i c a t a   p r o g r a m   f r o m   t h e   M o n c l o a   C a m p u s   o f   I n t e r n a t i o n a l   E x c e l l e n c e ,   U n i v e r s i d a d   P o l i t e c n i c a   d e   M a d r i d ;   U n i v e r s i d a d   C o m p l u t e n s e   d e   M a d r i d ,   S p a i n ;   S p a n i s h   M i n i s t r y   o f   S c i e n c e   a n d   I n n o v a t i o n   [ T E C 2 0 1 0 - 1 6 1 9 -   C 0 4 - 0 3 ] 	 T h i s   r e s e a r c h   w a s   p a r t i a l l y   f u n d e d   b y   t h e   P i c a t a   p r o g r a m   f r o m   t h e   M o n c l o a   C a m p u s   o f   I n t e r n a t i o n a l   E x c e l l e n c e ,   U n i v e r s i d a d   P o l i t e c n i c a   d e   M a d r i d   a n d   U n i v e r s i d a d   C o m p l u t e n s e   d e   M a d r i d ,   S p a i n ;   a n d   t h e   p r o j e c t   T E C 2 0 1 0 - 1 6 1 9 -   C 0 4 - 0 3   f r o m   t h e   S p a n i s h   M i n i s t r y   o f   S c i e n c e   a n d   I n n o v a t i o n . 	 A b t   C . C . ,   1 9 8 7 ,   S E R I O U S   G A M E S ;   A n g u l o   J ,   2 0 0 3 ,   A N A L   C E L L   P A T H O L ,   V 2 5 ,   P 3 7 ;   B a r r i n g t o n   L ,   2 0 1 1 ,   A N N   G E O P H Y S - I T A L Y ,   V 5 4 ,   P 6 8 0 ,   D O I   1 0 . 4 4 0 1 / a g - 5 3 2 4 ;   B a r r i n g t o n   L ,   2 0 1 2 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 9 ,   P 6 4 1 1 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 0 1 4 7 4 8 1 0 9 ;   B r e s l a u e r   D N ,   2 0 0 9 ,   P L O S   O N E ,   V 4 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 0 6 3 2 0 ;   C o o p e r   S ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 7 5 6 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 9 3 0 4 ;   D e t e r d i n g   S ,   2 0 1 1 ,   2 0 1 1   S E P   2 8   P   1 5   I N T ,   P 9 ,   D O I   [ 1 0 . 1 1 4 5 / 2 1 8 1 0 3 7 . 2 1 8 1 0 4 0 ,   D O I   1 0 . 1 1 4 5 / 2 1 8 1 0 3 7 . 2 1 8 1 0 4 0 ] ;   E i b e n   C B ,   2 0 1 2 ,   N A T   B I O T E C H N O L ,   V 3 0 ,   P 1 9 0 ,   D O I   1 0 . 1 0 3 8 / n b t . 2 1 0 9 ;   F r e a n   J A ,   2 0 0 9 ,   M A L A R I A   J ,   V 8 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 5 - 2 8 7 5 - 8 - 2 1 8 ;   G o o d   B M ,   2 0 1 1 ,   G E N O M E   B I O L ,   V 1 2 ,   D O I   1 0 . 1 1 8 6 / g b - 2 0 1 1 - 1 2 - 1 2 - 1 3 5 ;   K h a t i b   F ,   2 0 1 1 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 8 ,   P 1 8 9 4 9 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 1 1 5 8 9 8 1 0 8 ;   L e s s l   M ,   2 0 1 1 ,   N A T   R E V   D R U G   D I S C O V ,   V 1 0 ,   P 2 4 1 ,   D O I   1 0 . 1 0 3 8 / n r d 3 4 1 2 ;   L i n t o t t   C J ,   2 0 0 8 ,   M O N   N O T   R   A S T R O N   S O C ,   V 3 8 9 ,   P 1 1 7 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 9 6 6 . 2 0 0 8 . 1 3 6 8 9 . x ;   L u e n g o - O r o z   M A ,   2 0 0 5 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 5 2 3 ,   P 1 9 9 ;   * M A L E R A   C O N S   G R O U P ,   2 0 1 1 ,   P L O S   M E D ,   V 0 0 0 8 ;   M a v a n d a d i   S ,   2 0 1 2 ,   P L O S   O N E ,   V 7 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 3 7 2 4 5 ;   M c G o n i g a l   J . ,   2 0 1 1 ,   R E A L I T Y   I S   B R O K E N   W H ;   M i l l e r   A R ,   2 0 1 0 ,   P L O S   O N E ,   V 5 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 1 1 8 9 0 ;   M u r r a y   C J L ,   2 0 1 2 ,   L A N C E T ,   V 3 7 9 ,   P 4 1 3 ,   D O I   1 0 . 1 0 1 6 / S 0 1 4 0 - 6 7 3 6 ( 1 2 ) 6 0 0 3 4 - 8 ;   N i e l s e n   M . ,   2 0 1 1 ,   R E I N V E N T I N G   D I S C O V E R ;   P r e s c o t t   W R ,   2 0 1 2 ,   M A L A R I A   J ,   V 1 1 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 5 - 2 8 7 5 - 1 1 - 1 5 5 ;   P u r w a r   Y ,   2 0 1 1 ,   M A L A R I A   J ,   V 1 0 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 5 - 2 8 7 5 - 1 0 - 3 6 4 ;   R a y k a r   V C ,   2 0 1 0 ,   J   M A C H   L E A R N   R E S ,   V 1 1 ,   P 1 2 9 7 ;   S a s c o   L R ,   2 0 1 0 ,   M E A S U R I N G   C R E A T I V I T Y ,   P 3 6 9 ;   S c h m i d t   M ,   2 0 0 9 ,   S C I E N C E ,   V 3 2 4 ,   P 8 1 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 5 8 9 3 ;   S h u t e   G .   T . ,   1 9 8 8 ,   M a l a r i a :   p r i n c i p l e s   a n d   p r a c t i c e   o f   m a l a r i o l o g y .   V o l u m e   1 . ,   P 7 8 1 ;   S i o   S W S ,   2 0 0 7 ,   J   M I C R O B I O L   M E T H ,   V 6 8 ,   P 1 1 ,   D O I   1 0 . 1 0 1 6 / j . m i m e t . 2 0 0 6 . 0 5 . 0 1 7 ;   S t e i n   J A ,   2 0 1 1 ,   P R O C   S P I E ,   V 7 9 6 6 ,   D O I   1 0 . 1 1 1 7 / 1 2 . 8 7 8 4 1 2 ;   S w a n   M ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 9 8 8 ;   T e k   F B ,   2 0 1 0 ,   C O M P U T   V I S   I M A G E   U N D ,   V 1 1 4 ,   P 2 1 ,   D O I   1 0 . 1 0 1 6 / j . c v i u . 2 0 0 9 . 0 8 . 0 0 3 ;   T e k   F B ,   2 0 0 9 ,   M A L A R I A   J ,   V 8 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 5 - 2 8 7 5 - 8 - 1 5 3 ;   T h o m p s o n   K ,   2 0 1 2 ,   S C I   A M ,   V 3 0 6 ,   P 5 6 ;   T u i j n   C J ,   2 0 1 1 ,   P L O S   O N E ,   V 6 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 2 8 3 4 8 ;   W H O   G l o b a l   M a l a r i a   P r o g r a m m e ,   2 0 1 1 ,   W O R L D   M A L   R E P   2 0 1 1 ;   W o r l d   H e a l t h   O r g a n i z a t i o n ,   2 0 1 0 ,   B A S   M A L   M I C R   1 	 3 5 	 1 0 	 1 0 	 J M I R   P U B L I C A T I O N S ,   I N C 	 T O R O N T O 	 5 9   W I N N E R S   C I R C L E ,   T O R O N T O ,   O N   M 4 L   3 Y 7 ,   C A N A D A 	 1 4 3 8 - 8 8 7 1 	 	 	 J   M E D   I N T E R N E T   R E S 	 J .   M e d .   I n t e r n e t   R e s . 	 N O V - D E C 	 2 0 1 2 	 1 4 	 6 	 	 	 	 	 2 0 7 	 2 1 9 	 e 1 6 7 	 1 0 . 2 1 9 6 / j m i r . 2 3 3 8 	 	 1 3 	 H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s ;   M e d i c a l   I n f o r m a t i c s 	 H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s ;   M e d i c a l   I n f o r m a t i c s 	 0 9 9 T V 	 W O S : 0 0 0 3 1 5 6 4 6 0 0 0 0 1 6 	 2 3 1 9 6 0 0 1 	 
 J 	 D i a z ,   L ;   G r a n e l l ,   C ;   H u e r t a ,   J ;   G o u l d ,   M 	 	 	 	 D i a z ,   L a u r a ;   G r a n e l l ,   C a r l o s ;   H u e r t a ,   J o a q u i n ;   G o u l d ,   M i c h a e l 	 	 	 W e b   2 . 0   B r o k e r :   A   s t a n d a r d s - b a s e d   s e r v i c e   f o r   s p a t i o - t e m p o r a l   s e a r c h   o f   c r o w d - s o u r c e d   i n f o r m a t i o n 	 A P P L I E D   G E O G R A P H Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 S p a t i o - t e m p o r a l   s e a r c h ;   C r o w d - s o u r c e d   d a t a ;   O p e n   S e a r c h ;   W e b   2 . 0   B r o k e r ;   W e b   2 . 0   s e r v i c e s 	 S P A T I A L   D A T A   I N F R A S T R U C T U R E S ;   G E O G R A P H I C   I N F O R M A T I O N ;   D A T A - C O L L E C T I O N ;   D I G I T A L   E A R T H ;   M A N A G E M E N T ;   S C I E N C E ;   G I S 	 R e c e n t   t r e n d s   i n   i n f o r m a t i o n   t e c h n o l o g y   s h o w   t h a t   c i t i z e n s   a r e   i n c r e a s i n g l y   w i l l i n g   t o   s h a r e   i n f o r m a t i o n   u s i n g   t o o l s   p r o v i d e d   b y   W e b   2 . 0   a n d   c r o w d s o u r c i n g   p l a t f o r m s   t o   d e s c r i b e   e v e n t s   t h a t   m a y   h a v e   s o c i a l   i m p a c t .   T h i s   i s   f u e l l e d   b y   t h e   p r o l i f e r a t i o n   o f   l o c a t i o n - a w a r e   d e v i c e s   s u c h   a s   s m a r t p h o n e s   a n d   t a b l e t s ;   u s e r s   a r e   a b l e   t o   s h a r e   i n f o r m a t i o n   i n   t h e s e   c r o w d s o u r c i n g   p l a t f o r m s   d i r e c t l y   f r o m   t h e   f i e l d   a t   r e a l   t i m e ,   a u g m e n t i n g   t h i s   i n f o r m a t i o n   w i t h   i t s   l o c a t i o n .   A f t e r w a r d s ,   t o   r e t r i e v e   t h i s   i n f o r m a t i o n ,   u s e r s   m u s t   d e a l   w i t h   t h e   d i f f e r e n t   s e a r c h   m e c h a n i s m s   p r o v i d e d   b y   t h e   e a c h   W e b   2 . 0   s e r v i c e s .   T h i s   p a p e r   e x p l o r e s   h o w   t o   i m p r o v e   o n   t h e   i n t e r o p e r a b i l i t y   o f   W e b   2 . 0   s e r v i c e s   b y   p r o v i d i n g   a   s i n g l e   s e r v i c e   a s   a   u n i q u e   e n t r y   t o   s e a r c h   o v e r   s e v e r a l   W e b   2 . 0   s e r v i c e s   i n   a   s i n g l e   s t e p .   T h i s   p a p e r   d e m o n s t r a t e s   t h e   u s e f u l n e s s   o f   t h e   O p e n   G e o s p a t i a l   C o n s o r t i u m ' s   O p e n S e a r c h   G e o s p a t i a l   a n d   T i m e   s p e c i f i c a t i o n   a s   a n   i n t e r f a c e   f o r   a   s e r v i c e   t h a t   s e a r c h e s   a n d   r e t r i e v e s   i n f o r m a t i o n   a v a i l a b l e   i n   c r o w d s o u r c i n g   s e r v i c e s .   W e   p r e s e n t   h o w   t h i s   i n f o r m a t i o n   i s   v a l u a b l e   i n   c o m p l e m e n t i n g   o t h e r   a u t h o r i t a t i v e   i n f o r m a t i o n   b y   p r o v i d i n g   a n   a l t e r n a t i v e ,   c o n t e m p o r a r y   s o u r c e .   W e   d e m o n s t r a t e   t h e   i n t r i n s i c   i n t e r o p e r a b i l i t y   o f   t h e   s y s t e m   s h o w i n g   t h e   i n t e g r a t i o n   o f   c r o w d - s o u r c e d   d a t a   i n   d i f f e r e n t   s c e n a r i o s .   ( C )   2 0 1 2   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ D i a z ,   L a u r a ;   H u e r t a ,   J o a q u i n ;   G o u l d ,   M i c h a e l ]   U n i v   J a u m e   1 ,   I n s t   N e w   I m a g i n g   T e c h n o l ,   C a s t e l l o n   d e   L a   P l a n a   1 2 0 0 6 ,   S p a i n ;   [ G r a n e l l ,   C a r l o s ]   C o m m i s s   E u r o p e a n   C o m m u n i t i e s ,   J o i n t   R e s   C t r ,   I n s t   E n v i r o n m   &   S u s t a i n a b i l ,   I - 2 1 0 2 7   I s p r a ,   V A ,   I t a l y 	 D i a z ,   L   ( r e p r i n t   a u t h o r ) ,   U n i v   J a u m e   1 ,   I n s t   N e w   I m a g i n g   T e c h n o l ,   A v   S o s   B a y n a t   S - N ,   C a s t e l l o n   d e   L a   P l a n a   1 2 0 0 6 ,   S p a i n . 	 l a u r a . d i a z @ u j i . e s ;   c a r l o s . g r a n e l l @ j r c . e c . e u r o p a . e u ;   h u e r t a @ u j i . e s ;   g o u l d @ u j i . e s 	 	 	 	 	 2 0 0 7 ,   2 0 0 7 ,   O F F I C I A L   J   E U R O P E A   L ,   V L   1 0 8 ,   P 5 0 ;   A a n e n s e n   D M ,   2 0 0 9 ,   P L O S   O N E ,   V 4 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 0 6 9 6 8 ;   A r a g o   P . ,   2 0 1 1 ,   I N S P I R E   C   2 0 1 1   E D ;   B a i l e y   J E ,   2 0 1 1 ,   C O M P U T   G E O S C I - U K ,   V 3 7 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / j . c a g e o . 2 0 1 0 . 0 6 . 0 0 1 ;   B e j a r   R ,   2 0 0 9 ,   I N T   J   G E O G R   I N F   S C I ,   V 2 3 ,   P 2 7 1 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 5 8 8 1 0 8 0 1 9 0 5 2 8 2 ;   B e l t r a n   A . ,   2 0 1 2 ,   M U L T I M E D I A   T O O L S   A P P ;   B e r n a r d   E ,   2 0 1 1 ,   A P P L   G E O G R ,   V 3 1 ,   P 5 6 4 ,   D O I   1 0 . 1 0 1 6 / j . a p g e o g . 2 0 1 0 . 1 1 . 0 1 4 ;   B i s h o p   I D ,   2 0 0 0 ,   C I T I E S ,   V 1 7 ,   P 8 5 ,   D O I   1 0 . 1 0 1 6 / S 0 2 6 4 - 2 7 5 1 ( 0 0 ) 0 0 0 0 4 - 4 ;   B u d h a t h o k i   N . ,   2 0 0 8 ,   G E O J O U R N A L ,   V 7 2 ,   P 1 4 9 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 8 - 9 1 8 9 - X ;   B u s c h m a n n   F . ,   1 9 9 6 ,   P A T T E R N   O R I E N T E D   S O F ,   V 1 ;   C o l e m a n   D .   J . ,   2 0 0 9 ,   I N T   J   S P A T I A L   D A T A   I ,   V 4 ,   P 3 3 2 ;   C r a g l i a   M ,   2 0 1 2 ,   I N T   J   D I G I T   E A R T H ,   V 5 ,   P 4 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 7 . 2 0 1 1 . 6 3 8 5 0 0 ;   C r a g l i a   M . ,   2 0 0 8 ,   I N T   J   S P A T I A L   D A T A   I ,   V 3 ,   P 1 4 6 ;   C u r t i s   A ,   2 0 1 2 ,   A P P L   G E O G R ,   V 3 2 ,   P 3 9 3 ,   D O I   1 0 . 1 0 1 6 / j . a p g e o g . 2 0 1 1 . 0 6 . 0 0 2 ;   D a v i s   J r   C . A . ,   2 0 0 9 ,   I N T   J   S P A T I A L   D A T A   I ,   V 4 ,   P 1 5 6 ;   D e s s e r s   E . ,   2 0 1 2 ,   I N T   J   S P A T I A L   D A T A   I ,   V 7 ,   P 1 2 5 ;   D i a z   L ,   2 0 1 1 ,   F U T U R E   G E N E R   C O M P   S Y ,   V 2 7 ,   P 3 0 4 ,   D O I   1 0 . 1 0 1 6 / j . f u t u r e . 2 0 1 0 . 0 9 . 0 0 2 ;   D i a z   L . ,   2 0 1 2 ,   I N T   J   S P A T I A L   D A T A   I ,   V 7 ,   P 2 0 1 2 ;   D u b o i s   G . ,   2 0 1 1 ,   P   3 4   I N T   S   R E M   S E N S ,   P 1 ;   F l a n a g i n   A . ,   2 0 0 8 ,   G E O J O U R N A L ,   V 7 2 ,   P 1 3 7 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 8 - 9 1 8 8 - Y ;   F r i t z   S ,   2 0 0 9 ,   R E M O T E   S E N S - B A S E L ,   V 1 ,   P 3 4 5 ,   D O I   1 0 . 3 3 9 0 / r s 1 0 3 0 3 4 5 ;   F r i t z   S ,   2 0 1 2 ,   E N V I R O N   M O D E L L   S O F T W ,   V 3 1 ,   P 1 1 0 ,   D O I   1 0 . 1 0 1 6 / j . e n v s o f t . 2 0 1 1 . 1 1 . 0 1 5 ;   G o n c a l v e s   P . ,   2 0 1 0 ,   0 9 0 8 4 R 3   O G C   I N C ;   G o o d c h i l d   M   F ,   2 0 0 7 ,   I N T   J   S P A T I A L   D A T A   I ,   V 2 ,   P 2 4 ;   G o o d c h i l d   M F ,   2 0 1 2 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 9 ,   P 1 1 0 8 8 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 2 0 2 3 8 3 1 0 9 ;   G o o d c h i l d   M F ,   2 0 1 0 ,   I N T   J   D I G I T   E A R T H ,   V 3 ,   P 2 3 1 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 1 0 0 3 7 5 9 2 5 5 ;   G o o d c h i l d   M i c h a e l   F . ,   2 0 1 2 ,   S P A T I A L   S T A T ,   V 1 ,   P 1 1 0 ,   D O I   [ D O I   1 0 . 1 0 1 6 / J . S P A S T A . 2 0 1 2 . 0 3 . 0 0 2 ,   1 0 . 1 0 1 6 / j . s p a s t a . 2 0 1 2 . 0 3 . 0 0 2 ] ;   G r a n e l l   C ,   2 0 1 0 ,   E N V I R O N   M O D E L L   S O F T W ,   V 2 5 ,   P 1 8 2 ,   D O I   1 0 . 1 0 1 6 / j . e n v s o f t . 2 0 0 9 . 0 8 . 0 0 5 ;   K a t e s   R W ,   2 0 0 1 ,   S C I E N C E ,   V 2 9 2 ,   P 6 4 1 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 0 5 9 3 8 6 ;   M a s s e r   I ,   2 0 0 7 ,   I N T   J   G E O G R   I N F   S Y S T ,   V 2 2 ,   P 5 ;   M a s s e r   I ,   2 0 0 5 ,   G I S   W O R L D S   C R E A T I N G ;   M c I n e r n e y   D . ,   2 0 1 2 ,   I E E E   J   S E L E C T E D   T O P I ;   M u n r o   R . ,   2 0 1 2 ,   C R O W D S O U R C I N G   C R I S I S ;   N a t i v i   S . ,   2 0 1 1 ,   P   1 4   A G I L E   I N T   C   G E O ;   N a t i v i   S . ,   2 0 1 2 ,   I N T   J   S P A T I A L   D A T A   I ,   V 7 ,   P 1 ;   N e b e r t   D . ,   2 0 0 4 ,   D E V   S P A T I A L   D A T A   I N F ;   N e i s   P a s c a l ,   2 0 1 2 ,   F u t u r e   I n t e r n e t ,   V 4 ,   D O I   1 0 . 3 3 9 0 / f i 4 0 1 0 0 0 1 ;   N e w e l l   D a v i d   A . ,   2 0 1 2 ,   F u t u r e   I n t e r n e t ,   V 4 ,   D O I   1 0 . 3 3 9 0 / f i 4 0 2 0 5 5 1 ;   O m r a n   E E ,   2 0 0 7 ,   I N T   J   G E O G R   I N F   S C I ,   V 2 1 ,   P 6 9 9 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 5 8 8 1 0 6 0 1 1 3 5 7 2 6 ;   O s t e r m a n n   F . ,   2 0 1 1 ,   P   1 4   A G I L E   I N T   C   G E O ;   P e a r l m a n   J . ,   2 0 0 8 ,   I E E E   S Y S T E M S   J ,   V 2 ,   P 3 0 2 ;   P u l t a r   E ,   2 0 0 9 ,   T   G I S ,   V 1 3 ,   P 8 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 6 7 1 . 2 0 0 9 . 0 1 1 5 7 . x ;   R a j a b i f a r d   A . ,   2 0 0 2 ,   I N T   J   A P P L   E A R T H   O B S ,   V 4 ,   P 1 1 ,   D O I   D O I   1 0 . 1 0 1 6 / S 0 3 0 3 - 2 4 3 4 ( 0 2 ) 0 0 0 0 2 - 8 ;   R e i d   W V ,   2 0 1 0 ,   S C I E N C E ,   V 3 3 0 ,   P 9 1 6 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 9 6 2 6 3 ;   R o c h e   S . ,   2 0 1 2 ,   G E O J O U R N A L ;   S c h a d e   S . ,   2 0 1 2 ,   A P P L   G E O M A T I C S ;   S c h i l l   C . ,   2 0 1 2 ,   E U R O G E O S S   C   M A D R   2 5 ;   S i n g l e t o n   A D ,   2 0 0 9 ,   A P P L   G E O G R ,   V 2 9 ,   P 2 8 9 ,   D O I   1 0 . 1 0 1 6 / j . a p g e o g . 2 0 0 8 . 1 0 . 0 0 6 ;   T a m a y o   A ,   2 0 1 2 ,   I N T   J   G E O G R   I N F   S C I ,   V 2 6 ,   P 1 1 0 9 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 5 8 8 1 6 . 2 0 1 1 . 6 2 6 6 0 2 ;   T u l l o c h   D L ,   2 0 0 7 ,   1   M O N D A Y ,   V 1 2 ;   T u r n e r   A . ,   2 0 0 6 ,   I N T R O   N E O G E O G R A P H Y ;   V a c c a r i   L . ,   2 0 1 2 ,   I E E E   J   S E L E C T E D   T O P I ;   Y a n g   C W ,   2 0 1 0 ,   C O M P U T   E N V I R O N   U R B A N ,   V 3 4 ,   P 2 6 4 ,   D O I   1 0 . 1 0 1 6 / j . c o m p e n v u r b s y s . 2 0 1 0 . 0 4 . 0 0 1 ;   Z l a t a n o v a   S ,   2 0 0 9 ,   G E O J O U R N A L   L I B ,   V 9 6 ,   P 2 3 9 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 9 0 - 4 8 1 - 2 6 2 0 - 0 _ 1 3 ;   Z o o k   M . ,   2 0 1 0 ,   W o r l d   M e d i c a l   a n d   H e a l t h   P o l i c y ,   V 2 ,   P 7 ,   D O I   1 0 . 2 2 0 2 / 1 9 4 8 - 4 6 8 2 . 1 0 6 9 	 5 5 	 2 	 2 	 E L S E V I E R   S C I   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   O X O N ,   E N G L A N D 	 0 1 4 3 - 6 2 2 8 	 	 	 A P P L   G E O G R 	 A p p l .   G e o g r . 	 N O V 	 2 0 1 2 	 3 5 	 1 - 2 	 	 	 	 	 4 4 8 	 4 5 9 	 	 1 0 . 1 0 1 6 / j . a p g e o g . 2 0 1 2 . 0 9 . 0 0 8 	 	 1 2 	 G e o g r a p h y 	 G e o g r a p h y 	 0 6 8 Q B 	 W O S : 0 0 0 3 1 3 3 8 0 2 0 0 0 4 4 	 	 
 J 	 H s u ,   H H ;   C h e n ,   Y F ;   L i n ,   C Y ;   H s i e h ,   C W ;   S h i h ,   T K 	 	 	 	 H s u ,   H u i - H u a n g ;   C h e n ,   Y u - F a n ;   L i n ,   C h i - Y i ;   H s i e h ,   C h e n g - W e i ;   S h i h ,   T i m o t h y   K . 	 	 	 E m o t i o n   A t t e n t i o n   t o   F r i e n d s   o n   S o c i a l   N e t w o r k i n g   S e r v i c e s 	 J O U R N A L   O F   I N T E R N E T   T E C H N O L O G Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 S o c i a l   n e t w o r k s ;   E m o t i o n   a n a l y s i s ;   S e m a n t i c   a n a l y s i s ;   C r o w d s o u r c i n g ;   A t t e n t i o n   i n d e x 	 	 S o c i a l   n e t w o r k i n g   s e r v i c e s   a r e   a n   i m p o r t a n t   c h a n n e l   f o r   p e o p l e   t o   k e e p   i n   c o n t a c t   n o w a d a y s .   T h r o u g h   t h e   m e s s a g e s   p o s t e d   b y   f r i e n d s ,   t h e   u s e r   i s   a b l e   t o   k n o w   h i s / h e r   f r i e n d s '   r e c e n t   a c t i v i t i e s ,   n e w s   a n d   e m o t i o n   s t a t u s .   I n   t h i s   r e s e a r c h ,   w e   a i m e d   a t   d e v e l o p i n g   a   s y s t e m   t h a t   c a n   s c r e e n   a n d   a n a l y z e   t h e   m e s s a g e s   p o s t e d   b y   f r i e n d s   o n   s o c i a l   n e t w o r k i n g   s e r v i c e s   t o   k n o w   w h i c h   f r i e n d s   n e e d   i n s t a n t   a t t e n t i o n / c a r e .   T h e   p o s t s   o n   F a c e b o o k   W a l l   o f   a   f r i e n d   a r e   f i l t e r e d   f i r s t   t o   o b t a i n   t h e   m e s s a g e s   b y   t h e   f r i e n d ,   e x c l u d i n g   t h e   p o s t s   b y   g a m e s   o r   o t h e r   a p p l i c a t i o n s .   T h e   o b t a i n e d   m e s s a g e s   a r e   t h e n   c l a s s i f i e d   i n t o   o n e   o f   e i g h t   c a t e g o r i e s ,   i n c l u d i n g   s i x   e m o t i o n   c a t e g o r i e s ,   s p e c i a l   e v e n t s ,   a n d   o t h e r s .   T h e   c a t e g o r y   i n f o r m a t i o n   o f   t h e   t e r m s   i n   t h e   m e s s a g e s   i s   t h e n   f u r t h e r   a n a l y z e d   f o r   t h e   p r o p o s e d   a t t e n t i o n   i n d e x .   A f t e r   t h e   a t t e n t i o n   i n d i c e s   o f   s e l e c t e d   f r i e n d s   a r e   d e c i d e d ,   t h e y   a r e   r a n k e d   b y   t h e   i n d i c e s .   T h e   o n e s   w i t h   h i g h e r   a t t e n t i o n   i n d i c e s   n e e d   t h e   u s e r   t o   s h o w   h i s / h e r   c a r e   i n   a   t i m e l y   m a n n e r .   W e   h a v e   d e v e l o p e d   a   F a c e b o o k   a p p l i c a t i o n   t h a t   c a n   d i s p l a y   t h e   d e s i r e d   i n f o r m a t i o n   i n   a   g r a p h i c a l   i n t e r f a c e . 	 [ H s u ,   H u i - H u a n g ;   C h e n ,   Y u - F a n ;   L i n ,   C h i - Y i ]   T a m k a n g   U n i v ,   D e p t   C o m p   S c i   &   I n f o r m a t   E n g n ,   T a i p e i ,   T a i w a n ;   [ H s i e h ,   C h e n g - W e i ;   S h i h ,   T i m o t h y   K . ]   N a t l   C e n t   U n i v ,   D e p t   C o m p   S c i   &   I n f o r m a t   E n g n ,   T a o   Y u a n ,   T a i w a n 	 H s u ,   H H   ( r e p r i n t   a u t h o r ) ,   T a m k a n g   U n i v ,   D e p t   C o m p   S c i   &   I n f o r m a t   E n g n ,   T a i p e i ,   T a i w a n . 	 h _ h s u @ m a i l . t k u . e d u . t w ;   e v a 2 f i s h @ g m a i l . c o m ;   c h i y i l i n @ m a i l . t k u . e d u . t w ;   w a y 6 7 0 4 2 5 @ g m a i l . c o m ;   t i m o t h y k s h i h @ g m a i l . c o m 	 	 	 	 	 [ A n o n y m o u s ] ,   2 0 1 1 ,   E M O T I C O N S   Y A H O O   M E S S ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   C O M P L E T E   L I S T   P L U R K ;   B o b i c e v   V ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 0 0 8 ,   P 3 7 5 ;   B o l l e n   J ,   2 0 1 1 ,   J   C O M P U T   S C I - N E T H ,   V 2 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / j . j o c s . 2 0 1 0 . 1 2 . 0 0 7 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   C h e n   K . J . ,   1 9 9 2 ,   P   C O L I N G   9 2 ,   P 1 0 1 ,   D O I   1 0 . 3 1 1 5 / 9 9 2 0 6 6 . 9 9 2 0 8 5 ;   C h o u   L D ,   2 0 1 1 ,   J   I N T E R N E T   T E C H N O L ,   V 1 2 ,   P 1 3 9 ;   H s i e h   Y u - M i n g ,   2 0 0 7 ,   C O M P U T A T I O N A L   L I N G U I ,   V 1 2 ,   P 1 9 5 ;   K i m   H L ,   2 0 1 3 ,   I E E E   T   S E R V   C O M P U T ,   V 6 ,   P 2 5 2 ,   D O I   1 0 . 1 1 0 9 / T S C . 2 0 1 1 . 5 4 ;   L i   C . T e . ,   2 0 1 0 ,   P   1 9   A C M   I N T   C   W O R L D ,   P 1 1 4 1 ,   D O I   1 0 . 1 1 4 5 / 1 7 7 2 6 9 0 . 1 7 7 2 8 4 4 ;   L i n   Y u - C h u n g ,   2 0 0 3 ,   T H E S I S   N A T L   C H E N G   K U ;   M i l g r a m   S . ,   1 9 6 7 ,   P S Y C H O L   T O D A Y ,   V 2 ,   P 6 0 ,   D O I   D O I   1 0 . 1 1 4 5 / 3 3 5 3 0 5 . 3 3 5 3 2 5 ;   M i l l e r   G . A . ,   1 9 9 0 ,   I N T   J   L E X I C O G R ,   V 3 ,   P 2 3 5 ,   D O I   D O I   1 0 . 1 0 9 3 / I J L / 3 . 4 . 2 3 5 ;   Q u a n   C . ,   2 0 0 9 ,   P   2 0 0 9   C   E M P   M E T H   N A ,   P 1 4 4 6 ;   S t r a p p a r a v a   C . ,   2 0 0 4 ,   P   4   I N T   C   L A N G   R E S   E ,   P 1 0 8 3 ;   Y o u   J i a - M i n g ,   2 0 0 4 ,   P   3   S I G H A N   W O R K S H   C H ,   P 1 0 9 	 1 6 	 2 	 2 	 N A T L   D O N G   H W A   U N I V 	 H U A L I E N 	 N A T L   D O N G   H W A   U N I V ,   J I T ,   C O M P U T E R   &   I T   C E N T E R ,   H U A L I E N ,   0 0 0 0 0 ,   T A I W A N 	 1 6 0 7 - 9 2 6 4 	 	 	 J   I N T E R N E T   T E C H N O L 	 J .   I n t e r n e t   T e c h n o l . 	 N O V 	 2 0 1 2 	 1 3 	 6 	 	 	 	 	 9 6 3 	 9 7 0 	 	 	 	 8 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   T e l e c o m m u n i c a t i o n s 	 0 5 0 H V 	 W O S : 0 0 0 3 1 2 0 4 5 3 0 0 0 1 1 	 	 
 J 	 Y e ,   W W ;   X u ,   P P ;   J i a ,   Y H ;   J i a n g ,   F 	 	 	 	 Y e ,   W e i w e i ;   X u ,   P i n g p i n g ;   J i a ,   Y u n h u a ;   J i a n g ,   F e n 	 	 	 C r o w d s o u r c i n g   f o r   O p e n   I n n o v a t i o n s 	 A P P L I E D   M A T H E M A T I C S   &   I N F O R M A T I O N   S C I E N C E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   C r o w d s o u r c i n g   m o d e s ;   O p e n   i n n o v a t i o n ;   C o l l a b o r a t i v e   i n n o v a t i o n 	 	 U n d e r   v e r y   c o m p l e x   e n v i r o n m e n t ,   i n n o v a t i o n - o r i e n t e d   c r o w d s o u r c i n g   i s   b e c o m i n g   c r i t i c a l   b e c a u s e   i t   i s   n o t   o n l y   t h e   r e s u l t   o f   c u m u l a t i v e   d y n a m i c   i n t e r a c t i o n   i n v o l v i n g   m a n y   s t a k e h o l d e r s ,   b u t   a l s o   i s   a   s o c i a l ,   s p a t i a l l y   e m b e d d e d ,   a n d   i n t e r a c t i v e   l e a r n i n g   p r o c e s s   t h a t   c a n n o t   b e   u n d e r s t o o d   i n d e p e n d e n t l y   o f   i t s   i n s t i t u t i o n a l   a n d   c u l t u r a l   c o n t e x t .   B r i n g i n g   t o g e t h e r   d i f f e r e n t   c r o w d s o u r s i n g   p h e n o m e n a ,   t h i s   p a p e r   f i r s t l y   c o n v e r g e s   o n   c l a s s i f i c a t i o n   m o d e l   w h i c h   h i g h l i g h t s   f o u r   m a i n   m o d e s   o f   c r o w d s o u r s i n g .   T h e n   t h i s   p a p e r   d i s c u s s e s   p o s s i b l e   m a n a g e m e n t   m e c h a n i s m s   t o   s u p p o r t   p r e v a l e n t   c r o w d s o u r c i n g   f o r   o p e n   i n n o v a t i o n .   S e v e r a l   r e f e r e n c e s   f o r   d e v e l o p i n g   c o u n t r i e s   t o   i n i t i a t e   i n n o v a t i o n   o r i e n t e d   c r o w d s o u r c i n g   a r e   a l s o   p r o v i d e d   i n   t h i s   p a p e r . 	 [ Y e ,   W e i w e i ;   X u ,   P i n g p i n g ;   J i a ,   Y u n h u a ]   Z h e j i a n g   U n i v ,   C i t y   C o l l ,   H a n g z h o u   3 1 0 0 1 5 ,   Z h e j i a n g ,   P e o p l e s   R   C h i n a ;   [ Y e ,   W e i w e i ]   Z h e j i a n g   Y o n g T a i   P a p e r   G r p   L t d ,   H a n g z h o u   3 1 1 4 2 1 ,   Z h e j i a n g ,   P e o p l e s   R   C h i n a ;   [ J i a n g ,   F e n ]   Z h e j i a n g   S c i   &   T e c h n o l   S t r a t e g   R e s   I n s t ,   H a n g z h o u   3 1 0 0 0 7 ,   Z h e j i a n g ,   P e o p l e s   R   C h i n a 	 Y e ,   W W   ( r e p r i n t   a u t h o r ) ,   Z h e j i a n g   U n i v ,   C i t y   C o l l ,   H a n g z h o u   3 1 0 0 1 5 ,   Z h e j i a n g ,   P e o p l e s   R   C h i n a . 	 x u p p @ z u c c . e d u . c n 	 	 	 N a t u r a l   S c i e n c e   F u n d s   o f   Z h e j i a n g   p r o v i n c e   [ Y 7 1 0 0 0 7 5 ] ;   H u m a n i t i e s   a n d   S o c i a l   S c i e n c e s   F u n d s   o f   E d u c a t i o n   M i n i s t r y   i n   C h i n a   [ 1 0 Y J A 8 8 0 1 6 6 ] ;   S o f t   S c i e n c e   P r o j e c t   o f   H a n g z h o u   T e c h n o l o g y   A d m i n i s t r a t i o n   [ 2 0 1 1 0 9 3 4 M 1 4 ] ;   T e a c h e r ' s   R e s e a r c h   F u n d s   o f   Z h e j i a n g   U n i v e r s i t y   C i t y   C o l l e g e   [ J 1 2 0 3 0 ] ;   c o n s t r u c t   p r o g r a m   o f   t h e   k e y   l a b o r a t o r y   i n   H a n g z h o u ,   C h i n a 	 T h i s   w o r k   i s   p a r t i a l l y   s u p p o r t e d   b y   s u p p o r t e d   b y   N a t u r a l   S c i e n c e   F u n d s   o f   Z h e j i a n g   p r o v i n c e   ( Y 7 1 0 0 0 7 5 ) ,   H u m a n i t i e s   a n d   S o c i a l   S c i e n c e s   F u n d s   o f   E d u c a t i o n   M i n i s t r y   i n   C h i n a ( 1 0 Y J A 8 8 0 1 6 6 ) ,   S o f t   S c i e n c e   P r o j e c t   o f   H a n g z h o u   T e c h n o l o g y   A d m i n i s t r a t i o n ( 2 0 1 1 0 9 3 4 M 1 4 ) , T e a c h e r ' s   R e s e a r c h   F u n d s   o f   Z h e j i a n g   U n i v e r s i t y   C i t y   C o l l e g e ( J 1 2 0 3 0 ) .   T h i s   p a p e r   a l s o   s u p p o r t e d   b y   t h e   c o n s t r u c t   p r o g r a m   o f   t h e   k e y   l a b o r a t o r y   i n   H a n g z h o u ,   C h i n a .   T h a n k s   f o r   t h e   h e l p . 	 A l e x a n d e r   J .   C . ,   2 0 0 4 ,   C I R C U I T S   C O M M E R C E   S E ;   C h e s b r o u g h   H e n r y   W ,   2 0 0 7 ,   O P E N   I N N O V A T I I O N   R E S ;   C O N E I N   B . ,   2 0 0 4 ,   R E V   E C O N   P O L I T ,   V 1 1 3 ,   P 1 4 1 ;   F r a n k e   N ,   2 0 0 4 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 1 ,   P 4 0 1 ,   D O I   1 0 . 1 1 1 1 / j . 0 7 3 7 - 6 7 8 2 . 2 0 0 4 . 0 0 0 9 4 . x ;   G r a n t   R M ,   1 9 9 6 ,   S T R A T E G I C   M A N A G E   J ,   V 1 7 ,   P 1 0 9 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ;   L e   Q ,   2 0 1 1 ,   J   C O M P U T I N G   I N F O R M   S ,   V 1 1 ,   P 2 3 ;   N a m b i s s a n   S ,   2 0 0 7 ,   G L O B A L   B R A I N ;   P e n i n   J u l i e n ,   2 0 1 0 ,   L I M I T S   C R O W D S O U R C I N G ;   R y a n   R M ,   2 0 0 0 ,   A M   P S Y C H O L ,   V 5 5 ,   P 6 8 ,   D O I   1 0 . 1 0 3 7 / / 0 0 0 3 - 0 6 6 X . 5 5 . 1 . 6 8 ;   S c h r o e r   J ,   2 0 0 9 ,   M E D I A   P S Y C H O L ,   V 1 2 ,   P 9 6 ,   D O I   1 0 . 1 0 8 0 / 1 5 2 1 3 2 6 0 8 0 2 6 6 9 4 6 6 ;   T h r i f t   N ,   2 0 0 6 ,   E C O N   S O C ,   V 3 5 ,   P 2 7 9 ,   D O I   1 0 . 1 0 8 0 / 0 3 0 8 5 1 4 0 6 0 0 6 3 5 7 5 5 ;   T r o m p e t t e   P a s c a l e ,   2 0 0 8 ,   2 4   E G O S   C   A M S T   F R A N C ;   v o n   H i p p e l   E r i c ,   2 0 0 5 ,   D E M O C R A T I Z I N G   I N N O V A ;   V o s s   G ,   2 0 0 8 ,   S C I   T E C H N O L O G Y   I N N O V ,   V 4 ,   P 5 	 1 5 	 0 	 0 	 N A T U R A L   S C I E N C E S   P U B L I S H I N G   C O R P O R A T I O N 	 K A L A M A Z O O 	 W E S T E R N   M I C H I G A N   U N I V ,   1 9 0 3   W   M I C H I G A N   A V E ,   K A L A M A Z O O ,   M I   4 9 0 0 8 - 5 2 5 2   U S A 	 1 9 3 5 - 0 0 9 0 	 	 	 A P P L   M A T H   I N F O R M   S C I 	 A p p l .   M a t h .   I n f .   S c i . 	 N O V 	 2 0 1 2 	 6 	 3 	 	 	 S I 	 	 7 4 1 	 7 4 7 	 	 	 	 7 	 M a t h e m a t i c s ,   A p p l i e d ;   P h y s i c s ,   M a t h e m a t i c a l 	 M a t h e m a t i c s ;   P h y s i c s 	 0 3 6 E Z 	 W O S : 0 0 0 3 1 1 0 1 0 5 0 0 0 0 4 	 	 
 J 	 J a r m o l o w i c z ,   D P ;   B i c k e l ,   W K ;   C a r t e r ,   A E ;   F r a n c k ,   C T ;   M u e l l e r ,   E T 	 	 	 	 J a r m o l o w i c z ,   D a v i d   P . ;   B i c k e l ,   W a r r e n   K . ;   C a r t e r ,   A n n e   E . ;   F r a n c k ,   C h r i s t o p h e r   T . ;   M u e l l e r ,   E .   T e r r y 	 	 	 U s i n g   c r o w d s o u r c i n g   t o   e x a m i n e   r e l a t i o n s   b e t w e e n   d e l a y   a n d   p r o b a b i l i t y   d i s c o u n t i n g 	 B E H A V I O U R A L   P R O C E S S E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 D e l a y   d i s c o u n t i n g ;   P r o b a b i l i t y   d i s c o u n t i n g ;   C r o w d s o u r c i n g ;   A m a z o n   M e c h a n i c a l   T u r k ;   M o n e t a r y   c h o i c e   q u e s t i o n n a i r e .   H u m a n 	 C I G A R E T T E   S M O K E R S ;   P A T H O L O G I C A L   G A M B L E R S ;   R E W A R D S ;   I M P U L S I V I T Y ;   S M O K I N G ;   N O N S M O K E R S ;   L O S S E S ;   G A I N S ;   R A T E S 	 A l t h o u g h   t h e   e x t e n s i v e   l i n e s   o f   r e s e a r c h   o n   d e l a y   a n d / o r   p r o b a b i l i t y   d i s c o u n t i n g   h a v e   g r e a t l y   e x p a n d e d   o u r   u n d e r s t a n d i n g   o f   h u m a n   d e c i s i o n - m a k i n g   p r o c e s s e s ,   t h e   r e l a t i o n   b e t w e e n   t h e s e   t w o   p h e n o m e n a   r e m a i n s   u n c l e a r .   F o r   e x a m p l e ,   s o m e   s t u d i e s   h a v e   r e p o r t e d   r o b u s t   a s s o c i a t i o n s   b e t w e e n   d e l a y   a n d   p r o b a b i l i t y   d i s c o u n t i n g ,   w h e r e a s   o t h e r s   h a v e   f a i l e d   t o   d e m o n s t r a t e   a   c o n s i s t e n t   r e l a t i o n   b e t w e e n   t h e   t w o .   T h e   c u r r e n t   s t u d y   s o u g h t   t o   c l a r i f y   t h i s   r e l a t i o n   b y   e x a m i n i n g   t h e   r e l a t i o n   b e t w e e n   d e l a y   a n d   p r o b a b i l i t y   d i s c o u n t i n g   i n   a   l a r g e   s a m p l e   o f   i n t e r n e t   u s e r s   ( n = 9 0 4 )   u s i n g   t h e   A m a z o n   M e c h a n i c a l   T u r k   ( A M T )   c r o w d s o u r c i n g   s e r v i c e .   B e c a u s e   A M T   i s   a   n o v e l   d a t a   c o l l e c t i o n   p l a t f o r m ,   t h e   f i n d i n g s   w e r e   v a l i d a t e d   t h r o u g h   t h e   r e p l i c a t i o n   o f   a   n u m b e r   o f   p r e v i o u s l y   e s t a b l i s h e d   r e l a t i o n s   ( e . g . ,   r e l a t i o n s   b e t w e e n   d e l a y   d i s c o u n t i n g   a n d   c i g a r e t t e   s m o k i n g   s t a t u s ) .   A   s m a l l   b u t   h i g h l y   s i g n i f i c a n t   p o s i t i v e   c o r r e l a t i o n   b e t w e e n   d e l a y   a n d   p r o b a b i l i t y   d i s c o u n t i n g   r a t e s   w a s   o b t a i n e d ,   a n d   p r i n c i p a l   c o m p o n e n t   a n a l y s i s   s u g g e s t e d   t h a t   t w o   ( r a t h e r   t h a n   o n e )   c o m p o n e n t s   w e r e   p r e f e r a b l e   t o   a c c o u n t   f o r   t h e   v a r i a n c e   i n   b o t h   d e l a y   a n d   p r o b a b i l i t y   d i s c o u n t i n g .   T a k e n   t o g e t h e r ,   t h e s e   f i n d i n g s   s u g g e s t   t h a t   d e l a y   a n d   p r o b a b i l i t y   d i s c o u n t i n g   m a y   b e   r e l a t e d ,   b u t   a r e   n o t   m a n i f e s t a t i o n s   o f   a   s i n g l e   c o n s t r u c t   ( e . g . ,   i m p u l s i v i t y ) .   ( C )   2 0 1 2   E l s e v i e r   B . V .   A l l   r i g h t s   r e s e r v e d . 	 [ J a r m o l o w i c z ,   D a v i d   P . ]   U n i v   K a n s a s ,   D e p t   A p p l   B e h a v   S c i ,   L a w r e n c e ,   K S   6 6 0 4 4   U S A ;   [ B i c k e l ,   W a r r e n   K . ;   C a r t e r ,   A n n e   E . ;   F r a n c k ,   C h r i s t o p h e r   T . ;   M u e l l e r ,   E .   T e r r y ]   V i r g i n i a   T e c h ,   A d d i c t   R e c o v e r y   R e s   C t r ,   C a r i l l o n   R e s   I n s t ,   R o a n o k e ,   V A   2 4 0 1 6   U S A ;   [ B i c k e l ,   W a r r e n   K . ]   V i r g i n i a   T e c h ,   D e p t   P s y c h o l ,   B l a c k s b u r g ,   V A   2 4 0 6 1   U S A ;   [ F r a n c k ,   C h r i s t o p h e r   T . ]   V i r g i n i a   T e c h ,   L I S A ,   D e p t   S t a t ,   B l a c k s b u r g ,   V A   2 4 0 6 1   U S A 	 J a r m o l o w i c z ,   D P   ( r e p r i n t   a u t h o r ) ,   U n i v   K a n s a s ,   D e p t   A p p l   B e h a v   S c i ,   D o l e   H u m a n   D e v   C t r   4 0 0 1 ,   1 0 0 0   S u n n y s i d e   A v e ,   L a w r e n c e ,   K S   6 6 0 4 5   U S A . 	 d p j @ k u . e d u 	 	 	 N I D A   [ R 0 1 D A 0 2 4 0 8 0 ,   R 0 1 D A 0 2 4 0 8 0 - 0 2 s 1   ( N I A A A ) ,   R 0 1 D A 0 3 0 2 4 1 ] ;   V i r g i n i a   T e c h   C a r i l i o n   R e s e a r c h   I n s t i t u t e 	 T h e   c u r r e n t   p r o j e c t   w a s   s u p p o r t e d   b y   N I D A   g r a n t s   R 0 1 D A 0 2 4 0 8 0 ,   R 0 1 D A 0 2 4 0 8 0 - 0 2 s 1   ( N I A A A ) ,   R 0 1 D A 0 3 0 2 4 1 ,   a n d   t h e   V i r g i n i a   T e c h   C a r i l i o n   R e s e a r c h   I n s t i t u t e .   T h e   a u t h o r s   h a v e   n o   c o n f l i c t   o f   i n t e r e s t .   T h e   a u t h o r s   w o u l d   l i k e   t o   t h a n k   K i r s t i n   G a t c h a l i a n   f o r   h e r   h e l p   c o n d u c t i n g   t h i s   p r o j e c t . 	 A n d r a d e   L F ,   2 0 1 2 ,   P S Y C H O P H A R M A C O L O G Y ,   V 2 1 9 ,   P 4 9 1 ,   D O I   1 0 . 1 0 0 7 / s 0 0 2 1 3 - 0 1 1 - 2 5 0 8 - 9 ;   B i c k e l   W K ,   1 9 9 9 ,   B E H A V   P H A R M A C O L ,   V 1 0 ,   P 6 2 7 ;   B i c k e l   W K ,   2 0 0 8 ,   D R U G   A L C O H O L   D E P E N ,   V 9 6 ,   P 2 5 6 ,   D O I   1 0 . 1 0 1 6 / j . d r u g a l c d e p . 2 0 0 8 . 0 3 . 0 0 9 ;   B i c k e l   W K ,   2 0 0 1 ,   A D D I C T I O N ,   V 9 6 ,   P 7 3 ,   D O I   1 0 . 1 0 4 6 / j . 1 3 6 0 - 0 4 4 3 . 2 0 0 1 . 9 6 1 7 3 6 . x ;   B i c k e l   W K ,   2 0 1 2 ,   P H A R M A C O L   T H E R A P E U T ,   V 1 3 4 ,   P 2 8 7 ,   D O I   1 0 . 1 0 1 6 / j . p h a r m t h e r a . 2 0 1 2 . 0 2 . 0 0 4 ;   B i c k e l   W K ,   1 9 9 9 ,   P S Y C H O P H A R M A C O L O G Y ,   V 1 4 6 ,   P 4 4 7 ,   D O I   1 0 . 1 0 0 7 / P L 0 0 0 0 5 4 9 0 ;   B i c k e l   W . K . ,   2 0 1 2 ,   P S Y C H O P H A R M A C O L O G Y   B ;   B r a d f o r d   W D ,   2 0 1 0 ,   M E D   D E C I S   M A K I N G ,   V 3 0 ,   P 9 9 ,   D O I   1 0 . 1 1 7 7 / 0 2 7 2 9 8 9 X 0 9 3 4 2 2 7 6 ;   B u h r m e s t e r   M ,   2 0 1 1 ,   P E R S P E C T   P S Y C H O L   S C I ,   V 6 ,   P 3 ,   D O I   1 0 . 1 1 7 7 / 1 7 4 5 6 9 1 6 1 0 3 9 3 9 8 0 ;   E s t l e   S J ,   2 0 0 6 ,   M E M   C O G N I T I O N ,   V 3 4 ,   P 9 1 4 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 1 9 3 4 3 7 ;   G r e e n   L ,   1 9 9 6 ,   P S Y C H O L   A G I N G ,   V 1 1 ,   P 7 9 ,   D O I   1 0 . 1 0 3 7 / / 0 8 8 2 - 7 9 7 4 . 1 1 . 1 . 7 9 ;   G R E E N   L ,   1 9 9 4 ,   P S Y C H O L   S C I ,   V 5 ,   P 3 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 2 8 0 . 1 9 9 4 . t b 0 0 6 1 0 . x ;   G r e e n   L ,   1 9 9 9 ,   J   E X P   P S Y C H O L   L E A R N ,   V 2 5 ,   P 4 1 8 ,   D O I   1 0 . 1 0 3 7 / 0 2 7 8 - 7 3 9 3 . 2 5 . 2 . 4 1 8 ;   H o l t   D D ,   2 0 0 3 ,   B E H A V   P R O C E S S ,   V 6 4 ,   P 3 5 5 ,   D O I   1 0 . 1 0 1 6 / S 0 3 7 6 - 6 3 5 7 ( 0 3 ) 0 0 1 4 1 - 4 ;   J a r o n i   J L ,   2 0 0 4 ,   A D D I C T   B E H A V ,   V 2 9 ,   P 1 1 7 1 ,   D O I   1 0 . 1 0 1 6 / j . a d d b e h . 2 0 0 4 . 0 3 . 0 1 4 ;   K i r b y   K N ,   1 9 9 9 ,   J   E X P   P S Y C H O L   G E N ,   V 1 2 8 ,   P 7 8 ,   D O I   1 0 . 1 0 3 7 / 0 0 9 6 - 3 4 4 5 . 1 2 8 . 1 . 7 8 ;   K i r b y   K N ,   1 9 9 6 ,   P S Y C H O N   B   R E V ,   V 3 ,   P 1 0 0 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 2 1 0 7 4 8 ;   K l i n e   P . ,   1 9 9 9 ,   H D B   P S Y C H O L   T E S T I N G ;   M a d d e n   G .   J . ,   2 0 0 9 ,   I M P U L S I V I T Y   B E H A V   N E ;   M a d d e n   G J ,   2 0 0 9 ,   E X P   C L I N   P S Y C H O P H A R M ,   V 1 7 ,   P 2 8 3 ,   D O I   1 0 . 1 0 3 7 / a 0 0 1 6 8 0 6 ;   M a z u r   J E ,   1 9 8 7 ,   Q U A N T I T A T I V E   A N A L   B E ;   M i t c h e l l   S H ,   1 9 9 9 ,   P S Y C H O P H A R M A C O L O G Y ,   V 1 4 6 ,   P 4 5 5 ,   D O I   1 0 . 1 0 0 7 / P L 0 0 0 0 5 4 9 1 ;   M y e r s o n   J ,   2 0 0 3 ,   J   E C O N   P S Y C H O L ,   V 2 4 ,   P 6 1 9 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 7 - 4 8 7 0 ( 0 3 ) 0 0 0 0 5 - 9 ;   M y e r s o n   J ,   2 0 1 1 ,   J   E X P   A N A L   B E H A V ,   V 9 5 ,   P 1 7 5 ,   D O I   1 0 . 1 9 0 1 / j e a b . 2 0 1 1 . 9 5 - 1 7 5 ;   O l s e n   E . A . ,   2 0 0 7 ,   P E R S   I N D I V   D I F F E R ,   V 4 3 ,   P 1 8 8 6 ;   P e t r y   N .   M . ,   2 0 1 1 ,   J   A B N O R M   P S Y C H O L ,   V 1 2 1 ,   P 1 5 1 ,   D O I   1 0 . 1 0 3 7 / a 0 0 2 4 7 8 2 ;   R A C H L I N   H ,   1 9 9 1 ,   J   E X P   A N A L   B E H A V ,   V 5 5 ,   P 2 3 3 ,   D O I   1 0 . 1 9 0 1 / j e a b . 1 9 9 1 . 5 5 - 2 3 3 ;   R e y n o l d s   B ,   2 0 0 6 ,   B E H A V   P H A R M A C O L ,   V 1 7 ,   P 6 5 1 ,   D O I   1 0 . 1 0 9 7 / F B P . 0 b 0 1 3 e 3 2 8 0 1 1 5 f 9 9 ;   R e y n o l d s   B ,   2 0 0 4 ,   B E H A V   P R O C E S S ,   V 6 5 ,   P 3 5 ,   D O I   1 0 . 1 0 1 6 / S 0 3 7 6 - 6 3 5 7 ( 0 3 ) 0 0 1 0 9 - 8 ;   R e y n o l d s   B ,   2 0 0 3 ,   B E H A V   P R O C E S S ,   V 6 4 ,   P 3 3 3 ,   D O I   1 0 . 1 0 1 6 / S 0 3 7 6 - 6 3 5 7 ( 0 3 ) 0 0 1 6 8 - 2 ;   R i c h a r d s   J B ,   1 9 9 9 ,   J   E X P   A N A L   B E H A V ,   V 7 1 ,   P 1 2 1 ,   D O I   1 0 . 1 9 0 1 / j e a b . 1 9 9 9 . 7 1 - 1 2 1 ;   S h e a d   N W ,   2 0 0 9 ,   J   E X P   A N A L   B E H A V ,   V 9 2 ,   P 1 ,   D O I   1 0 . 1 9 0 1 / j e a b . 2 0 0 9 . 9 2 - 1 ;   S p r o u s e   J ,   2 0 1 1 ,   B E H A V   R E S   M E T H O D S ,   V 4 3 ,   P 1 5 5 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 0 - 0 0 3 9 - 7 ;   Y i   R ,   2 0 0 6 ,   B E H A V   P R O C E S S ,   V 7 3 ,   P 1 4 9 ,   D O I   1 0 . 1 0 1 6 / j . b e p r o c . 2 0 0 6 . 0 5 . 0 0 1 ;   Y i   R ,   2 0 0 7 ,   B E H A V   P H A R M A C O L ,   V 1 8 ,   P 6 3 3 	 3 5 	 6 	 6 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 0 3 7 6 - 6 3 5 7 	 	 	 B E H A V   P R O C E S S 	 B e h a v .   P r o c e s s e s 	 N O V 	 2 0 1 2 	 9 1 	 3 	 	 	 	 	 3 0 8 	 3 1 2 	 	 1 0 . 1 0 1 6 / j . b e p r o c . 2 0 1 2 . 0 9 . 0 0 1 	 	 5 	 P s y c h o l o g y ,   B i o l o g i c a l ;   B e h a v i o r a l   S c i e n c e s ;   Z o o l o g y 	 P s y c h o l o g y ;   B e h a v i o r a l   S c i e n c e s ;   Z o o l o g y 	 0 4 4 Y D 	 W O S : 0 0 0 3 1 1 6 6 0 2 0 0 0 1 4 	 2 2 9 8 2 3 7 0 	 
 J 	 B l o o m ,   J S ;   R i c h a r d s ,   J W ;   N u g e n t ,   P E ;   Q u i m b y ,   R M ;   K a s l i w a l ,   M M ;   S t a r r ,   D L ;   P o z n a n s k i ,   D ;   O f e k ,   E O ;   C e n k o ,   S B ;   B u t l e r ,   N R ;   K u l k a r n i ,   S R ;   G a l - Y a m ,   A ;   L a w ,   N 	 	 	 	 B l o o m ,   J .   S . ;   R i c h a r d s ,   J .   W . ;   N u g e n t ,   P .   E . ;   Q u i m b y ,   R .   M . ;   K a s l i w a l ,   M .   M . ;   S t a r r ,   D .   L . ;   P o z n a n s k i ,   D . ;   O f e k ,   E .   O . ;   C e n k o ,   S .   B . ;   B u t l e r ,   N .   R . ;   K u l k a r n i ,   S .   R . ;   G a l - Y a m ,   A . ;   L a w ,   N . 	 	 	 A u t o m a t i n g   D i s c o v e r y   a n d   C l a s s i f i c a t i o n   o f   T r a n s i e n t s   a n d   V a r i a b l e   S t a r s   i n   t h e   S y n o p t i c   S u r v e y   E r a 	 P U B L I C A T I O N S   O F   T H E   A S T R O N O M I C A L   S O C I E T Y   O F   T H E   P A C I F I C 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 D I G I T A L   S K Y   S U R V E Y ;   S U P E R N O V A   S N   2 0 1 1 F E ;   S U P E R V I S E D   C L A S S I F I C A T I O N ;   I A   S U P E R N O V A ;   T E L E S C O P E ;   P R O G E N I T O R ;   G A L A X Y ;   S E L E C T I O N ;   D A T A B A S E 	 T h e   r a t e   o f   i m a g e   a c q u i s i t i o n   i n   m o d e r n   s y n o p t i c   i m a g i n g   s u r v e y s   h a s   a l r e a d y   b e g u n   t o   o u t p a c e   t h e   f e a s i b i l i t y   o f   k e e p i n g   a s t r o n o m e r s   i n   t h e   r e a l - t i m e   d i s c o v e r y   a n d   c l a s s i f i c a t i o n   l o o p .   H e r e   w e   p r e s e n t   t h e   i n n e r   w o r k i n g s   o f   a   f r a m e w o r k ,   b a s e d   o n   m a c h i n e - l e a r n i n g   a l g o r i t h m s ,   t h a t   c a p t u r e s   e x p e r t   t r a i n i n g   a n d   g r o u n d - t r u t h   k n o w l e d g e   a b o u t   t h e   v a r i a b l e   a n d   t r a n s i e n t   s k y   t o   a u t o m a t e   ( 1 )   t h e   p r o c e s s   o f   d i s c o v e r y   o n   i m a g e   d i f f e r e n c e s ,   a n d   ( 2 )   t h e   g e n e r a t i o n   o f   p r e l i m i n a r y   s c i e n c e - t y p e   c l a s s i f i c a t i o n s   o f   d i s c o v e r e d   s o u r c e s .   S i n c e   f o l l o w - u p   r e s o u r c e s   f o r   e x t r a c t i n g   n o v e l   s c i e n c e   f r o m   f a s t - c h a n g i n g   t r a n s i e n t s   a r e   p r e c i o u s ,   s e l f - c a l i b r a t i n g   c l a s s i f i c a t i o n   p r o b a b i l i t i e s   m u s t   b e   c o u c h e d   i n   t e r m s   o f   e f f i c i e n c i e s   f o r   d i s c o v e r y   a n d   p u r i t y   o f   t h e   s a m p l e s   g e n e r a t e d .   W e   e s t i m a t e   t h e   p u r i t y   a n d   e f f i c i e n c y   i n   i d e n t i f y i n g   r e a l   s o u r c e s   w i t h   a   t w o - e p o c h   i m a g e - d i f f e r e n c e   d i s c o v e r y   a l g o r i t h m   f o r   t h e   P a l o m a r   T r a n s i e n t   F a c t o r y   ( P T F )   s u r v e y .   O n c e   g i v e n   a   s o u r c e   d i s c o v e r y ,   u s i n g   m a c h i n e - l e a r n e d   c l a s s i f i c a t i o n   t r a i n e d   o n   P T F   d a t a ,   w e   d i s t i n g u i s h   b e t w e e n   t r a n s i e n t s   a n d   v a r i a b l e   s t a r s   w i t h   a   3 . 8 %   o v e r a l l   e r r o r   r a t e   ( w i t h   1 . 7 %   e r r o r s   f o r   i m a g i n g   w i t h i n   t h e   S l o a n   D i g i t a l   S k y   S u r v e y   f o o t p r i n t ) .   A t   > 9 6 %   c l a s s i f i c a t i o n   e f f i c i e n c y ,   t h e   s a m p l e s   a c h i e v e   9 0 %   p u r i t y .   I n i t i a l   c l a s s i f i c a t i o n s   a r e   s h o w n   t o   r e l y   p r i m a r i l y   o n   c o n t e x t - b a s e d   f e a t u r e s ,   d e t e r m i n e d   f r o m   t h e   d a t a   i t s e l f   a n d   e x t e r n a l   a r c h i v a l   d a t a b a s e s .   I n   t h e   f i r s t   y e a r   o f   a u t o n o m o u s   o p e r a t i o n s   o f   P T F ,   t h i s   d i s c o v e r y   a n d   c l a s s i f i c a t i o n   f r a m e w o r k   l e d   t o   s e v e r a l   s i g n i f i c a n t   s c i e n c e   r e s u l t s ,   f r o m   o u t b u r s t i n g   y o u n g   s t a r s   t o   s u b l u m i n o u s   T y p e   I I P   s u p e r n o v a e   t o   c a n d i d a t e   t i d a l   d i s r u p t i o n   e v e n t s .   W e   d i s c u s s   f u t u r e   d i r e c t i o n s   o f   t h i s   a p p r o a c h ,   i n c l u d i n g   t h e   p o s s i b l e   r o l e s   o f   c r o w d s o u r c i n g   a n d   t h e   s c a l a b i l i t y   o f   m a c h i n e   l e a r n i n g   t o   f u t u r e   s u r v e y s   s u c h   a s   t h e   L a r g e   S y n o p t i c   S u r v e y   T e l e s c o p e   ( L S S T ) . 	 [ B l o o m ,   J .   S . ;   R i c h a r d s ,   J .   W . ;   N u g e n t ,   P .   E . ;   S t a r r ,   D .   L . ;   P o z n a n s k i ,   D . ;   C e n k o ,   S .   B . ;   B u t l e r ,   N .   R . ]   U n i v   C a l i f   B e r k e l e y ,   D e p t   A s t r o n ,   B e r k e l e y ,   C A   9 4 7 2 0   U S A ;   [ B l o o m ,   J .   S . ;   N u g e n t ,   P .   E . ;   P o z n a n s k i ,   D . ]   U n i v   C a l i f   B e r k e l e y ,   L a w r e n c e   B e r k e l e y   N a t l   L a b ,   B e r k e l e y ,   C A   9 4 7 2 0   U S A ;   [ R i c h a r d s ,   J .   W . ]   U n i v   C a l i f   B e r k e l e y ,   D e p t   S t a t ,   B e r k e l e y ,   C A   9 4 7 2 0   U S A ;   [ Q u i m b y ,   R .   M . ;   K a s l i w a l ,   M .   M . ;   O f e k ,   E .   O . ;   K u l k a r n i ,   S .   R . ]   C A L T E C H ,   C a h i l l   C t r   A s t r o p h y s ,   P a s a d e n a ,   C A   9 1 1 2 5   U S A ;   [ Q u i m b y ,   R .   M . ]   U n i v   T o k y o ,   I P M U ,   K a s h i w a ,   C h i b a   2 7 7 8 5 8 3 ,   J a p a n ;   [ K a s l i w a l ,   M .   M . ]   O b s e r v   C a r n e g i e   I n s t   S c i ,   P a s a d e n a ,   C A   9 1 1 0 1   U S A ;   [ P o z n a n s k i ,   D . ]   T e l   A v i v   U n i v ,   S c h   P h y s   &   A s t r o n ,   I L - 6 9 9 7 8   T e l   A v i v ,   I s r a e l ;   [ O f e k ,   E .   O . ;   G a l - Y a m ,   A . ]   W e i z m a n n   I n s t   S c i ,   D e p t   P a r t i c l e   P h y s   &   A s t r o p h y s ,   F a c   P h y s ,   I L - 7 6 1 0 0   R e h o v o t ,   I s r a e l ;   [ B u t l e r ,   N .   R . ]   A r i z o n a   S t a t e   U n i v ,   S c h   E a r t h   &   S p a c e   E x p l o r a t ,   T e m p e ,   A Z   8 5 2 8 7   U S A ;   [ L a w ,   N . ]   U n i v   T o r o n t o ,   D u n l a p   I n s t   A s t r o n   &   A s t r o p h y s ,   T o r o n t o ,   O N   M 5 S   3 H 4 ,   C a n a d a 	 B l o o m ,   J S   ( r e p r i n t   a u t h o r ) ,   U n i v   C a l i f   B e r k e l e y ,   D e p t   A s t r o n ,   6 0 1   C a m p b e l l   H a l l ,   B e r k e l e y ,   C A   9 4 7 2 0   U S A . 	 	 	 	 N a t i o n a l   S c i e n c e   F o u n d a t i o n   [ 0 9 4 1 7 4 2 ,   0 9 0 8 8 8 6 ] ;   N a t i o n a l   A e r o n a u t i c s   a n d   S p a c e   A d m i n i s t r a t i o n   ( N A S A )   [ N N X 1 0 A I 2 1 G ,   N N X 1 O A 0 5 7 G ] ;   O f f i c e   o f   S c i e n c e   o f   t h e   U . S .   D e p a r t m e n t   o f   E n e r g y   [ D E - A C 0 2 - 0 5 C H 1 1 2 3 1 ] ;   W . M .   K e c k   F o u n d a t i o n 	 T h e   a u t h o r s   a c k n o w l e d g e   t h e   g e n e r o u s   s u p p o r t   o f   a   C D I   g r a n t   ( # 0 9 4 1 7 4 2 )   f r o m   t h e   N a t i o n a l   S c i e n c e   F o u n d a t i o n .   J . S . B .   a n d   D .   L .   S .   a l s o   t h a n k   t h e   L a s   C u m b r e s   O b s e r v a t o r y   f o r   s u p p o r t   d u r i n g   t h e   e a r l y   s t a g e s   o f   t h i s   w o r k .   S .   B .   C .   w i s h e s   t o   a c k n o w l e d g e   g e n e r o u s   s u p p o r t   f r o m   G a r y   a n d   C y n t h i a   B e n g i e r ,   t h e   R i c h a r d   a n d   R h o d a   G o l d m a n   F u n d ,   N a t i o n a l   A e r o n a u t i c s   a n d   S p a c e   A d m i n i s t r a t i o n   ( N A S A ) / S w i f t   g r a n t   N N X 1 0 A I 2 1 G ,   N A S A / F e r m i   g r a n t   N N X 1 O A 0 5 7 G ,   a n d   N a t i o n a l   S c i e n c e   F o u n d a t i o n   ( N S F )   g r a n t   A S T - 0 9 0 8 8 8 6 .   T h e   N a t i o n a l   E n e r g y   R e s e a r c h   S c i e n t i f i c   C o m p u t i n g   C e n t e r ,   w h i c h   i s   s u p p o r t e d   b y   t h e   O f f i c e   o f   S c i e n c e   o f   t h e   U . S .   D e p a r t m e n t   o f   E n e r g y   u n d e r   C o n t r a c t   # D E - A C 0 2 - 0 5 C H 1 1 2 3 1 ,   p r o v i d e d   s t a f f ,   c o m p u t a t i o n a l   r e s o u r c e s ,   a n d   d a t a   s t o r a g e   f o r   t h i s   p r o j e c t . S o m e   o f   t h e   d a t a   p r e s e n t e d   h e r e i n   w e r e   o b t a i n e d   a t   t h e   W . M .   K e c k   O b s e r v a t o r y ,   w h i c h   i s   o p e r a t e d   a s   a   s c i e n t i f i c   p a r t n e r s h i p   a m o n g   t h e   C a l i f o r n i a   I n s t i t u t e   o f   T e c h n o l o g y ,   t h e   U n i v e r s i t y   o f   C a l i f o r n i a ,   a n d   t h e   N a t i o n a l   A e r o n a u t i c s   a n d   S p a c e   A d m i n i s t r a t i o n .   T h e   O b s e r v a t o r y   w a s   m a d e   p o s s i b l e   b y   t h e   g e n e r o u s   f i n a n c i a l   s u p p o r t   o f   t h e   W . M .   K e c k   F o u n d a t i o n .   T h e   a u t h o r s   w i s h   t o   r e c o g n i z e   a n d   a c k n o w l e d g e   t h e   v e r y   s i g n i f i c a n t   c u l t u r a l   r o l e   a n d   r e v e r e n c e   t h a t   t h e   s u m m i t   o f   M a u n a   K e a   h a s   a l w a y s   h a d   w i t h i n   t h e   i n d i g e n o u s   H a w a i i a n   c o m m u n i t y .   W e   a r e   m o s t   f o r t u n a t e   t o   h a v e   t h e   o p p o r t u n i t y   t o   c o n d u c t   o b s e r v a t i o n s   f r o m   t h i s   m o u n t a i n .   T h i s   r e s e a r c h   h a s   m a d e   u s e   o f   t h e   V i z i e R   c a t a l o g u e   a c c e s s   t o o l ,   C D S ,   S t r a s b o u r g ,   F r a n c e   ( O c h s e n b e i n   e t   a l .   2 0 0 0 ) . 	 A k e r l o f   C W ,   2 0 0 3 ,   P U B L   A S T R O N   S O C   P A C ,   V 1 1 5 ,   P 1 3 2 ,   D O I   1 0 . 1 0 8 6 / 3 4 5 4 9 0 ;   B a i l e y   S ,   2 0 0 7 ,   A S T R O P H Y S   J ,   V 6 6 5 ,   P 1 2 4 6 ,   D O I   1 0 . 1 0 8 6 / 5 1 9 8 3 2 ;   B e c k e r   A . ,   2 0 0 5 ,   B   A M   A S T R O N O M I C A L   S O ,   V 3 7 ,   P 1 2 0 6 ;   B e l o k u r o v   V ,   2 0 0 3 ,   M O N   N O T   R   A S T R O N   S O C ,   V 3 4 1 ,   P 1 3 7 3 ,   D O I   1 0 . 1 0 4 6 / j . 1 3 6 5 - 8 7 1 1 . 2 0 0 3 . 0 6 5 1 2 . x ;   B e r t i n   E ,   1 9 9 6 ,   A S T R O N   A S T R O P H Y S   S U P ,   V 1 1 7 ,   P 3 9 3 ,   D O I   1 0 . 1 0 5 1 / a a s : 1 9 9 6 1 6 4 ;   B l a n t o n   M R ,   2 0 1 1 ,   A S T R O N   J ,   V 1 4 2 ,   D O I   1 0 . 1 0 8 8 / 0 0 0 4 - 6 2 5 6 / 1 4 2 / 1 / 3 1 ;   B l o o m   J S ,   2 0 1 2 ,   A S T R O P H Y S   J   L E T T ,   V 7 4 4 ,   D O I   1 0 . 1 0 8 8 / 2 0 4 1 - 8 2 0 5 / 7 4 4 / 2 / L 1 7 ;   B l o o m   J .   S . ,   2 0 1 1 ,   A D V   M A C H I N E   L E A R N I N G ,   P 8 9 ;   B L O O M   J S ,   2 0 0 6 ,   A S P   C   S E R ,   V 3 5 1 ,   P 7 5 1 ;   B o n d   I A ,   2 0 0 1 ,   M O N   N O T   R   A S T R O N   S O C ,   V 3 2 7 ,   P 8 6 8 ,   D O I   1 0 . 1 0 4 6 / j . 1 3 6 5 - 8 7 1 1 . 2 0 0 1 . 0 4 7 7 6 . x ;   B r i n k   H . ,   2 0 1 2 ,   A R X I V 1 2 0 9 3 7 7 5 ;   B u t l e r   N R ,   2 0 1 1 ,   A S T R O N   J ,   V 1 4 1 ,   D O I   1 0 . 1 0 8 8 / 0 0 0 4 - 6 2 5 6 / 1 4 1 / 3 / 9 3 ;   C a s t r o - T i r a d o   A .   J . ,   2 0 1 0 ,   A D V   A S T R O N ;   C e n k o   S B ,   2 0 0 6 ,   P U B L   A S T R O N   S O C   P A C ,   V 1 1 8 ,   P 1 3 9 6 ,   D O I   1 0 . 1 0 8 6 / 5 0 8 3 6 6 ;   C e n k o   S B ,   2 0 1 2 ,   M O N   N O T   R   A S T R O N   S O C ,   V 4 2 0 ,   P 2 6 8 4 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 9 6 6 . 2 0 1 1 . 2 0 2 4 0 . x ;   C i u r a n a   E . ,   2 0 0 9 ,   D E V   G O O G L E   A P P   E N G I N ;   C o o k e   J ,   2 0 1 1 ,   A S T R O P H Y S   J   L E T T ,   V 7 2 7 ,   D O I   1 0 . 1 0 8 8 / 2 0 4 1 - 8 2 0 5 / 7 2 7 / 2 / L 3 5 ;   C o v e y   K R ,   2 0 1 1 ,   A S T R O N   J ,   V 1 4 1 ,   D O I   1 0 . 1 0 8 8 / 0 0 0 4 - 6 2 5 6 / 1 4 1 / 2 / 4 0 ;   D e b o s s c h e r   J ,   2 0 0 7 ,   A S T R O N   A S T R O P H Y S ,   V 4 7 5 ,   P 1 1 5 9 ,   D O I   1 0 . 1 0 5 1 / 0 0 0 4 - 6 3 6 1 : 2 0 0 7 7 6 3 8 ;   D i l d a y   B ,   2 0 1 2 ,   S C I E N C E ,   V 3 3 7 ,   P 9 4 2 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 2 1 9 1 6 4 ;   D r a k e   A J ,   2 0 0 9 ,   A S T R O P H Y S   J ,   V 6 9 6 ,   P 8 7 0 ,   D O I   1 0 . 1 0 8 8 / 0 0 0 4 - 6 3 7 X / 6 9 6 / 1 / 8 7 0 ;   F i l i p p e n k o   A V ,   2 0 0 1 ,   A S T R   S O C   P ,   V 2 4 6 ,   P 1 2 1 ;   F l a u g h e r   B ,   2 0 0 5 ,   I N T   J   M O D   P H Y S   A ,   V 2 0 ,   P 3 1 2 1 ,   D O I   1 0 . 1 1 4 2 / S 0 2 1 7 7 5 1 X 0 5 0 2 5 9 1 7 ;   G a l - Y a m   A . ,   2 0 1 1 ,   A R X I V 1 1 0 3 5 1 6 5 ;   G a l - Y a m   A ,   2 0 1 1 ,   A S T R O P H Y S   J ,   V 7 3 6 ,   D O I   1 0 . 1 0 8 8 / 0 0 0 4 - 6 3 7 X / 7 3 6 / 2 / 1 5 9 ;   H a l l   M . ,   2 0 0 9 ,   S I G K D D   E X P L O R A T I O N S ,   V 1 1 ,   P 1 0 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 6 5 6 2 7 4 . 1 6 5 6 2 7 8 ;   I v e z i c   Z . ,   2 0 0 3 ,   M E M   S O C   A S T R O N   I T A L ,   V 7 4 ,   P 9 7 8 ;   I v e z i c   Z . ,   2 0 0 8 ,   A R X I V 0 8 0 5 2 3 6 6 ;   J E F F R E Y S   H ,   1 9 4 6 ,   P R O C   R   S O C   L O N   S E R - A ,   V 1 8 6 ,   P 4 5 3 ,   D O I   1 0 . 1 0 9 8 / r s p a . 1 9 4 6 . 0 0 5 6 ;   J u r i c   M ,   2 0 1 1 ,   E A S   P U B L I C A T I O N S ,   V 4 5 ,   P 2 8 1 ,   D O I   1 0 . 1 0 5 1 / e a s / 1 0 4 5 0 4 7 ;   K a i s e r   N ,   2 0 0 2 ,   P   S O C   P H O T O - O P T   I N S ,   V 4 8 3 6 ,   P 1 5 4 ,   D O I   1 0 . 1 1 1 7 / 1 2 . 4 5 7 3 6 5 ;   K e l l e r   S C ,   2 0 0 7 ,   P U B L   A S T R O N   S O C   A U S T ,   V 2 4 ,   P 1 ,   D O I   1 0 . 1 0 7 1 / A S 0 7 0 0 1 ;   K o h a v i   R . ,   2 0 0 2 ,   H D B   D A T A   M I N I N G   K N O W ,   P 2 6 7 ;   K u b a n e k   P . ,   2 0 1 0 ,   A R X I V 1 0 0 2 0 1 0 8 ;   L a w   N .   M . ,   2 0 1 0 ,   S P I E   C   S E R I E S ,   V 7 7 3 5 ;   L a w   N M ,   2 0 0 9 ,   P U B L   A S T R O N   S O C   P A C ,   V 1 2 1 ,   P 1 3 9 5 ;   L i   W D ,   2 0 1 1 ,   N A T U R E ,   V 4 8 0 ,   P 3 4 8 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 1 0 6 4 6 ;   M a h a b a l   A ,   2 0 0 8 ,   A I P   C O N F   P R O C ,   V 1 0 8 2 ,   P 2 8 7 ,   D O I   1 0 . 1 0 6 3 / 1 . 3 0 5 9 0 6 4 ;   M i l l e r   A A ,   2 0 1 1 ,   A S T R O P H Y S   J ,   V 7 3 0 ,   D O I   1 0 . 1 0 8 8 / 0 0 0 4 - 6 3 7 X / 7 3 0 / 2 / 8 0 ;   M i l l e r   A A ,   2 0 1 0 ,   A S T R O N   J ,   V 1 3 9 ,   P 2 2 1 8 ,   D O I   1 0 . 1 0 8 8 / 0 0 0 4 - 6 2 5 6 / 1 3 9 / 6 / 2 2 1 8 ;   N u g e n t   P . ,   2 0 1 0 ,   A S T R O N O M E R S   T E L E G R A M ,   V 2 6 0 0 ,   P 1 ;   N u g e n t   P E ,   2 0 1 1 ,   N A T U R E ,   V 4 8 0 ,   P 3 4 4 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 1 0 6 4 4 ;   O c h s e n b e i n   F ,   2 0 0 0 ,   A S T R O N   A S T R O P H Y S   S U P ,   V 1 4 3 ,   P 2 3 ,   D O I   1 0 . 1 0 5 1 / a a s : 2 0 0 0 1 6 9 ;   R   D e v e l o p m e n t   C o r e   T e a m ,   2 0 0 5 ,   R   L A N G   E N V   S T A T   C O M P ;   R a u   A ,   2 0 0 9 ,   P U B L   A S T R O N   S O C   P A C ,   V 1 2 1 ,   P 1 3 3 4 ;   R i c h a r d s   J W ,   2 0 1 2 ,   A S T R O P H Y S   J ,   V 7 4 4 ,   D O I   1 0 . 1 0 8 8 / 0 0 0 4 - 6 3 7 X / 7 4 4 / 2 / 1 9 2 ;   R i c h a r d s   J W ,   2 0 1 1 ,   A S T R O P H Y S   J ,   V 7 3 3 ,   D O I   1 0 . 1 0 8 8 / 0 0 0 4 - 6 3 7 X / 7 3 3 / 1 / 1 0 ;   R i c h a r d s   J .   W . ,   2 0 1 2 ,   A P J   S U P P   I N   P R E S S ;   S a r r o   L M ,   2 0 0 9 ,   A S T R O N   A S T R O P H Y S ,   V 4 9 4 ,   P 7 3 9 ,   D O I   1 0 . 1 0 5 1 / 0 0 0 4 - 6 3 6 1 : 2 0 0 8 0 9 9 1 8 ;   S a r r o   L M ,   2 0 0 6 ,   A S T R O N   A S T R O P H Y S ,   V 4 4 6 ,   P 3 9 5 ,   D O I   1 0 . 1 0 5 1 / 0 0 0 4 - 6 3 6 1 : 2 0 0 5 2 8 3 0 ;   S a u n d e r s   E S ,   2 0 0 8 ,   A S T R O N   N A C H R ,   V 3 2 9 ,   P 3 2 1 ,   D O I   1 0 . 1 0 0 2 / a s n a . 2 0 0 7 1 0 9 4 7 ;   S e s a r   B ,   2 0 1 0 ,   A S T R O P H Y S   J ,   V 7 0 8 ,   P 7 1 7 ,   D O I   1 0 . 1 0 8 8 / 0 0 0 4 - 6 3 7 X / 7 0 8 / 1 / 7 1 7 ;   S m i t h   A M ,   2 0 1 1 ,   M O N   N O T   R   A S T R O N   S O C ,   V 4 1 2 ,   P 1 3 0 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 9 6 6 . 2 0 1 0 . 1 7 9 9 4 . x ;   S o k o l o w s k i   M . ,   2 0 1 0 ,   A D V   A S T R O N ,   V 2 0 1 0 ,   P 1 1 ;   S t e k h o v e n   D .   J . ,   2 0 1 1 ,   A R X I V 1 1 0 5 0 8 2 8 ;   S u l l i v a n   M ,   2 0 1 1 ,   A S T R O P H Y S   J ,   V 7 3 2 ,   D O I   1 0 . 1 0 8 8 / 0 0 0 4 - 6 3 7 X / 7 3 2 / 2 / 1 1 8 ;   T o m a n e y   A B ,   1 9 9 6 ,   A S T R O N   J ,   V 1 1 2 ,   P 2 8 7 2 ,   D O I   1 0 . 1 0 8 6 / 1 1 8 2 2 8 ;   V e s t r a n d   W .   T . ,   2 0 0 2 ,   S P I E ,   P 1 2 6 ;   W i l l e m s e n   P .   G . ,   2 0 0 7 ,   A R X I V 0 7 1 2 2 8 9 8 ;   W o z n i a k   P R ,   2 0 0 0 ,   A C T A   A S T R O N O M ,   V 5 0 ,   P 4 2 1 ;   Y i p   C W ,   2 0 0 4 ,   A S T R O N   J ,   V 1 2 8 ,   P 5 8 5 ,   D O I   1 0 . 1 0 8 6 / 4 2 2 4 2 9 	 6 1 	 1 6 	 1 6 	 U N I V   C H I C A G O   P R E S S 	 C H I C A G O 	 1 4 2 7   E   6 0 T H   S T ,   C H I C A G O ,   I L   6 0 6 3 7 - 2 9 5 4   U S A 	 0 0 0 4 - 6 2 8 0 	 	 	 P U B L   A S T R O N   S O C   P A C 	 P u b l .   A s t r o n .   S o c .   P a c . 	 N O V 	 2 0 1 2 	 1 2 4 	 9 2 1 	 	 	 	 	 1 1 7 5 	 1 1 9 6 	 	 1 0 . 1 0 8 6 / 6 6 8 4 6 8 	 	 2 2 	 A s t r o n o m y   &   A s t r o p h y s i c s 	 A s t r o n o m y   &   A s t r o p h y s i c s 	 0 3 5 A O 	 W O S : 0 0 0 3 1 0 9 1 4 2 0 0 0 0 4 	 	 
 J 	 A l o n s o ,   O ;   M i z z a r o ,   S 	 	 	 	 A l o n s o ,   O m a r ;   M i z z a r o ,   S t e f a n o 	 	 	 U s i n g   c r o w d s o u r c i n g   f o r   T R E C   r e l e v a n c e   a s s e s s m e n t 	 I N F O R M A T I O N   P R O C E S S I N G   &   M A N A G E M E N T 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 I R   e v a l u a t i o n ;   T e s t   c o l l e c t i o n s ;   R e l e v a n c e   a s s e s s m e n t ;   C r o w d s o u r c i n g ;   T R E C ;   A m a z o n   M e c h a n i c a l   T u r k ;   E x p e r i m e n t a l   d e s i g n 	 J U D G M E N T S 	 C r o w d s o u r c i n g   h a s   r e c e n t l y   g a i n e d   a   l o t   o f   a t t e n t i o n   a s   a   t o o l   f o r   c o n d u c t i n g   d i f f e r e n t   k i n d s   o f   r e l e v a n c e   e v a l u a t i o n s .   A t   a   v e r y   h i g h   l e v e l ,   c r o w d s o u r c i n g   d e s c r i b e s   o u t s o u r c i n g   o f   t a s k s   t o   a   l a r g e   g r o u p   o f   p e o p l e   i n s t e a d   o f   a s s i g n i n g   s u c h   t a s k s   t o   a n   i n - h o u s e   e m p l o y e e .   T h i s   c r o w d s o u r c i n g   a p p r o a c h   m a k e s   p o s s i b l e   t o   c o n d u c t   i n f o r m a t i o n   r e t r i e v a l   e x p e r i m e n t s   e x t r e m e l y   f a s t ,   w i t h   g o o d   r e s u l t s   a t   a   l o w   c o s t .   T h i s   p a p e r   r e p o r t s   o n   t h e   f i r s t   a t t e m p t s   t o   c o m b i n e   c r o w d s o u r c i n g   a n d   T R E C :   o u r   a i m   i s   t o   v a l i d a t e   t h e   u s e   o f   c r o w d s o u r c i n g   f o r   r e l e v a n c e   a s s e s s m e n t .   T o   t h i s   a i m ,   w e   u s e   t h e   A m a z o n   M e c h a n i c a l   T u r k   c r o w d s o u r c i n g   p l a t f o r m   t o   r u n   e x p e r i m e n t s   o n   T R E C   d a t a ,   e v a l u a t e   t h e   o u t c o m e s ,   a n d   d i s c u s s   t h e   r e s u l t s .   W e   m a k e   e m p h a s i s   o n   t h e   e x p e r i m e n t   d e s i g n ,   e x e c u t i o n ,   a n d   q u a l i t y   c o n t r o l   t o   g a t h e r   u s e f u l   r e s u l t s ,   w i t h   p a r t i c u l a r   a t t e n t i o n   t o   t h e   i s s u e   o f   a g r e e m e n t   a m o n g   a s s e s s o r s .   O u r   p o s i t i o n ,   s u p p o r t e d   b y   t h e   e x p e r i m e n t a l   r e s u l t s ,   i s   t h a t   c r o w d s o u r c i n g   i s   a   c h e a p ,   q u i c k ,   a n d   r e l i a b l e   a l t e r n a t i v e   f o r   r e l e v a n c e   a s s e s s m e n t .   ( C )   2 0 1 2   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ M i z z a r o ,   S t e f a n o ]   U n i v   U d i n e ,   D e p t   M a t h s   &   C o m p   S c i ,   I - 3 3 1 0 0   U d i n e ,   I t a l y ;   [ A l o n s o ,   O m a r ]   M i c r o s o f t   C o r p ,   M o u n t a i n   V i e w ,   C A   9 4 0 4 3   U S A 	 M i z z a r o ,   S   ( r e p r i n t   a u t h o r ) ,   U n i v   U d i n e ,   D e p t   M a t h s   &   C o m p   S c i ,   V i a   S c i   2 0 6 ,   I - 3 3 1 0 0   U d i n e ,   I t a l y . 	 o m a r . a l o n s o @ m i c r o s o f t . c o m ;   m i z z a r o @ u n i u d . i t 	 	 	 	 	 A l o n s o   O . ,   2 0 1 1 ,   P   3 4   I N T   A C M   S I G I R   C ,   P 1 2 9 9 ;   A l o n s o   O ,   2 0 0 9 ,   P R O C E E D I N G S   3 2 N D   A N N U A L   I N T E R N A T I O N A L   A C M   S I G I R   C O N F E R E N C E   O N   R E S E A R C H   A N D   D E V E L O P M E N T   I N   I N F O R M A T I O N   R E T R I E V A L ,   P 7 6 0 ,   D O I   1 0 . 1 1 4 5 / 1 5 7 1 9 4 1 . 1 5 7 2 1 1 5 ;   A l o n s o   O . ,   2 0 1 0 ,   P   E U R   C   I N F   R E T R   E C I ,   P 6 2 3 ;   A l o n s o   O m a r ,   2 0 0 8 ,   S I G I R   F o r u m ,   V 4 2 ,   D O I   1 0 . 1 1 4 5 / 1 4 8 0 5 0 6 . 1 4 8 0 5 0 8 ;   A l o n s o   O . ,   2 0 0 9 ,   P   S I G I R   2 0 0 9   W O R K S H ,   P 1 5 ;   A L O N S O   O ,   2 0 1 1 ,   P   E U R   C   I N F   R E T R   E C I ,   V 6 6 1 1 ,   P 1 5 3 ;   A s l a r r r   J .   A . ,   2 0 0 6 ,   P r o c e e d i n g s   o f   t h e   T w e n t y - N i n t h   A n n u a l   I n t e r n a t i o n a l   A C M   S I G I R   C o n f e r e n c e   o n   R e s e a r c h   a n d   D e v e l o p m e n t   i n   I n f o r m a t i o n   R e t r i e v a l ,   D O I   1 0 . 1 1 4 5 / 1 1 4 8 1 7 0 . 1 1 4 8 2 6 3 ;   B a i l e y   P . ,   2 0 0 8 ,   P   3 1   A N N   I N T   A C M   S I G ,   P 6 6 7 ,   D O I   1 0 . 1 1 4 5 / 1 3 9 0 3 3 4 . 1 3 9 0 4 4 7 ;   B r a d b u r n   N .   M . ,   2 0 0 4 ,   A S K I N G   Q U E S T I O N S   D E F ;   C a l l a n   J . ,   2 0 0 7 ,   S I G I R   F O R U M ,   V 4 1 ,   P 2 5 ;   C a l l i s o n - B u r c h   C . ,   2 0 0 9 ,   P   2 0 0 9   C   E M P   M E T H   N A ,   P 2 8 6 ;   C a r t e r e t t e   B ,   2 0 0 8 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 9 5 6 ,   P 1 6 ;   C a r t e r e t t e   B . ,   2 0 0 8 ,   P   3 1   A N N   I N T   A C M   S I G ,   P 6 5 1 ,   D O I   1 0 . 1 1 4 5 / 1 3 9 0 3 3 4 . 1 3 9 0 4 4 5 ;   C a r t e r e t t e   B ,   2 0 1 0 ,   S I G I R   2 0 1 0 :   P R O C E E D I N G S   O F   T H E   3 3 R D   A N N U A L   I N T E R N A T I O N A L   A C M   S I G I R   C O N F E R E N C E   O N   R E S E A R C H   D E V E L O P M E N T   I N   I N F O R M A T I O N   R E T R I E V A L ,   P 5 3 9 ;   C a r v a l h o   V ,   2 0 1 0 ,   P   3 2   A C M   S I G I R   W O R K S ,   P 2 0 1 0 ;   C O H E N   J ,   1 9 6 0 ,   E D U C   P S Y C H O L   M E A S ,   V 2 0 ,   P 3 7 ,   D O I   1 0 . 1 1 7 7 / 0 0 1 3 1 6 4 4 6 0 0 2 0 0 0 1 0 4 ;   C o r m a c k   G .   V . ,   1 9 9 8 ,   P r o c e e d i n g s   o f   t h e   2 1 s t   A n n u a l   I n t e r n a t i o n a l   A C M   S I G I R   C o n f e r e n c e   o n   R e s e a r c h   a n d   D e v e l o p m e n t   i n   I n f o r m a t i o n   R e t r i e v a l ,   D O I   1 0 . 1 1 4 5 / 2 9 0 9 4 1 . 2 9 1 0 0 9 ;   F L E I S S   J L ,   1 9 7 1 ,   P S Y C H O L   B U L L ,   V 7 6 ,   P 3 7 8 ,   D O I   1 0 . 1 0 3 7 / h 0 0 3 1 6 1 9 ;   G r a d y   C . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 7 2 ;   G u i v e r   J ,   2 0 0 9 ,   A C M   T   I N F O R M   S Y S T ,   V 2 7 ,   D O I   1 0 . 1 1 4 5 / 1 6 2 9 0 9 6 . 1 6 2 9 0 9 9 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   K a z a i   G . ,   2 0 1 1 ,   P   3 4   A C M   S I G I R   C ,   P 2 0 5 ;   K a z a i   G ,   2 0 0 9 ,   P R O C E E D I N G S   3 2 N D   A N N U A L   I N T E R N A T I O N A L   A C M   S I G I R   C O N F E R E N C E   O N   R E S E A R C H   A N D   D E V E L O P M E N T   I N   I N F O R M A T I O N   R E T R I E V A L ,   P 4 5 2 ,   D O I   1 0 . 1 1 4 5 / 1 5 7 1 9 4 1 . 1 5 7 2 0 1 9 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   K R I P P E N D . K ,   1 9 7 0 ,   E D U C   P S Y C H O L   M E A S ,   V 3 0 ,   P 6 1 ,   D O I   1 0 . 1 1 7 7 / 0 0 1 3 1 6 4 4 7 0 0 3 0 0 0 1 0 5 ;   L e a s e   M . ,   2 0 1 1 ,   O V E R V I E W   T R E C   2 0 1 1   C ;   L e a s e   M . ,   2 0 1 1 ,   P   3 3   A C M   S I G I R   W O R K S ;   M c C r e a d i e   R . ,   2 0 1 0 ,   P   C S E   2 0 1 0   W O R K S H   S I ;   M c C r e a d i e   R . ,   2 0 1 1 ,   P   C S D M   W O R K S H   W S D M   2 ;   N I E L S E N   J . ,   1 9 9 3 ,   U S A B I L I T Y   E N G ;   N o w a k   S ,   2 0 1 0 ,   P   I N T   C   M U L T   I N F   R E T ,   P 5 5 7 ,   D O I   1 0 . 1 1 4 5 / 1 7 4 3 3 8 4 . 1 7 4 3 4 7 8 ;   S a n d e r s o n   M . ,   2 0 0 5 ,   P   2 8   A N N   I N T   A C M   S I G ,   P 1 6 2 ,   D O I   1 0 . 1 1 4 5 / 1 0 7 6 0 3 4 . 1 0 7 6 0 6 4 ;   S a n d e r s o n   M a r k ,   2 0 1 0 ,   F o u n d a t i o n s   a n d   T r e n d s   i n   I n f o r m a t i o n   R e t r i e v a l ,   V 4 ,   D O I   1 0 . 1 5 6 1 / 1 5 0 0 0 0 0 0 0 9 ;   S m u c k e r   M . ,   2 0 1 1 ,   P   3 4   A C M   S I G I R   C ,   P 1 2 3 1 ;   S n o w   R ,   2 0 0 8 ,   C   E M P   M E T H   N A T   L A N G ,   P 2 5 4 ;   S o b o r o f f   I a n ,   2 0 0 1 ,   P   2 4   A N N   I N T   A C M   S I G ,   P 6 6 ,   D O I   1 0 . 1 1 4 5 / 3 8 3 9 5 2 . 3 8 3 9 6 1 ;   S o r m u n e n   E . ,   2 0 0 2 ,   P r o c e e d i n g s   o f   S I G I R   2 0 0 2 .   T w e n t y - F i f t h   A n n u a l   I n t e r n a t i o n a l   A C M   S I G I R   C o n f e r e n c e   o n   R e s e a r c h   a n d   D e v e l o p m e n t   i n   I n f o r m a t i o n   R e t r i e v a l ;   S t e m l e r   S .   E . ,   2 0 0 4 ,   P R A C T I C A L   A S S E S S M E N T ,   V 9 ;   V o o r h e e s   E . ,   2 0 0 1 ,   C L E F   0 1   P ,   P 3 5 5 ;   V o o r h e e s   E M ,   2 0 0 0 ,   I N F O R M   P R O C E S S   M A N A G ,   V 3 6 ,   P 6 9 7 ,   D O I   1 0 . 1 0 1 6 / S 0 3 0 6 - 4 5 7 3 ( 0 0 ) 0 0 0 1 0 - 8 	 4 0 	 5 	 6 	 E L S E V I E R   S C I   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   O X O N ,   E N G L A N D 	 0 3 0 6 - 4 5 7 3 	 	 	 I N F O R M   P R O C E S S   M A N A G 	 I n f .   P r o c e s s .   M a n a g e . 	 N O V 	 2 0 1 2 	 4 8 	 6 	 	 	 	 	 1 0 5 3 	 1 0 6 6 	 	 1 0 . 1 0 1 6 / j . i p m . 2 0 1 2 . 0 1 . 0 0 4 	 	 1 4 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 C o m p u t e r   S c i e n c e ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 0 2 0 F I 	 W O S : 0 0 0 3 0 9 7 9 4 0 0 0 0 0 3 	 	 
 J 	 F r a t e r n a l i ,   P ;   C a s t e l l e t t i ,   A ;   S o n c i n i - S e s s a ,   R ;   R u i z ,   C V ;   R i z z o l i ,   A E 	 	 	 	 F r a t e r n a l i ,   P . ;   C a s t e l l e t t i ,   A . ;   S o n c i n i - S e s s a ,   R . ;   R u i z ,   C .   V a c a ;   R i z z o l i ,   A .   E . 	 	 	 P u t t i n g   h u m a n s   i n   t h e   l o o p :   S o c i a l   c o m p u t i n g   f o r   W a t e r   R e s o u r c e s   M a n a g e m e n t 	 E N V I R O N M E N T A L   M O D E L L I N G   &   S O F T W A R E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 H u m a n   C o m p u t a t i o n ;   G a m e s   w i t h   a   p u r p o s e ;   C r o w d s o u r c i n g ;   W a t e r   r e s o u r c e s   p l a n n i n g   a n d   m a n a g e m e n t ;   S o c i a l   c o m p u t a t i o n 	 B A Y E S I A N   N E T W O R K S ;   S Y S T E M S ;   A C C U R A C Y ;   J U D G M E N T ;   P U R P O S E ;   G A M E S ;   W E B 	 T h e   a d v e n t   o f   o n l i n e   s e r v i c e s ,   s o c i a l   n e t w o r k s ,   c r o w d s o u r c i n g ,   a n d   s e r i o u s   W e b   g a m e s   h a s   p r o m o t e d   t h e   e m e r g e n c e   o f   a   n o v e l   c o m p u t a t i o n   p a r a d i g m ,   w h e r e   c o m p l e x   t a s k s   a r e   s o l v e d   b y   e x p l o i t i n g   t h e   c a p a c i t y   o f   h u m a n   b e i n g s   a n d   c o m p u t e r   p l a t f o r m s   i n   a n   i n t e g r a t e d   w a y .   W a t e r   R e s o u r c e s   M a n a g e m e n t   s y s t e m s   c a n   t a k e   a d v a n t a g e   o f   h u m a n   a n d   s o c i a l   c o m p u t a t i o n   i n   s e v e r a l   w a y s :   c o l l e c t i n g   a n d   v a l i d a t i n g   d a t a ,   c o m p l e m e n t i n g   t h e   a n a l y t i c   k n o w l e d g e   e m b o d i e d   i n   m o d e l s   w i t h   t a c i t   k n o w l e d g e   f r o m   i n d i v i d u a l s   a n d   c o m m u n i t i e s ,   u s i n g   h u m a n   s e n s o r s   t o   m o n i t o r   t h e   v a r i a t i o n   o f   c o n d i t i o n s   a t   a   f i n e   g r a i n   a n d   i n   r e a l   t i m e ,   a c t i v a t i n g   h u m a n   n e t w o r k s   t o   p e r f o r m   s e a r c h   t a s k s   o r   a c t u a t e   m a n a g e m e n t   a c t i o n s .   T h i s   e x p l o r a t o r y   p a p e r   o v e r v i e w s   d i f f e r e n t   f o r m s   o f   h u m a n   a n d   s o c i a l   c o m p u t a t i o n   a n d   a n a l y z e s   h o w   t h e y   c a n   b e   e x p l o i t e d   t o   e n h a n c e   t h e   e f f e c t i v e n e s s   o f   I C T - b a s e d   W a t e r   R e s o u r c e s   M a n a g e m e n t .   ( C )   2 0 1 2   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ F r a t e r n a l i ,   P . ;   C a s t e l l e t t i ,   A . ;   S o n c i n i - S e s s a ,   R . ]   P o l i t e c n   M i l a n ,   D i p a r t i m e n t o   E l e t t r o n   &   I n f o r m a z ,   I - 2 0 1 3 3   M i l a n ,   I t a l y ;   [ R u i z ,   C .   V a c a ]   E s c u e l a   S u p e r   P o l i t e c n   L i t o r a l   F I E C ,   G u a y a q u i l ,   E c u a d o r ;   [ R i z z o l i ,   A .   E . ]   U S I   S U P S I ,   I s t   D a l l e   M o l l e   S t u d i   S u l l   I n t e l l i g e n z a   A r t i f i c i a ,   C H - 6 9 2 8   M a n n o ,   S w i t z e r l a n d 	 C a s t e l l e t t i ,   A   ( r e p r i n t   a u t h o r ) ,   P o l i t e c n   M i l a n ,   D i p a r t i m e n t o   E l e t t r o n   &   I n f o r m a z ,   P i a z z a   L   d a   V i n c i   3 2 ,   I - 2 0 1 3 3   M i l a n ,   I t a l y . 	 a n d r e a . c a s t e l l e t t i @ p o l i m i . i t 	 R i z z o l i ,   A n d r e a   E m i l i o / B - 2 9 8 5 - 2 0 1 0 	 R i z z o l i ,   A n d r e a   E m i l i o / 0 0 0 0 - 0 0 0 1 - 8 1 7 9 - 0 7 5 0 	 B P M 4 P e o p l e   p r o j e c t ;   C a p a c i t i e s   -   R e s e a r c h   f o r   S M E s   P r o g r a m   o f   t h e   R e s e a r c h   E x e c u t i v e   A g e n c y   o f   t h e   E u r o p e a n   C o m m u n i t y ;   T a T o o   p r o j e c t ;   E u r o p e a n   C o m m u n i t y   S e v e n t h   F r a m e w o r k   P r o g r a m m e   [ 2 4 7 9 8 3 ] 	 T h i s   w o r k   i s   p a r t i a l l y   s p o n s o r e d   b y   t h e   B P M 4 P e o p l e   p r o j e c t   ( w w w . b p m 4 p e o l e . o r g ) ,   f u n d e d   b y   t h e   C a p a c i t i e s   -   R e s e a r c h   f o r   S M E s   P r o g r a m   o f   t h e   R e s e a r c h   E x e c u t i v e   A g e n c y   o f   t h e   E u r o p e a n   C o m m u n i t y .   T h i s   w o r k   i s   p a r t i a l l y   s p o n s o r e d   b y   t h e   T a T o o   p r o j e c t   ( h t t p : / / w w w . t a t o o - e u . o r g ) ,   f u n d e d   b y   t h e   E u r o p e a n   C o m m u n i t y   S e v e n t h   F r a m e w o r k   P r o g r a m m e   ( F P 7 / 2 0 0 7 - 2 0 1 3 )   u n d e r   G r a n t   A g r e e m e n t   N u m b e r   2 4 7 9 8 3 . 	 A b d e l z a h e r   T ,   2 0 0 7 ,   I E E E   P E R V A S   C O M P U T ,   V 6 ,   P 2 0 ,   D O I   1 0 . 1 1 0 9 / M P R V . 2 0 0 7 . 3 8 ;   A l s a l e h   S . ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   P 3 1 3 ;   A n t o n u c c i   A ,   2 0 0 8 ,   I N T   J   A P P R O X   R E A S O N ,   V 4 9 ,   P 3 4 5 ,   D O I   1 0 . 1 0 1 6 / j . i j a r . 2 0 0 8 . 0 2 . 0 0 5 ;   A u l o v   O . ,   2 0 1 1 ,   A G U   F A L L   M   A B S T R ;   B a n s a l   N . ,   2 0 1 1 ,   P   8   I N T   W O R K S H   I N F   I ,   P 5 ;   B a r r e t e a u   O . ,   2 0 0 3 ,   J   A R T I F I C I A L   S O C   S O C ,   V 6 ;   B E N E V E N U T O   F ,   2 0 0 9 ,   P   9   A C M   S I G C O M M   C   I N ,   P 4 9 ,   D O I   1 0 . 1 1 4 5 / 1 6 4 4 8 9 3 . 1 6 4 4 9 0 0 ;   B r a m b i l l a   M . ,   2 0 1 1 ,   P   4   I N T   W O R K S H   B P M   S ;   B r a u n   S . ,   2 0 0 7 ,   P   W O R K S H   S O C   C O L L   C O ;   B r e d e   M ,   2 0 1 0 ,   E N V I R O N   M O D E L L   S O F T W ,   V 2 5 ,   P 1 1 7 ,   D O I   1 0 . 1 0 1 6 / j . e n v s o f t . 2 0 0 9 . 0 7 . 0 0 7 ;   C a c h o   O . J . ,   2 0 1 1 ,   E N V I R O N   M O D E L L   S O F T W ,   V 2 5 ,   P 4 4 4 ;   C a m p b e l l   A T ,   2 0 0 8 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 2 ,   P 1 2 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 0 8 . 9 0 ;   C a s t e l l e t t i   A ,   2 0 0 7 ,   E N V I R O N   M O D E L L   S O F T W ,   V 2 2 ,   P 1 0 7 3 ,   D O I   1 0 . 1 0 1 6 / j . e n v s o f t . 2 0 0 6 . 0 6 . 0 0 1 ;   C a s t e l l e t t i   A ,   2 0 0 7 ,   E N V I R O N   M O D E L L   S O F T W ,   V 2 2 ,   P 1 1 1 4 ,   D O I   1 0 . 1 0 1 6 / j . e n v s o f t . 2 0 0 6 . 0 5 . 0 1 8 ;   C a s t e l l e t t i   A ,   2 0 0 6 ,   E N V I R O N   M O D E L L   S O F T W ,   V 2 1 ,   P 1 4 5 5 ,   D O I   1 0 . 1 0 1 6 / j . e n v s o f t . 2 0 0 5 . 0 7 . 0 1 3 ;   C a t a n e s e   S . A . ,   2 0 1 1 ,   P   I N T   C   W E B   I N T   M I N ,   P 5 2 ;   C h a   M . ,   2 0 0 9 ,   P   1 8   I N T   C   W O R L D   W I D ,   P 7 2 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 5 2 6 7 0 9 . 1 5 2 6 8 0 6 ;   C h a n   K . T . ,   2 0 0 9 ,   C O M P   S C I   E N G   2 0 0 9   C S ,   V 4 ,   P 1 2 0 5 ;   C o h e n   D . ,   2 0 0 1 ,   G O O D   C O   S O C I A L   C A P I T ;   C o o p e r   S ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 7 5 6 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 9 3 0 4 ;   C u n n i n g h a m   W . ,   2 0 0 1 ,   Q U I C K   C O L L A B O R A T I O N ;   D e l b e c q   A .   L ,   1 9 7 5 ,   G R O U P   T E C H N I Q U E S   P R O ;   D O W N S   J S ,   2 0 1 0 ,   P   2 8   I N T   C   H U M   F A C T ,   P 2 3 9 9 ,   D O I   1 0 . 1 1 4 5 / 1 7 5 3 3 2 6 . 1 7 5 3 6 8 8 ;   D u t t a   P . ,   2 0 0 9 ,   P   7   A C M   C   E M B   N E T W   S ,   P 3 4 9 ,   D O I   1 0 . 1 1 4 5 / 1 6 4 4 0 3 8 . 1 6 4 4 0 9 5 ;   E a s l e y   D . ,   2 0 1 0 ,   N E T W O R K S   C R O W D S   M A R K ;   F o r b u s   K .   D . ,   1 9 8 1 ,   P   7   I N T   J O I N T   C   A R T ,   P 3 2 6 ;   G r i m b l e   R ,   1 9 9 7 ,   A G R   S Y S T ,   V 5 5 ,   P 1 7 3 ,   D O I   1 0 . 1 0 1 6 / S 0 3 0 8 - 5 2 1 X ( 9 7 ) 0 0 0 0 6 - 1 ;   G r u b e r   T . ,   2 0 0 7 ,   W E B   S E M A N T I C S   S C I   S E ,   V 6 ,   P 4 ;   H a m i l t o n   M . ,   2 0 1 1 ,   A C M   S I G C A S   C O M P U T E R S ,   V 4 1 ,   P 3 2 ;   H a n d   E ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 6 8 5 ,   D O I   1 0 . 1 0 3 8 / 4 6 6 6 8 5 a ;   H a r e   M . ,   2 0 0 3 ,   I N T E G R A T E D   A S S E S S M E N ,   V 4 ,   P 6 2 ,   D O I   1 0 . 1 0 7 6 / i a i j . 4 . 2 . 6 2 . 1 6 7 0 6 ;   H a r p e r   F . M . ,   2 0 0 7 ,   P   2 0 0 7   A C M   C   R E C   S Y S ;   H E E R   J . ,   2 0 1 0 ,   P   2 8   I N T   C   H U M   F A C T ;   H i l l   D J ,   2 0 1 1 ,   E N V I R O N   M O D E L L   S O F T W ,   V 2 6 ,   P 1 7 1 0 ,   D O I   1 0 . 1 0 1 6 / j . e n v s o f t . 2 0 1 1 . 0 9 . 0 0 1 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   P 1 4 ;   H u   X . ,   2 0 0 9 ,   P   3   I N T   C   N E X T   G E N   M ;   H u a n g   E . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 7 7 ,   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 9 0 8 ;   I a n d o l i   L u c a ,   2 0 0 9 ,   I n t e r n a t i o n a l   J o u r n a l   o f   D e c i s i o n   S u p p o r t   S y s t e m   T e c h n o l o g y ,   V 1 ,   D O I   1 0 . 4 0 1 8 / j d s s t . 2 0 0 9 0 1 0 1 0 5 ;   I p e i r o t i s   P G ,   2 0 1 1 ,   P   2 0   I N T   C   C O M P   W O R L ,   P 2 8 7 ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 6 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 9 0 6 ;   J a n s s e n   S ,   2 0 1 1 ,   C O M P U T   E L E C T R O N   A G R ,   V 7 6 ,   P 1 4 8 ,   D O I   1 0 . 1 0 1 6 / j . c o m p a g . 2 0 1 0 . 1 0 . 0 1 1 ;   J a n s s e n   S ,   2 0 0 9 ,   E N V I R O N   M O D E L L   S O F T W ,   V 2 4 ,   P 1 4 9 1 ,   D O I   1 0 . 1 0 1 6 / j . e n v s o f t . 2 0 0 9 . 0 4 . 0 0 9 ;   J o s a n g   A ,   2 0 0 7 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 3 ,   P 6 1 8 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 5 . 0 5 . 0 1 9 ;   K i m   S . ,   2 0 1 1 ,   P   2 9   I N T   C   H U M   F A C T ;   K o e l s t r a   S . ,   2 0 1 0 ,   P   2 0 1 0   I N T   C   B R A I N   I ,   P 8 9 ;   K O R H O N E N   P J ,   1 9 8 6 ,   E U R   J   O P E R   R E S ,   V 2 4 ,   P 2 7 7 ,   D O I   1 0 . 1 0 1 6 / 0 3 7 7 - 2 2 1 7 ( 8 6 ) 9 0 0 5 0 - 0 ;   K u n c h e v a   L I ,   2 0 0 3 ,   P A T T E R N   A N A L   A P P L ,   V 6 ,   P 2 2 ,   D O I   1 0 . 1 0 0 7 / s 1 0 0 4 4 - 0 0 2 - 0 1 7 3 - 7 ;   L a n g   M H ,   2 0 0 3 ,   J   A C C O U N T I N G   R E S ,   V 4 1 ,   P 3 1 7 ,   D O I   1 0 . 1 1 1 1 / 1 4 7 5 - 6 7 9 X . 0 0 1 0 6 ;   L a w   E . ,   2 0 0 9 ,   P   2 7   I N T   C   H U M   F A C T ,   P 1 1 9 7 ,   D O I   1 0 . 1 1 4 5 / 1 5 1 8 7 0 1 . 1 5 1 8 8 8 1 ;   L i u   J G ,   2 0 0 7 ,   S C I E N C E ,   V 3 1 7 ,   P 1 5 1 3 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 4 4 0 0 4 ;   L i u   Y . ,   2 0 1 1 ,   P   I E E E   W O R K S H   C O M P   C ;   M A D A N   A ,   2 0 1 0 ,   P   1 2   A C M   I N T   C   U B   C O ,   P 2 9 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 6 4 3 4 9 . 1 8 6 4 3 9 4 ;   M a i s o n n e u v e   N . ,   2 0 0 9 ,   P   1 0   A N N   I N T   C   D I G   G ,   P 9 6 ;   M a n a s s e h   C . ,   2 0 0 9 ,   P   2   I N T   W O R K S H   L O C   W ,   P 1 ,   D O I   1 0 . 1 1 4 5 / 1 5 0 7 1 3 6 . 1 5 0 7 1 4 5 ;   M i s l o v e   A . ,   2 0 1 0 ,   P   3   A C M   I N T   C   W E B   S E ,   P 2 5 1 ,   D O I   1 0 . 1 1 4 5 / 1 7 1 8 4 8 7 . 1 7 1 8 5 1 9 ;   M o u t o n   A M ,   2 0 0 9 ,   E N V I R O N   M O D E L L   S O F T W ,   V 2 4 ,   P 9 8 2 ,   D O I   1 0 . 1 0 1 6 / j . e n v s o f t . 2 0 0 9 . 0 2 . 0 0 5 ;   M o z e r   M . ,   2 0 1 0 ,   A D V   N E U R A L   I N F O R M   P R ,   P 1 7 0 5 ;   N e s i c   S . ,   2 0 1 1 ,   P   I F I P   A D V   I N F   C O M M ,   P 4 0 7 ;   P a r a m e s w a r a n   A . ,   2 0 1 0 ,   H U M A N   A S S I S T E D   G R A P H ;   P a r i e n t e   T . ,   2 0 1 1 ,   E N V   S O F T W A R E   S Y S T E M S ,   V 3 5 9 ,   P 4 1 9 ;   P e r e z   I J ,   2 0 1 0 ,   I E E E   T   S Y S T   M A N   C Y   A ,   V 4 0 ,   P 1 2 4 4 ,   D O I   1 0 . 1 1 0 9 / T S M C A . 2 0 1 0 . 2 0 4 6 7 3 2 ;   P i c k a r d   G . ,   2 0 1 0 ,   C O R R ;   P r e l l   C ,   2 0 0 9 ,   S O C   N A T U R   R E S O U R ,   V 2 2 ,   P 5 0 1 ,   D O I   1 0 . 1 0 8 0 / 0 8 9 4 1 9 2 0 8 0 2 1 9 9 2 0 2 ;   P r e l l   C . ,   2 0 0 8 ,   S Y S T E M I C   P R A C T I C E   A C ,   V 2 ,   P 4 4 3 ;   Q u i n n   A . J . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 1 4 0 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 9 1 4 8 ;   R a m m e l   C ,   2 0 0 7 ,   E C O L   E C O N ,   V 6 3 ,   P 9 ,   D O I   1 0 . 1 0 1 6 / j . e c o l e c o n . 2 0 0 6 . 1 2 . 0 1 4 ;   R o b e r t s o n   D . ,   1 9 9 1 ,   E C O L O G I C   L O G I C   B A S E D ;   S a k a k i   T a k e s h i ,   2 0 1 0 ,   P   1 9   I N T   C   W O R L D   W I D ,   P 8 5 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 7 2 6 9 0 . 1 7 7 2 7 7 7 ;   S a l v e t t i   A . ,   2 0 0 8 ,   P   4   B I E N N   M   I N T   E N V ;   S a n f e y   A G ,   2 0 0 7 ,   S C I E N C E ,   V 3 1 8 ,   P 5 9 8 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 4 2 9 9 6 ;   S h a h   S . ,   2 0 1 1 ,   P   1 9   A C M   S I G S P A T I A L ,   P 5 2 1 ;   S i o r p a e s   K ,   2 0 0 8 ,   I E E E   I N T E L L   S Y S T ,   V 2 3 ,   P 5 0 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 0 8 . 4 5 ;   S o n c i n i - S e s s a   R ,   2 0 0 7 ,   I N T E G R A T E D   P A R T I C I P A ;   S o n c i n i - S e s s a   R ,   2 0 0 3 ,   E N V I R O N   M O D E L L   S O F T W ,   V 1 8 ,   P 3 9 5 ,   D O I   1 0 . 1 0 1 6 / S 1 3 6 4 - 8 1 5 2 ( 0 3 ) 0 0 0 3 5 - 5 ;   S o w a   J F ,   1 9 9 1 ,   P R I N C I P L E S   S E M A N T I C ;   S t o t h a r d   J . ,   2 0 1 1 ,   T   R O Y A L   S O C   T R O P I C A L ;   T h a l e r   S . ,   2 0 1 1 ,   P   2 6   S   A P P L   C O M P   S A C ;   T H I E S S E N   E M ,   1 9 9 2 ,   W A T E R   R E S O U R   B U L L ,   V 2 8 ,   P 1 6 3 ;   T u d o r a c h e   T . ,   2 0 0 8 ,   P   7   I N T   S E M   W E B   C ,   P 1 7 ;   T U R O F F   M ,   1 9 7 0 ,   T E C H N O L   F O R E C A S T   S O C ,   V 2 ,   P 1 4 9 ,   D O I   1 0 . 1 0 1 6 / 0 0 9 9 - 3 9 6 4 ( 7 0 ) 9 0 0 0 4 - 9 ;   T V E R S K Y   A ,   1 9 7 4 ,   S C I E N C E ,   V 1 8 5 ,   P 1 1 2 4 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 8 5 . 4 1 5 7 . 1 1 2 4 ;   V a r i s   O ,   1 9 9 7 ,   C L I M A T I C   C H A N G E ,   V 3 7 ,   P 5 3 9 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 0 5 3 5 8 2 1 6 3 6 1 ;   V i l l a   F ,   2 0 0 9 ,   E N V I R O N   M O D E L L   S O F T W ,   V 2 4 ,   P 5 7 7 ,   D O I   1 0 . 1 0 1 6 / j . e n v s o f t . 2 0 0 8 . 0 9 . 0 0 9 ;   v o n   A h n   L . ,   2 0 0 9 ,   C I V R ;   v o n   A h n   L ,   2 0 0 6 ,   C O M P U T E R ,   V 3 9 ,   P 9 2 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 6 . 1 9 6 ;   v o n   A h n   L ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 1 ,   P 1 4 6 5 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 0 3 7 9 ;   W e n   Z . ,   2 0 1 0 ,   P   1 6   A C M   S I G K D D   I N T ,   P 3 7 3 ,   D O I   1 0 . 1 1 4 5 / 1 8 3 5 8 0 4 . 1 8 3 5 8 5 3 ;   X i e   X . ,   2 0 1 0 ,   P   6   I N T   C   A D V   I N F   M A ,   P 1 9 9 ;   Y e   S . ,   2 0 1 0 ,   P   1 2   A S   P A C   W E B   C   B U ,   P 2 3 6 ;   Z h a n g   J . ,   2 0 0 9 ,   P   E N G   D E S   W O R K S H   C   H ;   Z i t t r a i n   J ,   2 0 0 8 ,   P H I L O S   T   R   S O C   A ,   V 3 6 6 ,   P 3 8 1 3 ,   D O I   1 0 . 1 0 9 8 / r s t a . 2 0 0 8 . 0 1 1 6 	 9 1 	 2 	 3 	 E L S E V I E R   S C I   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   O X O N ,   E N G L A N D 	 1 3 6 4 - 8 1 5 2 	 	 	 E N V I R O N   M O D E L L   S O F T W 	 E n v i r o n .   M o d e l l .   S o f t w . 	 N O V 	 2 0 1 2 	 3 7 	 	 	 	 	 	 6 8 	 7 7 	 	 1 0 . 1 0 1 6 / j . e n v s o f t . 2 0 1 2 . 0 3 . 0 0 2 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   E n g i n e e r i n g ,   E n v i r o n m e n t a l ;   E n v i r o n m e n t a l   S c i e n c e s 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   E n v i r o n m e n t a l   S c i e n c e s   &   E c o l o g y 	 9 6 9 F Q 	 W O S : 0 0 0 3 0 6 0 4 1 5 0 0 0 0 7 	 	 
 J 	 W a n g ,   S Y ;   L i a o ,   W S ;   H s i e h ,   L C ;   C h e n ,   Y Y ;   H s u ,   W H 	 	 	 	 W a n g ,   S h e n g - Y u a n ;   L i a o ,   W e i - S h i n g ;   H s i e h ,   L i a n g - C h i ;   C h e n ,   Y a n - Y i n g ;   H s u ,   W i n s t o n   H . 	 	 	 L e a r n i n g   b y   e x p a n s i o n :   E x p l o i t i n g   s o c i a l   m e d i a   f o r   i m a g e   c l a s s i f i c a t i o n   w i t h   f e w   t r a i n i n g   e x a m p l e s 	 N E U R O C O M P U T I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 O b j e c t   r e c o g n i t i o n ;   I m a g e   c l a s s i f i c a t i o n ;   W e b   i m a g e   s e a r c h ;   C r o w d s o u r c i n g ;   S e m a n t i c   q u e r y   e x p a n s i o n 	 M U L T I M E D I A ;   S C E N E 	 W i t n e s s i n g   t h e   s h e e r   a m o u n t   o f   u s e r - c o n t r i b u t e d   p h o t o s   a n d   v i d e o s ,   w e   a r g u e   t o   l e v e r a g e   s u c h   f r e e l y   a v a i l a b l e   i m a g e   c o l l e c t i o n s   a s   t h e   t r a i n i n g   i m a g e s   f o r   i m a g e   c l a s s i f i c a t i o n .   W e   p r o p o s e   a n   i m a g e   e x p a n s i o n   f r a m e w o r k   t o   m i n e   m o r e   s e m a n t i c a l l y   r e l a t e d   t r a i n i n g   i m a g e s   f r o m   t h e   a u x i l i a r y   i m a g e   c o l l e c t i o n   p r o v i d e d   w i t h   v e r y   f e w   t r a i n i n g   e x a m p l e s .   T h e   e x p a n s i o n   i s   b a s e d   o n   a   s e m a n t i c   g r a p h   c o n s i d e r i n g   b o t h   v i s u a l   a n d   ( n o i s y )   t e x t u a l   s i m i l a r i t i e s   i n   t h e   a u x i l i a r y   i m a g e   c o l l e c t i o n s ,   w h e r e   w e   a l s o   c o n s i d e r   s c a l a b i l i t y   i s s u e s   ( e . g . ,   M a p R e d u c e )   a s   c o n s t r u c t i n g   t h e   g r a p h .   W e   f o u n d   t h e   e x p a n d e d   i m a g e s   n o t   o n l y   r e d u c e   t h e   t i m e - c o n s u m i n g   ( m a n u a l )   a n n o t a t i o n   e f f o r t s   b u t   a l s o   f u r t h e r   i m p r o v e   t h e   c l a s s i f i c a t i o n   a c c u r a c y   s i n c e   m o r e   v i s u a l l y   d i v e r s e   t r a i n i n g   i m a g e s   a r e   i n c l u d e d .   E x p e r i m e n t i n g   i n   c e r t a i n   b e n c h m a r k s ,   w e   s h o w   t h a t   t h e   e x p a n d e d   t r a i n i n g   i m a g e s   i m p r o v e   i m a g e   c l a s s i f i c a t i o n   s i g n i f i c a n t l y .   F u r t h e r m o r e ,   w e   a c h i e v e   m o r e   t h a n   2 7 %   r e l a t i v e   i m p r o v e m e n t   i n   a c c u r a c y   c o m p a r e d   t o   t h e   s t a t e - o f - t h e - a r t   t r a i n i n g   i m a g e   c r o w d s o u r c i n g   a p p r o a c h e s   b y   e x p l o i t i n g   m e d i a   s h a r i n g   s e r v i c e s   ( s u c h   a s   F l i c k r )   f o r   a d d i t i o n a l   t r a i n i n g   i m a g e s .   ( c )   2 0 1 2   E l s e v i e r   B . V .   A l l   r i g h t s   r e s e r v e d . 	 [ W a n g ,   S h e n g - Y u a n ;   L i a o ,   W e i - S h i n g ;   H s i e h ,   L i a n g - C h i ;   C h e n ,   Y a n - Y i n g ;   H s u ,   W i n s t o n   H . ]   N a t l   T a i w a n   U n i v ,   T a i p e i   1 0 7 6 4 ,   T a i w a n 	 H s u ,   W H   ( r e p r i n t   a u t h o r ) ,   N a t l   T a i w a n   U n i v ,   T a i p e i   1 0 7 6 4 ,   T a i w a n . 	 l i b b y @ c m l a b . c s i e . n t u . e d u . t w ;   p e e g o o 7 7 @ g m a i l . c o m ;   v i i r y a @ g m a i l . c o m ;   y a n y i n g @ c m l a b . c s i e . n t u . e d u . t w ;   w i n s t o n @ c s i e . n t u . e d u . t w 	 	 	 	 	 B e r g   T L ,   2 0 0 4 ,   P R O C   C V P R   I E E E ,   P 8 4 8 ;   B e r g   T . L . ,   2 0 0 6 ,   C V P R ,   P 1 4 6 3 ;   B l u m   A . ,   1 9 9 8 ,   C O L T ,   P 9 2 ;   B o s c h   A . ,   2 0 0 7 ,   C I V R ,   P 4 0 1 ;   D e a n   J ,   2 0 0 8 ,   C O M M U N   A C M ,   V 5 1 ,   P 1 0 7 ,   D O I   1 0 . 1 1 4 5 / 1 3 2 7 4 5 2 . 1 3 2 7 4 9 2 ;   D e l a l l e a u   O . ,   2 0 0 6 ,   S E M I   S U P E R V I S E D   L E A R ,   P 3 3 3 ;   D e n g   J . ,   2 0 0 9 ,   C V P R ;   E l s a y e d   T . ,   2 0 0 8 ,   P   4 6   A N N   M   A S S   C O M P ,   P 2 6 5 ,   D O I   1 0 . 3 1 1 5 / 1 5 5 7 6 9 0 . 1 5 5 7 7 6 7 ;   F e r g u s   R . ,   2 0 0 5 ,   I C C V ;   G r i f f i n   G . ,   2 0 0 7 ,   7 6 9 4   C A L   I   T E C H N ;   G u i l l a u m i n   M . ,   2 0 1 0 ,   C V P R ;   H e g e r a t h   A . ,   2 0 0 6 ,   C V P R ;   H s u   W H ,   2 0 0 7 ,   I E E E   M U L T I M E D I A ,   V 1 4 ,   P 1 4 ,   D O I   1 0 . 1 1 0 9 / M M U L . 2 0 0 7 . 6 1 ;   H s u   W . H . ,   2 0 0 7 ,   A C M   M U L T I M E D I A ;   J i n g   Y . ,   2 0 0 8 ,   W W W ;   K e n n e d y   L . ,   2 0 0 7 ,   A C M   M U L T I M E D I A ;   L a n g v i l l e   A N ,   2 0 0 5 ,   S I A M   R E V ,   V 4 7 ,   P 1 3 5 ,   D O I   1 0 . 1 1 3 7 / S 0 0 3 6 1 4 4 5 0 3 4 2 4 7 8 6 ;   L a p t e v   I . ,   2 0 0 6 ,   B M V C ,   P 9 4 9 ;   L a z e b n i k   S . ,   2 0 0 6 ,   C V P R ,   P 2 1 6 9 ,   D O I   h t t p : / / d x . d o i . o r g / 1 0 . 1 1 0 9 / C V P R . 2 0 0 6 . 6 8 ;   L o w e   D G ,   2 0 0 4 ,   I N T   J   C O M P U T   V I S I O N ,   V 6 0 ,   P 9 1 ,   D O I   1 0 . 1 0 2 3 / B : V I S I . 0 0 0 0 0 2 9 6 6 4 . 9 9 6 1 5 . 9 4 ;   M e i   T ,   2 0 1 0 ,   I E E E   M U L T I M E D I A ,   V 1 7 ,   P 1 6 ,   D O I   1 0 . 1 1 0 9 / M M U L . 2 0 1 0 . 8 2 ;   N a p h a d e   M ,   2 0 0 6 ,   I E E E   M U L T I M E D I A ,   V 1 3 ,   P 8 6 ,   D O I   1 0 . 1 1 0 9 / M M U L . 2 0 0 6 . 6 3 ;   O l i v a   A ,   2 0 0 1 ,   I N T   J   C O M P U T   V I S I O N ,   V 4 2 ,   P 1 4 5 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 1 1 1 3 9 6 3 1 7 2 4 ;   S c h r o f f   F . ,   2 0 0 7 ,   I C C V ;   S i v i c   J . ,   2 0 0 3 ,   I C C V ;   T o r r a l b a   A ,   2 0 0 8 ,   I E E E   T   P A T T E R N   A N A L ,   V 3 0 ,   P 1 9 5 8 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 0 8 . 1 2 8 ;   V i j a y a n a r a s i m h a n   S . ,   2 0 0 8 ,   C V P R ;   W a n g   G ,   2 0 0 9 ,   I E E E   I   C O N F   C O M P   V I S ,   P 4 2 8 ;   W a n g   G . ,   2 0 0 9 ,   C V P R ;   Y a n g   Y . - H . ,   2 0 0 8 ,   A C M   M U L T I M E D I A ;   z h a n g   H . ,   2 0 0 6 ,   C V P R ,   P 2 1 2 6 ;   Z h a n g   J . ,   2 0 0 7 ,   I N T   J   C O M P U T   V I S I O N ,   V 7 3 ,   P 2 0 0 7 	 3 2 	 1 	 1 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 0 9 2 5 - 2 3 1 2 	 	 	 N E U R O C O M P U T I N G 	 N e u r o c o m p u t i n g 	 O C T   1 5 	 2 0 1 2 	 9 5 	 	 	 	 S I 	 	 1 1 7 	 1 2 5 	 	 1 0 . 1 0 1 6 / j . n e u c o m . 2 0 1 1 . 0 5 . 0 4 3 	 	 9 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e 	 C o m p u t e r   S c i e n c e 	 9 8 3 X U 	 W O S : 0 0 0 3 0 7 1 5 2 8 0 0 0 1 5 	 	 
 J 	 N a r o d i t s k i y ,   V ;   R a h w a n ,   I ;   C e b r i a n ,   M ;   J e n n i n g s ,   N R 	 	 	 	 N a r o d i t s k i y ,   V i c t o r ;   R a h w a n ,   I y a d ;   C e b r i a n ,   M a n u e l ;   J e n n i n g s ,   N i c h o l a s   R . 	 	 	 V e r i f i c a t i o n   i n   R e f e r r a l - B a s e d   C r o w d s o u r c i n g 	 P L O S   O N E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 S O C I A L   N E T W O R K S ;   S E A R C H ;   I N F O R M A T I O N ;   T I E S 	 O n l i n e   s o c i a l   n e t w o r k s   o f f e r   u n p r e c e d e n t e d   p o t e n t i a l   f o r   r a l l y i n g   a   l a r g e   n u m b e r   o f   p e o p l e   t o   a c c o m p l i s h   a   g i v e n   t a s k .   H e r e   w e   f o c u s   o n   i n f o r m a t i o n   g a t h e r i n g   t a s k s   w h e r e   r a r e   i n f o r m a t i o n   i s   s o u g h t   t h r o u g h   " r e f e r r a l - b a s e d   c r o w d s o u r c i n g ' ' :   t h e   i n f o r m a t i o n   r e q u e s t   i s   p r o p a g a t e d   r e c u r s i v e l y   t h r o u g h   i n v i t a t i o n s   a m o n g   m e m b e r s   o f   a   s o c i a l   n e t w o r k .   W h e r e a s   p r e v i o u s   w o r k   a n a l y z e d   i n c e n t i v e s   f o r   t h e   r e f e r r a l   p r o c e s s   i n   a   s e t t i n g   w i t h   o n l y   c o r r e c t   r e p o r t s ,   m i s r e p o r t i n g   i s   k n o w n   t o   b e   b o t h   p e r v a s i v e   i n   c r o w d s o u r c i n g   a p p l i c a t i o n s ,   a n d   d i f f i c u l t / c o s t l y   t o   f i l t e r   o u t .   A   m o t i v a t i n g   e x a m p l e   f o r   o u r   w o r k   i s   t h e   D A R P A   R e d   B a l l o o n   C h a l l e n g e   w h e r e   t h e   l e v e l   o f   m i s r e p o r t i n g   w a s   v e r y   h i g h .   I n   o r d e r   t o   u n d e r t a k e   a   f o r m a l   s t u d y   o f   v e r i f i c a t i o n ,   w e   i n t r o d u c e   a   m o d e l   w h e r e   a g e n t s   c a n   e x e r t   c o s t l y   e f f o r t   t o   p e r f o r m   v e r i f i c a t i o n   a n d   f a l s e   r e p o r t s   c a n   b e   p e n a l i z e d .   T h i s   i s   t h e   f i r s t   m o d e l   o f   v e r i f i c a t i o n   a n d   i t   p r o v i d e s   m a n y   d i r e c t i o n s   f o r   f u t u r e   r e s e a r c h ,   w h i c h   w e   p o i n t   o u t .   O u r   m a i n   t h e o r e t i c a l   r e s u l t   i s   t h e   c o m p e n s a t i o n   s c h e m e   t h a t   m i n i m i z e s   t h e   c o s t   o f   r e t r i e v i n g   t h e   c o r r e c t   a n s w e r .   N o t a b l y ,   t h i s   o p t i m a l   c o m p e n s a t i o n   s c h e m e   c o i n c i d e s   w i t h   t h e   w i n n i n g   s t r a t e g y   o f   t h e   R e d   B a l l o o n   C h a l l e n g e . 	 [ N a r o d i t s k i y ,   V i c t o r ;   J e n n i n g s ,   N i c h o l a s   R . ]   U n i v   S o u t h a m p t o n ,   S o u t h a m p t o n ,   H a n t s ,   E n g l a n d ;   [ R a h w a n ,   I y a d ]   M a s d a r   I n s t   S c i   &   T e c h n o l ,   A b u   D h a b i ,   U   A r a b   E m i r a t e s ;   [ R a h w a n ,   I y a d ]   U n i v   E d i n b u r g h ,   S c h   I n f o r m a t ,   E d i n b u r g h ,   M i d l o t h i a n ,   S c o t l a n d ;   [ C e b r i a n ,   M a n u e l ]   U n i v   C a l i f   S a n   D i e g o ,   D e p t   C o m p   S c i   &   E n g n ,   L a   J o l l a ,   C A   9 2 0 9 3   U S A ;   [ C e b r i a n ,   M a n u e l ]   N a t l   I n f o r m a t   &   C o m m u n   T e c h n o l   A u s t r a l i a ,   M e l b o u r n e ,   V i c ,   A u s t r a l i a ;   [ J e n n i n g s ,   N i c h o l a s   R . ]   K i n g   A b d u l a z i z   U n i v ,   D e p t   C o m p   &   I n f o r m a t   T e c h n o l ,   J e d d a h   2 1 4 1 3 ,   S a u d i   A r a b i a 	 N a r o d i t s k i y ,   V   ( r e p r i n t   a u t h o r ) ,   U n i v   S o u t h a m p t o n ,   S o u t h a m p t o n ,   H a n t s ,   E n g l a n d . 	 v n @ e c s . s o t o n . a c . u k 	 	 	 	 	 A d a m i c   L ,   2 0 0 5 ,   S O C   N E T W O R K S ,   V 2 7 ,   P 1 8 7 ,   D O I   1 0 . 1 0 1 6 / j . s p c n e t . 2 0 0 5 . 0 1 . 0 0 7 ;   A d a r   E . ,   2 0 0 5 ,   W I   0 5 ,   P 2 0 7 ;   A r a l   S ,   2 0 1 2 ,   S C I E N C E ,   V 3 3 7 ,   P 3 3 7 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 2 1 5 8 4 2 ;   B a b a i o f f   M ,   2 0 1 2 ,   A C M   C   E L   C O M M ;   B a k s h y   E . ,   2 0 1 1 ,   P   4   A C M   I N T   C   W E B   S E ,   P 6 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 3 5 8 2 6 . 1 9 3 5 8 4 5 ;   B r a n d t   F ,   2 0 0 7 ,   2 0 T H   I N T E R N A T I O N A L   J O I N T   C O N F E R E N C E   O N   A R T I F I C I A L   I N T E L L I G E N C E ,   P 1 2 0 7 ;   C e b r i a n   M ,   2 0 1 2 ,   A C M   S   T H E O R   C O M P   S T O ;   C e n t o l a   D ,   2 0 0 7 ,   A M   J   S O C I O L ,   V 1 1 3 ,   P 7 0 2 ,   D O I   1 0 . 1 0 8 6 / 5 2 1 8 4 8 ;   C e n t o l a   D ,   2 0 1 0 ,   S C I E N C E ,   V 3 2 9 ,   P 1 1 9 4 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 8 5 2 3 1 ;   D e f e n s e   A d v a n c e d   R e s e a r c h   P r o j e c t s   A g e n c y ,   2 0 1 0 ,   D A R P A   N E T W   C H A L L   P R O ;   D o d d s   P S ,   2 0 0 3 ,   S C I E N C E ,   V 3 0 1 ,   P 8 2 7 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 0 8 1 0 5 8 ;   E m e k   Y ,   2 0 1 1 ,   A C M   C   E L   C O M M ,   P 2 0 9 ;   F u   W T ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 5 8 9 ,   P 1 4 7 ;   G a f f n e y   D ,   2 0 1 0 ,   W E B   S C I   T R U S T ,   P 8 ;   G a o   H ,   2 0 1 1 ,   I E E E   I N T E L L   S Y S T ,   V 2 6 ,   P 1 0 ;   G R A N O V E T . M S ,   1 9 7 3 ,   A M   J   S O C I O L ,   V 7 8 ,   P 1 3 6 0 ,   D O I   1 0 . 1 0 8 6 / 2 2 5 4 6 9 ;   H s u e h   P . ,   2 0 0 9 ,   P   N A A C L   H L T   2 0 0 9   W O R ,   P 2 7 ,   D O I   1 0 . 3 1 1 5 / 1 5 6 4 1 3 1 . 1 5 6 4 1 3 7 ;   I r i b a r r e n   J L ,   2 0 0 9 ,   P H Y S   R E V   L E T T ,   V 1 0 3 ,   D O I   1 0 . 1 1 0 3 / P h y s R e v L e t t . 1 0 3 . 0 3 8 7 0 2 ;   K a r s a i   M ,   2 0 1 1 ,   P H Y S   R E V   E ,   V 8 3 ,   D O I   1 0 . 1 1 0 3 / P h y s R e v E . 8 3 . 0 2 5 1 0 2 ;   K l e i n b e r g   J ,   2 0 0 5 ,   A N N   I E E E   S Y M P   F O U N D ,   P 1 3 2 ,   D O I   1 0 . 1 1 0 9 / S F C S . 2 0 0 5 . 6 3 ;   K l e i n b e r g   J M ,   2 0 0 0 ,   N A T U R E ,   V 4 0 6 ,   P 8 4 5 ,   D O I   1 0 . 1 0 3 8 / 3 5 0 2 2 6 4 3 ;   L e s k o v e c   J ,   2 0 0 7 ,   A C M   T   W E B ,   V 1 ,   D O I   1 0 . 1 1 4 5 / 1 2 3 2 7 2 2 . 1 2 3 2 7 2 7 ;   L i b e n - N o w e l l   D ,   2 0 0 8 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 5 ,   P 4 6 3 3 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 7 0 8 4 7 1 1 0 5 ;   M a s k i n   E S ,   2 0 0 8 ,   A M   E C O N   R E V ,   V 9 8 ,   P 5 6 7 ,   D O I   1 0 . 1 2 5 7 / a e r . 9 8 . 1 . 5 6 7 ;   M i l g r a m   S . ,   1 9 6 7 ,   P S Y C H O L   T O D A Y ,   V 2 ,   P 6 0 ,   D O I   D O I   1 0 . 1 1 4 5 / 3 3 5 3 0 5 . 3 3 5 3 2 5 ;   N o w a k   S ,   2 0 1 0 ,   P   I N T   C   M U L T   I N F   R E T ,   P 5 5 7 ,   D O I   1 0 . 1 1 4 5 / 1 7 4 3 3 8 4 . 1 7 4 3 4 7 8 ;   O n n e l a   J P ,   2 0 1 0 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 7 ,   P 1 8 3 7 5 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 9 1 4 5 7 2 1 0 7 ;   P i c k a r d   G ,   2 0 1 1 ,   S C I E N C E ,   V 3 3 4 ,   P 5 0 9 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 2 0 5 8 6 9 ;   Q u i n n   A . J . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 1 4 0 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 9 1 4 8 ;   R o s v a l l   M ,   2 0 0 5 ,   P H Y S   R E V   E ,   V 7 2 ,   D O I   1 0 . 1 1 0 3 / P h y s R e v E . 7 2 . 0 4 6 1 1 7 ;   S h a p l e y   L ,   1 9 5 3 ,   A N N   M A T H   S T U D I E S ,   V I I ;   S m i t h   J . ,   2 0 1 0 ,   I E E E   M U L T I M E D I A ,   V 1 7 ,   P 2 ;   S t a r b i r d   K ,   2 0 1 0 ,   P   7   I N T   I S C R A M   C   S E A ,   V 1 ;   S t a r b i r d   K . ,   2 0 1 2 ,   P   A C M   2 0 1 2   C   C O M P   S U ,   P 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 1 4 5 2 0 4 . 2 1 4 5 2 1 2 ;   T a n g   J C ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 7 8 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 1 ;   V e t s i k a s   I ,   2 0 0 7 ,   6   I N T   J O I N T   C   A U T   A G ,   P 7 0 2 ;   V i e w e g   S ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 1 0 7 9 ;   W a t t s   D J ,   2 0 0 2 ,   S C I E N C E ,   V 2 9 6 ,   P 1 3 0 2 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 0 7 0 1 2 0 ;   W a t t s   D J ,   2 0 0 7 ,   J   C O N S U M   R E S ,   V 3 4 ,   P 4 4 1 ,   D O I   1 0 . 1 0 8 6 / 5 1 8 5 2 7 ;   W e l i n d e r   P ,   2 0 1 0 ,   N E U R   I N F   P R O C   S Y S T   C ,   V 6 	 4 0 	 3 	 3 	 P U B L I C   L I B R A R Y   S C I E N C E 	 S A N   F R A N C I S C O 	 1 1 6 0   B A T T E R Y   S T R E E T ,   S T E   1 0 0 ,   S A N   F R A N C I S C O ,   C A   9 4 1 1 1   U S A 	 1 9 3 2 - 6 2 0 3 	 	 	 P L O S   O N E 	 P L o S   O n e 	 O C T   1 0 	 2 0 1 2 	 7 	 1 0 	 	 	 	 	 	 	 e 4 5 9 2 4 	 1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 4 5 9 2 4 	 	 7 	 M u l t i d i s c i p l i n a r y   S c i e n c e s 	 S c i e n c e   &   T e c h n o l o g y   -   O t h e r   T o p i c s 	 0 5 4 Z U 	 W O S : 0 0 0 3 1 2 3 8 5 2 0 0 0 1 0 	 2 3 0 7 1 5 3 0 	 
 J 	 M c D u f f ,   D ;   E l   K a l i o u b y ,   R ;   P i c a r d ,   R W 	 	 	 	 M c D u f f ,   D a n i e l ;   E l   K a l i o u b y ,   R a n a ;   P i c a r d ,   R o s a l i n d   W . 	 	 	 C r o w d s o u r c i n g   F a c i a l   R e s p o n s e s   t o   O n l i n e   V i d e o s 	 I E E E   T R A N S A C T I O N S   O N   A F F E C T I V E   C O M P U T I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   f a c i a l   e x p r e s s i o n s ;   n o n v e r b a l   b e h a v i o r ;   a d v e r t i s i n g ;   m a r k e t   r e s e a r c h 	 R E C O G N I T I O N ;   C O M M E R C I A L S ;   E M O T I O N 	 W e   p r e s e n t   r e s u l t s   v a l i d a t i n g   a   n o v e l   f r a m e w o r k   f o r   c o l l e c t i n g   a n d   a n a l y z i n g   f a c i a l   r e s p o n s e s   t o   m e d i a   c o n t e n t   o v e r   t h e   I n t e r n e t .   T h i s   s y s t e m   a l l o w e d   3 , 2 6 8   t r a c k a b l e   f a c e   v i d e o s   t o   b e   c o l l e c t e d   a n d   a n a l y z e d   i n   u n d e r   t w o   m o n t h s .   W e   c h a r a c t e r i z e   t h e   d a t a   a n d   p r e s e n t   a n a l y s i s   o f   t h e   s m i l e   r e s p o n s e s   o f   v i e w e r s   t o   t h r e e   c o m m e r c i a l s .   W e   c o m p a r e   s t a t i s t i c s   f r o m   t h i s   c o r p u s   t o   t h o s e   f r o m   t h e   C o h n - K a n a d e +   ( C K + )   a n d   M M I   d a t a b a s e s   a n d   s h o w   t h a t   d i s t r i b u t i o n s   o f   p o s i t i o n ,   s c a l e ,   p o s e ,   m o v e m e n t ,   a n d   l u m i n a n c e   o f   t h e   f a c i a l   r e g i o n   a r e   s i g n i f i c a n t l y   d i f f e r e n t   f r o m   t h o s e   r e p r e s e n t e d   i n   t h e s e   t r a d i t i o n a l l y   u s e d   d a t a s e t s .   N e x t ,   w e   a n a l y z e   t h e   i n t e n s i t y   a n d   d y n a m i c s   o f   s m i l e   r e s p o n s e s ,   a n d   s h o w   t h a t   t h e r e   a r e   s i g n i f i c a n t l y   d i f f e r e n t   f a c i a l   r e s p o n s e s   f r o m   s u b g r o u p s   w h o   r e p o r t   l i k i n g   t h e   c o m m e r c i a l s   c o m p a r e d   t o   t h o s e   t h a t   r e p o r t   n o t   l i k i n g   t h e   c o m m e r c i a l s .   S i m i l a r l y ,   w e   u n v e i l   s i g n i f i c a n t   d i f f e r e n c e s   b e t w e e n   g r o u p s   w h o   w e r e   p r e v i o u s l y   f a m i l i a r   w i t h   a   c o m m e r c i a l   a n d   t h o s e   t h a t   w e r e   n o t   a n d   p r o p o s e   a   l i n k   t o   v i r a l i t y .   F i n a l l y ,   w e   p r e s e n t   r e l a t i o n s h i p s   b e t w e e n   h e a d   m o v e m e n t   a n d   f a c i a l   b e h a v i o r   t h a t   w e r e   o b s e r v e d   w i t h i n   t h e   d a t a .   T h e   f r a m e w o r k ,   d a t a   c o l l e c t e d ,   a n d   a n a l y s i s   d e m o n s t r a t e   a n   e c o l o g i c a l l y   v a l i d   m e t h o d   f o r   u n o b t r u s i v e   e v a l u a t i o n   o f   f a c i a l   r e s p o n s e s   t o   m e d i a   c o n t e n t   t h a t   i s   r o b u s t   t o   c h a l l e n g i n g   r e a l - w o r l d   c o n d i t i o n s   a n d   r e q u i r e s   n o   e x p l i c i t   r e c r u i t m e n t   o r   c o m p e n s a t i o n   o f   p a r t i c i p a n t s . 	 [ M c D u f f ,   D a n i e l ;   E l   K a l i o u b y ,   R a n a ;   P i c a r d ,   R o s a l i n d   W . ]   M I T ,   A f f e c t   C o m p   G r p ,   M e d i a   L a b ,   C a m b r i d g e ,   M A   0 2 1 3 9   U S A 	 M c D u f f ,   D   ( r e p r i n t   a u t h o r ) ,   M I T ,   A f f e c t   C o m p   G r p ,   M e d i a   L a b ,   E - 1 4   3 7 4 A , 7 5   A m h e r s t   S t ,   C a m b r i d g e ,   M A   0 2 1 3 9   U S A . 	 d j m c d u f f @ m e d i a . m i t . e d u ;   k a l i o u b y @ m e d i a . m i t . e d u ;   p i c a r d @ m e d i a . m i t . e d u 	 	 	 P r o c t e r   a n d   G a m b l e ;   M e d i a   L a b   T h i n g s   T h a t   T h i n k   C o n s o r t i u m 	 R i c h a r d   S a d o w s k y ,   O l i v e r   W i l d e r - S m i t h ,   Z h i h o n g   Z e n g ,   J a y   T u r c o t ,   a n d   A f f e c t i v a   p r o v i d e d   a c c e s s   t o   a n d   s u p p o r t   w i t h   t h e   c r o w d s o u r c i n g   p l a t f o r m .   B r i a n   S t a a t s   p r o v i d e d   f r o n t   e n d   d e s i g n   f o r   t h e   s i t e .   J o n   B r u n e r   a n d   F o r b e s   p r o m o t e d   t h e   w o r k   o n   t h e i r   f r o n t   p a g e   a n d   b l o g .   G o o g l e   p r o v i d e d   u s e   o f   t h e i r   f a c i a l   f e a t u r e   t r a c k e r .   P r o c t e r   a n d   G a m b l e   p r o v i d e d   f u n d i n g   s u p p o r t   f o r   D a n i e l   M c D u f f .   T h i s   w o r k   w a s   f u n d e d   i n   p a r t   b y   t h e   M e d i a   L a b   T h i n g s   T h a t   T h i n k   C o n s o r t i u m . 	 A m b a d a r   Z ,   2 0 0 9 ,   J   N O N V E R B A L   B E H A V ,   V 3 3 ,   P 1 7 ,   D O I   1 0 . 1 0 0 7 / s 1 0 9 1 9 - 0 0 8 - 0 0 5 9 - 5 ;   A m b l e r   T ,   1 9 9 9 ,   J   A D V E R T I S I N G   R E S ,   V 3 9 ,   P 2 5 ;   B a r t l e t t   M .   S . ,   2 0 0 6 ,   J o u r n a l   o f   M u l t i m e d i a ,   V 1 ,   D O I   1 0 . 4 3 0 4 / j m m . 1 . 6 . 2 2 - 3 5 ;   B a r t l e t t   M .   S . ,   2 0 0 3 ,   P   C   C O M P   V I S   P A T T   R E ,   V 5 ,   P 5 3 ;   B A T R A   R ,   1 9 8 6 ,   J   C O N S U M   R E S ,   V 1 3 ,   P 2 3 4 ,   D O I   1 0 . 1 0 8 6 / 2 0 9 0 6 3 ;   B e r g e r   J ,   2 0 1 2 ,   J   M A R K E T I N G   R E S ,   V 4 9 ,   P 1 9 2 ;   B i e l   A . ,   1 9 9 0 ,   A D M A P ,   V 2 6 ,   P 2 1 ;   C o h e n   I ,   2 0 0 3 ,   C O M P U T   V I S   I M A G E   U N D ,   V 9 1 ,   P 1 6 0 ,   D O I   1 0 . 1 0 1 6 / S 1 0 7 7 - 3 1 4 2 ( 0 3 ) 0 0 0 8 1 - X ;   C o h n   J F ,   2 0 0 4 ,   I E E E   S Y S   M A N   C Y B E R N ,   P 6 1 0 ;   D o u g l a s - C o w i e   E ,   2 0 0 7 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 7 3 8 ,   P 4 8 8 ;   E K M A N   P ,   1 9 8 0 ,   J   P E R S   S O C   P S Y C H O L ,   V 3 9 ,   P 1 1 2 5 ,   D O I   1 0 . 1 0 3 7 / h 0 0 7 7 7 2 2 ;   E k m a n   P . ,   1 9 7 7 ,   F A C I A L   A C T I O N   C O D I N G ;   F R I D L U N D   A J ,   1 9 9 1 ,   J   P E R S   S O C   P S Y C H O L ,   V 6 0 ,   P 2 2 9 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 6 0 . 2 . 2 2 9 ;   G u n e s   H a t i c e ,   2 0 0 8 ,   A f f e c t i v e   C o m p u t i n g .   F o c u s   o n   E m o t i o n   E x p r e s s i o n ,   S y n t h e s i s   a n d   R e c o g n i t i o n ;   H a l e y   R . ,   1 9 9 0 ,   P   7   A N N   A R F   C O P   R E S ;   H a z l e t t   R L ,   1 9 9 9 ,   J   A D V E R T I S I N G   R E S ,   V 3 9 ,   P 7 ;   H o q u e   M . E . ,   2 0 1 1 ,   P   I E E E   I N T   C   A U T   F A C ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   P O W E R ;   J o h o   H . ,   2 0 1 1 ,   M U L T I M E D   T O O L S   A P P L ,   P 1 ;   L i e b e r m a n   M D ,   2 0 0 7 ,   P S Y C H O L   S C I ,   V 1 8 ,   P 4 2 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 2 8 0 . 2 0 0 7 . 0 1 9 1 6 . x ;   L i t t l e w o r t   G . ,   2 0 0 4 ,   P   I E E E   C   C O M P   V I S   P A ;   L u c e y   P . ,   2 0 1 0 ,   P   I E E E   C   C O M P   V I S   P A ,   P 9 4 ;   L u c e y   P ,   2 0 1 1 ,   P r o c e e d i n g s   2 0 1 1   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   A u t o m a t i c   F a c e   &   G e s t u r e   R e c o g n i t i o n   ( F G   2 0 1 1 ) ,   D O I   1 0 . 1 1 0 9 / F G . 2 0 1 1 . 5 7 7 1 4 6 2 ;   M c D u f f   D . ,   2 0 1 1 ,   P   1 3   I N T   C   M U L T   I N T ;   M c D u f f   D . ,   2 0 1 1 ,   P   I E E E   C   C O M P   V I S   P A ,   P 1 7 ;   M c K e o w n   G ,   2 0 1 0 ,   I E E E   I N T   C O N   M U L T I ,   P 1 0 7 9 ,   D O I   1 0 . 1 1 0 9 / I C M E . 2 0 1 0 . 5 5 8 3 0 0 6 ;   M e h t a   A ,   2 0 0 6 ,   J   A D V E R T I S I N G   R E S ,   V 4 6 ,   P 4 9 ,   D O I   1 0 . 2 5 0 1 / S 0 0 2 1 8 4 9 9 0 6 0 6 0 0 6 5 ;   M i c h e l   P . ,   2 0 0 3 ,   P   5   I N T   C   M U L T   I N T ,   P 2 5 8 ;   M o r r i s   R . ,   2 0 1 1 ,   P   A N N   C   H U M   F A C T   C O M ;   O j a l a   T ,   2 0 0 2 ,   I E E E   T   P A T T E R N   A N A L ,   V 2 4 ,   P 9 7 1 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 0 2 . 1 0 1 7 6 2 3 ;   P a n t i c   M . ,   2 0 0 5 ,   P   I E E E   I N T   C   M U L T   E X ,   P 5 ;   P o e l s   K ,   2 0 0 6 ,   J   A D V E R T I S I N G   R E S ,   V 4 6 ,   P 1 8 ,   D O I   1 0 . 2 5 0 1 / S 0 0 2 1 8 4 9 9 0 6 0 6 0 0 4 1 ;   Q u i n n   A . J . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 1 4 0 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 9 1 4 8 ;   S c h w a r z   N . ,   1 9 9 9 ,   W E L L   B E I N G   F D N   H E D O N ,   P 6 1 ;   S m i t   E G ,   2 0 0 6 ,   J   A D V E R T I S I N G   R E S ,   V 4 6 ,   P 7 3 ,   D O I   1 0 . 2 5 0 1 / S 0 0 2 1 8 4 9 9 0 6 0 6 0 0 8 9 ;   S v a n t e s s o n   D .   J .   B . ,   2 0 0 4 ,   J o h n   M a r s h a l l   J o u r n a l   o f   C o m p u t e r   &   I n f o r m a t i o n   L a w ,   V 2 3 ;   T a y l o r   G . W . ,   2 0 1 1 ,   P   I E E E   C   C O M P   V I S   P A ;   T e i x e i r a   T . ,   2 0 1 0 ,   J   M A R K E T I N G   R E S ,   V 4 9 ,   P 1 4 4 ;   T e i x e i r a   T S ,   2 0 1 0 ,   M A R K E T   S C I ,   V 2 9 ,   P 7 8 3 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 1 0 0 . 0 5 6 7 ;   W h i t e h i l l   J ,   2 0 0 9 ,   I E E E   T   P A T T E R N   A N A L ,   V 3 1 ,   P 2 1 0 6 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 0 9 . 4 2 ;   Z e n g   Z H ,   2 0 0 9 ,   I E E E   T   P A T T E R N   A N A L ,   V 3 1 ,   P 3 9 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 0 8 . 5 2 	 4 1 	 6 	 6 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 1 9 4 9 - 3 0 4 5 	 	 	 I E E E   T   A F F E C T   C O M P U T 	 I E E E   T r a n s .   A f f e c t .   C o m p u t . 	 O C T - D E C 	 2 0 1 2 	 3 	 4 	 	 	 	 	 4 5 6 	 4 6 8 	 	 1 0 . 1 1 0 9 / T - A F F C . 2 0 1 2 . 1 9 	 	 1 3 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   C y b e r n e t i c s 	 C o m p u t e r   S c i e n c e 	 2 0 7 Y X 	 W O S : 0 0 0 3 2 3 6 4 2 0 0 0 0 0 9 	 	 
 J 	 S c h i l l e r ,   T W ;   E r n s t ,   M D 	 	 	 	 S c h i l l e r ,   T o d d   W . ;   E r n s t ,   M i c h a e l   D . 	 	 	 R e d u c i n g   t h e   B a r r i e r s   t o   W r i t i n g   V e r i f i e d   S p e c i f i c a t i o n s 	 A C M   S I G P L A N   N O T I C E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 p r o g r a m   v e r i f i c a t i o n ;   h u m a n   f a c t o r s ;   c r o w d - s o u r c i n g 	 E X T E N D E D   S T A T I C   C H E C K I N G ;   I N V A R I A N T S 	 F o r m a l l y   v e r i f y i n g   a   p r o g r a m   r e q u i r e s   s i g n i f i c a n t   s k i l l   n o t   o n l y   b e c a u s e   o f   c o m p l e x   i n t e r a c t i o n s   b e t w e e n   p r o g r a m   s u b - c o m p o n e n t s ,   b u t   a l s o   b e c a u s e   o f   d e f i c i e n c i e s   i n   c u r r e n t   v e r i f i c a t i o n   i n t e r f a c e s .   T h e s e   s k i l l   b a r r i e r s   m a k e   v e r i f i c a t i o n   e c o n o m i c a l l y   u n a t t r a c t i v e   b y   p r e v e n t i n g   t h e   u s e   o f   l e s s - s k i l l e d   ( l e s s - e x p e n s i v e )   w o r k e r s   a n d   d i s t r i b u t e d   w o r k f l o w s   ( i . e . ,   c r o w d s o u r c i n g ) .   T h i s   p a p e r   p r e s e n t s   V e r i W e b ,   a   w e b - b a s e d   I D E   f o r   v e r i f i c a t i o n   t h a t   d e c o m p o s e s   t h e   t a s k   o f   w r i t i n g   v e r i f i a b l e   s p e c i f i c a t i o n s   i n t o   m a n a g e a b l e   s u b p r o b l e m s .   T o   o v e r c o m e   t h e   i n f o r m a t i o n   l o s s   c a u s e d   b y   t a s k   d e c o m p o s i t i o n ,   a n d   t o   r e d u c e   t h e   s k i l l   r e q u i r e d   t o   v e r i f y   a   p r o g r a m ,   V e r i W e b   i n c o r p o r a t e s   s e v e r a l   i n n o v a t i v e   u s e r   i n t e r f a c e   f e a t u r e s :   d r a g   a n d   d r o p   c o n d i t i o n   c o n s t r u c t i o n ,   c o n c r e t e   c o u n t e r e x a m p l e s ,   a n d   s p e c i f i c a t i o n   i n l i n i n g .   T o   e v a l u a t e   V e r i W e b ,   w e   p e r f o r m e d   t h r e e   e x p e r i m e n t s .   F i r s t ,   w e   s h o w   t h a t   V e r i W e b   l o w e r s   t h e   t i m e   a n d   m o n e t a r y   c o s t   o f   v e r i f i c a t i o n   b y   p e r f o r m i n g   a   c o m p a r a t i v e   s t u d y   o f   V e r i W e b   a n d   a   t r a d i t i o n a l   t o o l   u s i n g   1 4   p a i d   s u b j e c t s   c o n t r a c t e d   h o u r l y   f r o m   E x h e d r a   S o l u t i o n ' s   v W o r k e r   o n l i n e   m a r k e t p l a c e .   S e c o n d ,   w e   d e m o n s t r a t e   t h e   d e a r t h   a n d   i n s u f f i c i e n c y   o f   c u r r e n t   a d - h o c   l a b o r   m a r k e t p l a c e s   f o r   v e r i f i c a t i o n   b y   r e c r u i t i n g   w o r k e r s   f r o m   A m a z o n ' s   M e c h a n i c a l   T u r k   t o   p e r f o r m   v e r i f i c a t i o n   w i t h   V e r i W e b .   F i n a l l y ,   w e   c h a r a c t e r i z e   t h e   m i n i m a l   c o m m u n i c a t i o n   o v e r h e a d   i n c u r r e d   w h e n   V e r i W e b   i s   u s e d   c o l l a b o r a t i v e l y   b y   o b s e r v i n g   t w o   p a i r s   o f   d e v e l o p e r s   e a c h   u s e   t h e   t o o l   s i m u l t a n e o u s l y   t o   v e r i f y   a   s i n g l e   p r o g r a m . 	 [ S c h i l l e r ,   T o d d   W . ;   E r n s t ,   M i c h a e l   D . ]   U n i v   W a s h i n g t o n ,   S e a t t l e ,   W A   9 8 1 9 5   U S A 	 S c h i l l e r ,   T W   ( r e p r i n t   a u t h o r ) ,   U n i v   W a s h i n g t o n ,   S e a t t l e ,   W A   9 8 1 9 5   U S A . 	 t w s @ c s . w a s h i n g t o n . e d u ;   m e r n s t @ c s . w a s h i n g t o n . e d u 	 	 	 N a t i o n a l   S c i e n c e   F o u n d a t i o n   [ D G E - 0 7 1 8 1 2 4 ] ;   D A R P A   [ F A 8 7 5 0 - 1 1 - 2 - 0 2 2 1 ] 	 T h i s   m a t e r i a l   i s   b a s e d   u p o n   w o r k   s u p p o r t e d   b y   a   N a t i o n a l   S c i e n c e   F o u n d a t i o n   G r a d u a t e   R e s e a r c h   F e l l o w s h i p   u n d e r   G r a n t   N o .   D G E - 0 7 1 8 1 2 4   a n d   D A R P A   u n d e r   G r a n t   N o .   F A 8 7 5 0 - 1 1 - 2 - 0 2 2 1 . 	 B a r n e t t   M ,   2 0 0 6 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 1 1 1 ,   P 3 6 4 ;   B a r n e t t   M ,   2 0 0 9 ,   P R O C   I N T   C O N F   S O F T W ,   P 4 0 1 ,   D O I   1 0 . 1 1 0 9 / I C S E - C O M P A N I O N . 2 0 0 9 . 5 0 7 1 0 3 2 ;   B a r n e t t   M . ,   2 0 0 4 ,   C O N S T R U C T I O N   A N A L   S A ,   P 4 9 ;   B e r n s t e i n   M . S . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 3 1 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 7 8 ;   B u r d y   L . ,   2 0 0 5 ,   I n t e r n a t i o n a l   J o u r n a l   o n   S o f t w a r e   T o o l s   f o r   T e c h n o l o g y   T r a n s f e r ,   V 7 ,   D O I   1 0 . 1 0 0 7 / s 1 0 0 0 9 - 0 0 4 - 0 1 6 7 - 4 ;   C h e s s   B V ,   2 0 0 2 ,   P   I E E E   S   S E C U R   P R I V ,   P 1 6 0 ,   D O I   1 0 . 1 1 0 9 / S E C P R I . 2 0 0 2 . 1 0 0 4 3 6 9 ;   C o k   D . R . ,   2 0 0 4 ,   L N C S ,   V 3 3 6 2 ,   P 1 0 8 ;   D a i   P . ,   2 0 1 0 ,   A A A I   C   A R T   I N T ,   P 1 1 6 8 ;   d e   M o u r a   L ,   2 0 0 8 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 9 6 3 ,   P 3 3 7 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 7 8 8 0 0 - 3 _ 2 4 ;   D e t l e f s   D . ,   2 0 0 3 ,   H P L 2 0 0 3 1 4 8 ;   D e t l e f s   D .   L . ,   1 9 9 6 ,   P   1   W O R K S H   F O R M   M E T H ,   P 1 ;   D e t l e f s   D .   L . ,   1 9 9 8 ,   1 5 9   S R C   C O M P   S Y S T   R E ;   D i e t l   W ,   2 0 1 1 ,   2 0 1 1   3 3 R D   I N T E R N A T I O N A L   C O N F E R E N C E   O N   S O F T W A R E   E N G I N E E R I N G   ( I C S E ) ,   P 6 8 1 ,   D O I   1 0 . 1 1 4 5 / 1 9 8 5 7 9 3 . 1 9 8 5 8 8 9 ;   E r n s t   M D ,   2 0 0 7 ,   S C I   C O M P U T   P R O G R A M ,   V 6 9 ,   P 3 5 ,   D O I   1 0 . 1 0 1 6 / j . s c i c o . 2 0 0 7 . 0 1 . 0 1 5 ;   E r n s t   M D ,   2 0 0 1 ,   I E E E   T   S O F T W A R E   E N G ,   V 2 7 ,   P 9 9 ,   D O I   1 0 . 1 1 0 9 / 3 2 . 9 0 8 9 5 7 ;   F l a n a g a n   C ,   2 0 0 2 ,   A C M   S I G P L A N   N O T I C E S ,   V 3 7 ,   P 2 3 4 ,   D O I   1 0 . 1 1 4 5 / 5 4 3 5 5 2 . 5 1 2 5 5 8 ;   F l a n a g a n   C . ,   2 0 0 1 ,   L N C S ,   V 2 0 2 1 ,   P 5 0 0 ;   H o r t o n   J . J . ,   2 0 1 0 ,   P   1 1   A C M   C   E L   C O M M ,   P 2 0 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 0 7 3 4 2 . 1 8 0 7 3 7 6 ;   K i n i r y   J .   R . ,   2 0 0 6 ,   P   5   I N T   W O R K S H   S P E C ;   L e a v e n s   G .   T . ,   2 0 0 6 ,   A C M   S O F T W   E N G   N O T E S ,   V 3 1 ;   L e i n o   K .   R .   M . ,   2 0 1 0 ,   L N C S ,   V 6 3 5 5 ,   P 3 4 8 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 7 5 1 1 - 4 _ 2 0 ;   L e i n o   K .   R .   M . ,   1 9 9 8 ,   C C   9 8 ,   P 3 0 2 ;   L i t t l e   G . ,   2 0 0 9 ,   P   A C M   S I G K D D   W O R K S H ;   M a s o n   W ,   2 0 0 9 ,   P   A C M   S I G K D D   W O R K S H ,   P 7 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 6 0 0 1 5 0 . 1 6 0 0 1 7 5 ;   N e l s o n   G . ,   1 9 8 0 ,   T H E S I S   S T A N F O R D   U   P A ;   N i m m e r   J .   W . ,   2 0 0 2 ,   F S E ,   P 1 1 ;   P a p i   M .   M . ,   2 0 0 8 ,   I N T   S   S O F T W   T E S T   A N ,   P 2 0 1 ;   S c h i l l e r   T .   W . ,   2 0 1 0 ,   F O S E R   N O V ,   P 3 2 5 ;   S h e a r d   T . ,   2 0 1 0 ,   P   F S E   S D P   W O R K S H   F U T ,   P 3 4 3 ;   S t o l e e   K .   T . ,   2 0 1 0 ,   P   2 0 1 0   A C M   I E E E   I N T ;   T i l l m a n n   N . ,   2 0 1 1 ,   M S R T R 2 0 1 1 4 1 ;   U . S .   B u r e a u   o f   L a b o r   S t a t i s t i c s ,   2 0 1 0 ,   C O M P   S O F T W   E N G   A P P L ;   u T e s t ,   2 0 1 2 ,   S O F T W   T E S T ;   v W o r k e r . c o m ,   2 0 1 2 ,   M O R   C A P   A C C   A F F   G U A R ;   W e i   Y . ,   2 0 1 1 ,   P   2 0 1 1   I N T   C   S O F T W   E ;   W e i s s   M . ,   1 9 9 9 ,   D A T A   S T R U C T U R E S   A L G O 	 3 6 	 0 	 0 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 2   P E N N   P L A Z A ,   S T E   7 0 1 ,   N E W   Y O R K ,   N Y   1 0 1 2 1 - 0 7 0 1   U S A 	 0 3 6 2 - 1 3 4 0 	 	 	 A C M   S I G P L A N   N O T I C E S 	 A C M   S i g p l a n   N o t . 	 O C T 	 2 0 1 2 	 4 7 	 1 0 	 	 	 	 	 9 5 	 1 1 1 	 	 1 0 . 1 1 4 5 / 2 3 9 8 8 5 7 . 2 3 8 4 6 2 4 	 	 1 7 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 0 4 0 C E 	 W O S : 0 0 0 3 1 1 2 9 6 2 0 0 0 0 6 	 	 
 J 	 B a r o w y ,   D W ;   C u r t s i n g e r ,   C ;   B e r g e r ,   E D ;   M c G r e g o r ,   A 	 	 	 	 B a r o w y ,   D a n i e l   W . ;   C u r t s i n g e r ,   C h a r l i e ;   B e r g e r ,   E m e r y   D . ;   M c G r e g o r ,   A n d r e w 	 	 	 A U T O M A N :   A   P l a t f o r m   f o r   I n t e g r a t i n g   H u m a n - B a s e d   a n d   D i g i t a l   C o m p u t a t i o n 	 A C M   S I G P L A N   N O T I C E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 L a n g u a g e s ;   A l g o r i t h m s ;   H u m a n   F a c t o r s ;   C r o w d s o u r c i n g ;   P r o g r a m m i n g   L a n g u a g e s ;   Q u a l i t y   C o n t r o l 	 	 H u m a n s   c a n   p e r f o r m   m a n y   t a s k s   w i t h   e a s e   t h a t   r e m a i n   d i f f i c u l t   o r   i m p o s s i b l e   f o r   c o m p u t e r s .   C r o w d s o u r c i n g   p l a t f o r m s   l i k e   A m a z o n ' s   M e c h a n i c a l   T u r k   m a k e   i t   p o s s i b l e   t o   h a r n e s s   h u m a n - b a s e d   c o m p u t a t i o n a l   p o w e r   a t   a n   u n p r e c e d e n t e d   s c a l e .   H o w e v e r ,   t h e i r   u t i l i t y   a s   a   g e n e r a l - p u r p o s e   c o m p u t a t i o n a l   p l a t f o r m   r e m a i n s   l i m i t e d .   T h e   l a c k   o f   c o m p l e t e   a u t o m a t i o n   m a k e s   i t   d i f f i c u l t   t o   o r c h e s t r a t e   c o m p l e x   o r   i n t e r r e l a t e d   t a s k s .   S c h e d u l i n g   m o r e   h u m a n   w o r k e r s   t o   r e d u c e   l a t e n c y   c o s t s   r e a l   m o n e y ,   a n d   j o b s   m u s t   b e   m o n i t o r e d   a n d   r e s c h e d u l e d   w h e n   w o r k e r s   f a i l   t o   c o m p l e t e   t h e i r   t a s k s .   F u r t h e r m o r e ,   i t   i s   o f t e n   d i f f i c u l t   t o   p r e d i c t   t h e   l e n g t h   o f   t i m e   a n d   p a y m e n t   t h a t   s h o u l d   b e   b u d g e t e d   f o r   a   g i v e n   t a s k .   F i n a l l y ,   t h e   r e s u l t s   o f   h u m a n - b a s e d   c o m p u t a t i o n s   a r e   n o t   n e c e s s a r i l y   r e l i a b l e ,   b o t h   b e c a u s e   h u m a n   s k i l l s   a n d   a c c u r a c y   v a r y   w i d e l y ,   a n d   b e c a u s e   w o r k e r s   h a v e   a   f i n a n c i a l   i n c e n t i v e   t o   m i n i m i z e   t h e i r   e f f o r t .   T h i s   p a p e r   i n t r o d u c e s   A U T O M A N ,   t h e   f i r s t   f u l l y   a u t o m a t i c   c r o w d p r o g r a m m i n g   s y s t e m .   A U T O M A N   i n t e g r a t e s   h u m a n - b a s e d   c o m p u t a t i o n s   i n t o   a   s t a n d a r d   p r o g r a m m i n g   l a n g u a g e   a s   o r d i n a r y   f u n c t i o n   c a l l s ,   w h i c h   c a n   b e   i n t e r m i x e d   f r e e l y   w i t h   t r a d i t i o n a l   f u n c t i o n s .   T h i s   a b s t r a c t i o n   l e t s   A U T O M A N   p r o g r a m m e r s   f o c u s   o n   t h e i r   p r o g r a m m i n g   l o g i c .   A n   A U T O M A N   p r o g r a m   s p e c i f i e s   a   c o n f i d e n c e   l e v e l   f o r   t h e   o v e r a l l   c o m p u t a t i o n   a n d   a   b u d g e t .   T h e   A U T O M A N   r u n t i m e   s y s t e m   t h e n   t r a n s p a r e n t l y   m a n a g e s   a l l   d e t a i l s   n e c e s s a r y   f o r   s c h e d u l i n g ,   p r i c i n g ,   a n d   q u a l i t y   c o n t r o l .   A U T O M A N   a u t o m a t i c a l l y   s c h e d u l e s   h u m a n   t a s k s   f o r   e a c h   c o m p u t a t i o n   u n t i l   i t   a c h i e v e s   t h e   d e s i r e d   c o n f i d e n c e   l e v e l ;   m o n i t o r s ,   r e p r i c e s ,   a n d   r e s t a r t s   h u m a n   t a s k s   a s   n e c e s s a r y ;   a n d   m a x i m i z e s   p a r a l l e l i s m   a c r o s s   h u m a n   w o r k e r s   w h i l e   s t a y i n g   u n d e r   b u d g e t . 	 [ B a r o w y ,   D a n i e l   W . ;   C u r t s i n g e r ,   C h a r l i e ;   B e r g e r ,   E m e r y   D . ;   M c G r e g o r ,   A n d r e w ]   U n i v   M a s s a c h u s e t t s ,   D e p t   C o m p   S c i ,   A m h e r s t ,   M A   0 1 0 0 3   U S A 	 B a r o w y ,   D W   ( r e p r i n t   a u t h o r ) ,   U n i v   M a s s a c h u s e t t s ,   D e p t   C o m p   S c i ,   A m h e r s t ,   M A   0 1 0 0 3   U S A . 	 d b a r o w y @ c s . u m a s s . e d u ;   c h a r l i e @ c s . u m a s s . e d u ;   e m e r y @ c s . u m a s s . e d u ;   m c g r e g o r @ c s . u m a s s . e d u 	 	 	 N a t i o n a l   S c i e n c e   F o u n d a t i o n   [ C C F - 1 1 4 4 5 2 0 ,   C C F - 0 9 5 3 7 5 4 ] ;   D A R P A   [ N 1 0 A P 2 0 2 6 ] 	 T h i s   m a t e r i a l   i s   b a s e d   u p o n   w o r k   s u p p o r t e d   b y   t h e   N a t i o n a l   S c i e n c e   F o u n d a t i o n   u n d e r   G r a n t   N o .   C C F - 1 1 4 4 5 2 0   a n d   D A R P A   A w a r d   N 1 0 A P 2 0 2 6 .   T h e   f o u r t h   a u t h o r   i s   s u p p o r t e d   b y   t h e   N a t i o n a l   S c i e n c e   F o u n d a t i o n   u n d e r   G r a n t   N o .   C C F - 0 9 5 3 7 5 4 .   T h e   a u t h o r s   g r a t e f u l l y   a c k n o w l e d g e   M a r k   C o r n e r   f o r   h i s   s u p p o r t   f o r   t h i s   w o r k   a n d   i n i t i a l l y   p r o m p t i n g   u s   t o   e x p l o r e   t h e   a r e a   o f   c r o w d s o u r c i n g .   W e   a l s o   t h a n k   t h e   a n o n y m o u s   r e v i e w e r s   f o r   t h e i r   h e l p f u l   c o m m e n t s . 	 A h m a d   S . ,   2 0 1 1 ,   U I S T ,   P 5 3 ;   A n a g n o s t o p o u l o s   C .   N . ,   M E D I A L A B   L P R   D A T A B A S ;   B e r n s t e i n   M i c h a e l   S . ,   2 0 1 0 ,   U I S T ,   P 3 1 3 ;   C h a f i   H . ,   2 0 1 0 ,   O N W A R D ;   C o o p e r   S ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 7 5 6 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 9 3 0 4 ;   D a s G u p t a   A ,   2 0 1 1 ,   P R O B A B I L I T Y   S T A T   M A C ;   D e a n   J . ,   2 0 0 4 ,   O S D I ,   P 1 3 7 ;   D o u c e u r   J o h n   R . ,   2 0 0 1 ,   I P T P S   2 0 0 1 ,   P 2 5 1 ;   D o w   S . ,   2 0 1 1 ,   C H I ,   P 1 6 6 9 ;   D u e   S . ,   2 0 1 2 ,   I E E E   T   C I R C U I T S   S Y S T ;   F e l l e r   W ,   1 9 6 8 ,   I N T R O   P R O B A B I L I T Y   T H ,   V 1 ;   F o g u s   M . ,   2 0 0 9 ,   B A Y S I C K   D S L   S C A L A   I M ;   F r a n k l i n   M . J . ,   2 0 1 1 ,   S I G M O D ,   P 6 1 ;   G e n t i l e   M . ,   2 0 1 2 ,   U I   W I D G E T   I M A G E S   C O M ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   V 1 4 ,   P 1 7 6 ;   I p e i r o t i s   P .   G . ,   2 0 1 0 ,   H C O M P ,   P 6 4 ;   I p e i r o t i s   P .   G . ,   2 0 1 0 ,   C E D E R 1 0 0 1   N Y U ;   K i t t u r   A . ,   2 0 1 1 ,   C M U H C I I 1 1 1 0 0   S C H   C O M ;   K u l k a r n i   A . P . ,   2 0 1 1 ,   C H I ,   P 2 0 5 3 ;   L a n d   K ,   2 0 0 8 ,   M O N   N O T   R   A S T R O N   S O C ,   V 3 8 8 ,   P 1 6 8 6 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 9 6 6 . 2 0 0 8 . 1 3 4 9 0 . x ;   L i t t l e   G . ,   2 0 1 0 ,   U I S T ,   P 5 7 ;   M a r g e   M ,   2 0 1 0 ,   I N T   C O N F   A C O U S T   S P E E ,   P 5 2 7 0 ,   D O I   1 0 . 1 1 0 9 / I C A S S P . 2 0 1 0 . 5 4 9 4 9 7 9 ;   M c C a l l u m   A . ,   2 0 0 9 ,   N I P S ;   O d e r s k y   M ,   2 0 0 5 ,   A C M   S I G P L A N   N O T I C E S ,   V 4 0 ,   P 4 1 ,   D O I   1 0 . 1 1 4 5 / 1 1 0 3 8 4 5 . 1 0 9 4 8 1 5 ;   O l e s o n   D . ,   2 0 1 1 ,   H C O M P ,   P 4 3 ;   P a r i k h   D . ,   2 0 1 1 ,   N I P S   C S S ;   S h a h a f   D . ,   2 0 0 7 ,   C O M M O N S E N S E ;   T a m i r   D . ,   2 0 1 0 ,   M E C H   T U R K   N O W   4 0   9 2 ;   v o n   A h n   L ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 1 ,   P 1 4 6 5 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 0 3 7 9 ;   Y a n   T . ,   2 0 1 0 ,   M O B I S Y S   1 0 ,   P 7 7 	 3 0 	 1 	 1 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 2   P E N N   P L A Z A ,   S T E   7 0 1 ,   N E W   Y O R K ,   N Y   1 0 1 2 1 - 0 7 0 1   U S A 	 0 3 6 2 - 1 3 4 0 	 	 	 A C M   S I G P L A N   N O T I C E S 	 A C M   S i g p l a n   N o t . 	 O C T 	 2 0 1 2 	 4 7 	 1 0 	 	 	 	 	 6 3 9 	 6 5 4 	 	 1 0 . 1 1 4 5 / 2 3 9 8 8 5 7 . 2 3 8 4 6 6 3 	 	 1 6 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 0 4 0 C E 	 W O S : 0 0 0 3 1 1 2 9 6 2 0 0 0 3 7 	 	 
 J 	 B a z i l i a n ,   M ;   R i c e ,   A ;   R o t i c h ,   J ;   H o w e l l s ,   M ;   D e C a r o l i s ,   J ;   M a c m i l l a n ,   S ;   B r o o k s ,   C ;   B a u e r ,   F ;   L i e b r e i c h ,   M 	 	 	 	 B a z i l i a n ,   M o r g a n ;   R i c e ,   A n d r e w ;   R o t i c h ,   J u l i a n a ;   H o w e l l s ,   M a r k ;   D e C a r o l i s ,   J o s e p h ;   M a c m i l l a n ,   S t u a r t ;   B r o o k s ,   C a m e r o n ;   B a u e r ,   F l o r i a n ;   L i e b r e i c h ,   M i c h a e l 	 	 	 O p e n   s o u r c e   s o f t w a r e   a n d   c r o w d s o u r c i n g   f o r   e n e r g y   a n a l y s i s 	 E N E R G Y   P O L I C Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 E n e r g y   m o d e l l i n g ;   O p e n   s o u r c e   d a t a ;   C r o w d s o u r c e d   d a t a 	 	 I n f o r m e d   e n e r g y   d e c i s i o n   m a k i n g   r e q u i r e s   e f f e c t i v e   s o f t w a r e ,   h i g h - q u a l i t y   i n p u t   d a t a ,   a n d   a   s u i t a b l y   t r a i n e d   u s e r   c o m m u n i t y .   D e v e l o p i n g   t h e s e   r e s o u r c e s   c a n   b e   e x p e n s i v e   a n d   t i m e   c o n s u m i n g .   E v e n   w h e n   d a t a   a n d   t o o l s   a r e   i n t e n d e d   f o r   p u b l i c   r e - u s e   t h e y   o f t e n   c o m e   w i t h   t e c h n i c a l ,   l e g a l ,   e c o n o m i c   a n d   s o c i a l   b a r r i e r s   t h a t   m a k e   t h e m   d i f f i c u l t   t o   a d o p t ,   a d a p t   a n d   c o m b i n e   f o r   u s e   i n   n e w   c o n t e x t s .   W e   f o c u s   o n   t h e   p r o m i s e   o f   o p e n ,   p u b l i c a l l y   a c c e s s i b l e   s o f t w a r e   a n d   d a t a   a s   w e l l   a s   c r o w d s o u r c i n g   t e c h n i q u e s   t o   d e v e l o p   r o b u s t   e n e r g y   a n a l y s i s   t o o l s   t h a t   c a n   d e l i v e r   c r u c i a l ,   p o l i c y - r e l e v a n t   i n s i g h t ,   p a r t i c u l a r l y   i n   d e v e l o p i n g   c o u n t r i e s ,   w h e r e   p l a n n i n g   r e s o u r c e s   a r e   h i g h l y   c o n s t r a i n e d - a n d   t h e   n e e d   t o   a d a p t   t h e s e   r e s o u r c e s   a n d   m e t h o d s   t o   t h e   l o c a l   c o n t e x t   i s   h i g h .   W e   s u r v e y   e x i s t i n g   r e s e a r c h ,   w h i c h   a r g u e s   t h a t   t h e s e   t e c h n i q u e s   c a n   p r o d u c e   h i g h - q u a l i t y   r e s u l t s ,   a n d   a l s o   e x p l o r e   t h e   p o t e n t i a l   r o l e   t h a t   l i n k e d ,   o p e n   d a t a   c a n   p l a y   i n   b o t h   s u p p o r t i n g   t h e   m o d e l l i n g   p r o c e s s   a n d   i n   e n h a n c i n g   p u b l i c   e n g a g e m e n t   w i t h   e n e r g y   i s s u e s .   ( C )   2 0 1 2   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ B a z i l i a n ,   M o r g a n ]   U n i t e d   N a t i o n s   I n d   D e v   O r g ,   A - 1 4 0 0   V i e n n a ,   A u s t r i a ;   [ B a z i l i a n ,   M o r g a n ]   I n t   I n s t   A p p l   S y s t   A n a l ,   A - 2 3 6 1   L a x e n b u r g ,   A u s t r i a ;   [ R i c e ,   A n d r e w ]   U n i v   C a m b r i d g e ,   C o m p   L a b ,   C a m b r i d g e   C B 3   0 F D ,   E n g l a n d ;   [ R o t i c h ,   J u l i a n a ]   U s h a h i d i ,   N a i r o b i ,   K e n y a ;   [ H o w e l l s ,   M a r k ]   R o y a l   S w e d i s h   I n s t   T e c h n o l ,   S t o c k h o l m ,   S w e d e n ;   [ D e C a r o l i s ,   J o s e p h ]   N   C a r o l i n a   S t a t e   U n i v ,   R a l e i g h ,   N C   2 7 6 9 5   U S A ;   [ M a c m i l l a n ,   S t u a r t ]   S t a n f o r d   U n i v ,   S t a n f o r d ,   C A   9 4 3 0 5   U S A ;   [ B a u e r ,   F l o r i a n ]   R e n e w a b l e   E n e r g y   &   E n e r g y   E f f i c i e n c y   P a r t n e r s h i p ,   V i e n n a ,   A u s t r i a ;   [ L i e b r e i c h ,   M i c h a e l ]   B l o o m b e r g   N e w   E n e r g y   F i n a n c e ,   L o n d o n ,   E n g l a n d 	 B a z i l i a n ,   M   ( r e p r i n t   a u t h o r ) ,   U n i t e d   N a t i o n s   I n d   D e v   O r g ,   W a g r a m e r s t r   5 ,   A - 1 4 0 0   V i e n n a ,   A u s t r i a . 	 m . b a z i l i a n @ u n i d o . o r g 	 D e C a r o l i s ,   J o s e p h / F - 4 8 6 9 - 2 0 1 3 	 	 	 	 A j i l a   S A ,   2 0 0 7 ,   J   S Y S T   S O F T W A R E ,   V 8 0 ,   P 1 5 1 7 ,   D O I   1 0 . 1 0 1 6 / j . j s s . 2 0 0 7 . 0 1 . 0 1 1 ;   A l b o r s   J ,   2 0 0 8 ,   I N T   J   I N F O R M   M A N A G E ,   V 2 8 ,   P 1 9 4 ,   D O I   1 0 . 1 0 1 6 / j . i j i n f o m g t . 2 0 0 7 . 0 9 . 0 0 6 ;   A l o n s o   J . M . ,   2 0 1 1 ,   O P E N   G O V T   D A T A   F E A S I ;   B a u e r   F l o r i a n ,   2 0 1 2 ,   L I N K E D   O P E N   D A T A   E S S ;   B a z i l i a n   M ,   2 0 1 0 ,   E N E R G   P O L I C Y ,   V 3 8 ,   P 5 4 0 9 ,   D O I   1 0 . 1 0 1 6 / j . e n p o l . 2 0 1 0 . 0 6 . 0 0 7 ;   B a z i l i a n   M . ,   2 0 1 1 ,   S M A R T   J U S T   G R I D S ;   B e r n h o l z   L . ,   2 0 1 0 ,   D I S R U P T I N G   P H I L A N T H R ;   B i t z e r   J . ,   2 0 0 4 ,   E C   S Y S T E M S ,   V 2 8 ,   P 3 6 9 ,   D O I   D O I   1 0 . 1 0 1 6 / J . E C O S Y S . 2 0 0 5 . 0 1 . 0 0 1 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B r e w - H a m m o n d   A ,   2 0 0 9 ,   C U R R   O P I N   S U S T ,   V 1 ,   P 8 3 ,   D O I   1 0 . 1 0 1 6 / j . c o s u s t . 2 0 0 9 . 0 7 . 0 1 4 ;   B u c h e l e r   T ,   2 0 1 1 ,   P R O C E D I A   C O M P U T   S C I ,   V 7 ,   P 3 2 7 ,   D O I   1 0 . 1 0 1 6 / j . p r o c s . 2 0 1 1 . 0 9 . 0 1 4 ;   C a r m i c h a e l   P ,   2 0 0 2 ,   I N T   J   E D U C   D E V ,   V 2 2 ,   P 4 7 ,   D O I   1 0 . 1 0 1 6 / S 0 7 3 8 - 0 5 9 3 ( 0 0 ) 0 0 0 7 7 - 8 ;   D a l a l   S ,   2 0 1 1 ,   T E C H N O L   F O R E C A S T   S O C ,   V 7 8 ,   P 1 4 2 6 ,   D O I   1 0 . 1 0 1 6 / j . t e c h f o r e . 2 0 1 1 . 0 3 . 0 2 1 ;   D e C a r o l i s   J . ,   2 0 1 0 ,   I N T   E N   W O R K S H   2 0 1 0   S ;   D i F r a n z o   D . ,   2 0 1 1 ,   W E B   I S   M Y   B A C K   E N D   C ,   P 2 0 5 ;   E b n e r   W ,   2 0 0 9 ,   R & D   M A N A G E ,   V 3 9 ,   P 3 4 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 9 . 0 0 5 6 4 . x ;   E s t e l l e s - A r o l a s   E ,   2 0 1 2 ,   J   I N F   S C I ,   V 3 8 ,   P 1 8 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 2 4 3 7 6 3 8 ;   G a l l e g o   M D ,   2 0 0 8 ,   T E C H N O L   F O R E C A S T   S O C ,   V 7 5 ,   P 6 7 2 ,   D O I   1 0 . 1 0 1 6 / j . t e c h f o r e . 2 0 0 7 . 0 2 . 0 0 2 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   P 1 4 0 6 ;   H o w e l l s   M . ,   2 0 1 1 ,   I N T   E N   W O R K S H   E N   M O D ;   H o w e l l s   M ,   2 0 1 1 ,   E N E R G   P O L I C Y ,   V 3 9 ,   P 5 8 5 0 ,   D O I   1 0 . 1 0 1 6 / j . e n p o l . 2 0 1 1 . 0 6 . 0 3 3 ;   H u n s i n g e r   J . ,   2 0 1 1 ,   S O C I A L   W O R K S H   P L E   L E ;   I E A ,   2 0 0 9 ,   C O M P   S T U D   R U R   E L   P O L ;   J o h n s o n   J P ,   2 0 0 6 ,   I N F   E C O N   P O L I C Y ,   V 1 8 ,   P 4 7 7 ,   D O I   1 0 . 1 0 1 6 / j . i n f o e c o p o l . 2 0 0 6 . 0 7 . 0 0 1 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   L a s e c k i   W . ,   2 0 1 1 ,   P   2 4   A N N   A C M   S   U S   I N ,   P 2 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 0 4 7 1 9 6 . 2 0 4 7 2 0 0 ;   M a r t i n   A . ,   2 0 1 1 ,   E D   C H E M   E N G ,   V 6 ,   p e 1 1 4 ;   P a o l a c c i   G ,   2 0 1 0 ,   J U D G M   D E C I S   M A K ,   V 5 ,   P 4 1 1 ;   Q u i n n   A . J . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 1 4 0 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 9 1 4 8 ;   R a y m o n d   E .   S . ,   1 9 9 9 ,   C A T H E D R A L   B A Z A A R ;   R e d d y   A . K . N . ,   2 0 0 0 ,   E N E R G Y   S O C I A L   I S S U E S ;   R e i l l y   C .   A . ,   2 0 0 6 ,   C o m p u t e r   a n d   C o m p o s i t i o n ,   V 2 3 ,   D O I   1 0 . 1 0 1 6 / j . c o m p c o m . 2 0 0 5 . 1 2 . 0 0 1 ;   R i c e   A n d r e w   C ,   2 0 1 0 ,   2 0 1 0   8 t h   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   P e r v a s i v e   C o m p u t i n g   a n d   C o m m u n i c a t i o n s   W o r k s h o p s   ( P E R C O M   W o r k s h o p s ) ,   D O I   1 0 . 1 1 0 9 / P E R C O M W . 2 0 1 0 . 5 4 7 0 5 3 6 ;   S e k a k u b o   G . ,   2 0 1 1 ,   P   S   A F R   I   C O M P   S C I   I ,   P 2 3 1 ;   S e n   R ,   2 0 1 2 ,   D E C I S   S U P P O R T   S Y S T ,   V 5 2 ,   P 3 6 4 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 1 1 . 0 9 . 0 0 3 ;   S u b r a m a n y a m   R ,   2 0 0 8 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 6 ,   P 1 7 3 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 8 . 0 6 . 0 0 6 ;   S u n   Y Q ,   2 0 1 2 ,   D E C I S   S U P P O R T   S Y S T ,   V 5 3 ,   P 1 2 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 1 1 . 1 0 . 0 0 6 ;   W a r r e n   P . ,   2 0 1 1 ,   I N C O R P O R A T I N G   B E H A V ;   W a r r e n   P . ,   2 0 1 1 ,   P E O P L E   B U I L D I N G S ;   W a t k i n s   J H ,   2 0 0 8 ,   S T U D   C O M P U T   I N T E L L ,   V 1 3 0 ,   P 2 4 3 ;   W e s t   J ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 2 5 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 5 2 - 0 ;   W i l b a n k s   J . ,   2 0 1 2 ,   A N A L   O P E N   E N E R G Y   D A T ;   Y i l d i r i m   N ,   2 0 1 1 ,   T E C H N O V A T I O N ,   V 3 1 ,   P 6 6 6 ,   D O I   1 0 . 1 0 1 6 / j . t e c h n o v a t i o n . 2 0 1 1 . 0 7 . 0 0 4 	 4 3 	 1 	 1 	 E L S E V I E R   S C I   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   O X O N ,   E N G L A N D 	 0 3 0 1 - 4 2 1 5 	 	 	 E N E R G   P O L I C Y 	 E n e r g y   P o l i c y 	 O C T 	 2 0 1 2 	 4 9 	 	 	 	 	 	 1 4 9 	 1 5 3 	 	 1 0 . 1 0 1 6 / j . e n p o l . 2 0 1 2 . 0 6 . 0 3 2 	 	 5 	 E n e r g y   &   F u e l s ;   E n v i r o n m e n t a l   S c i e n c e s ;   E n v i r o n m e n t a l   S t u d i e s 	 E n e r g y   &   F u e l s ;   E n v i r o n m e n t a l   S c i e n c e s   &   E c o l o g y 	 0 1 6 C C 	 W O S : 0 0 0 3 0 9 4 9 3 9 0 0 0 2 1 	 	 
 J 	 A r m s t r o n g ,   A W ;   H a r s k a m p ,   C T ;   C h e e n e y ,   S ;   S c h u p p ,   C W 	 	 	 	 A r m s t r o n g ,   A p r i l   W . ;   H a r s k a m p ,   C .   T . ;   C h e e n e y ,   S . ;   S c h u p p ,   C .   W . 	 	 	 C r o w d s o u r c i n g   i n   E c z e m a   R e s e a r c h :   A   N o v e l   M e t h o d   o f   D a t a   C o l l e c t i o n 	 J O U R N A L   O F   D R U G S   I N   D E R M A T O L O G Y 	 	 	 E n g l i s h 	 L e t t e r 	 	 	 	 	 	 	 A T O P I C - D E R M A T I T I S ;   C O N T R O L L E D   T R I A L 	 	 [ A r m s t r o n g ,   A p r i l   W . ;   H a r s k a m p ,   C .   T . ;   S c h u p p ,   C .   W . ]   U n i v   C a l i f   D a v i s ,   D e p t   D e r m a t o l ,   S a c r a m e n t o ,   C A   9 5 8 1 7   U S A ;   [ C h e e n e y ,   S . ]   U n i v   A r i z o n a ,   T u c s o n ,   A Z   U S A 	 A r m s t r o n g ,   A W   ( r e p r i n t   a u t h o r ) ,   U n i v   C a l i f   D a v i s ,   D e p t   D e r m a t o l ,   S a c r a m e n t o ,   C A   9 5 8 1 7   U S A . 	 	 	 	 	 	 A d a m s   S A ,   2 0 1 1 ,   S O C   S C I   M E D ,   V 7 2 ,   P 1 0 6 9 ,   D O I   1 0 . 1 0 1 6 / j . s o c s c i m e d . 2 0 1 1 . 0 2 . 0 0 1 ;   D i e p g e n   T L ,   2 0 0 2 ,   P E D I A T R   A L L E R G Y   I M M U ,   V 1 3 ,   P 2 7 8 ,   D O I   1 0 . 1 0 3 4 / j . 1 3 9 9 - 3 0 3 8 . 2 0 0 2 . 0 1 0 4 7 . x ;   E k i n s   S ,   2 0 1 0 ,   P H A R M   R E S - D O R D R ,   V 2 7 ,   P 3 9 3 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 9 5 - 0 1 0 - 0 0 5 9 - 0 ;   L a w t o n   S a n d r a ,   2 0 0 9 ,   N u r s   S t a n d ,   V 2 3 ,   P 4 9 ;   L a w t o n   S . ,   2 0 0 9 ,   N U R S   S T A N D ,   V 2 3 ,   P 8 6 0 ;   L a w t o n   S . ,   2 0 0 9 ,   N U R S   S T A N D ,   V 2 3 ;   N o r m a n   T C ,   2 0 1 1 ,   S C I   T R A N S L   M E D ,   V 3 ,   D O I   1 0 . 1 1 2 6 / s c i t r a n s l m e d . 3 0 0 2 6 7 8 ;   P r a i n s a c k   B ,   2 0 1 0 ,   P H A R M A C O G E N O M I C S ,   V 1 1 ,   P 6 5 1 ,   D O I   [ 1 0 . 2 2 1 7 / p g s . 1 0 . 3 3 ,   1 0 . 2 2 1 7 / P G S . 1 0 . 3 3 ] ;   R e y n o l d s   N J ,   2 0 0 1 ,   L A N C E T ,   V 3 5 7 ,   P 2 0 1 2 ,   D O I   1 0 . 1 0 1 6 / S 0 1 4 0 - 6 7 3 6 ( 0 0 ) 0 5 1 1 4 - X ;   R o b e r t s o n   L ,   2 0 0 9 ,   S k i n   T h e r a p y   L e t t ,   V 1 4 ,   P 1 ;   S p r i k k e l m a n   A B ,   1 9 9 7 ,   A L L E R G Y ,   V 5 2 ,   P 9 4 4 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 9 8 - 9 9 9 5 . 1 9 9 7 . t b 0 1 2 5 5 . x ;   V a n   d e r   M e e r   J B ,   1 9 9 9 ,   B R I T   J   D E R M A T O L ,   V 1 4 0 ,   P 1 1 1 4 	 1 2 	 2 	 2 	 J O U R N A L   O F   D R U G S   I N   D E R M A T O L O G Y 	 N E W   Y O R K 	 3 7 7   P A R K   A V E   S O U T H ,   6 T H   F L O O R ,   N E W   Y O R K ,   N Y   1 0 0 1 6   U S A 	 1 5 4 5 - 9 6 1 6 	 	 	 J   D R U G S   D E R M A T O L 	 J .   D r u g s   D e r m a t o l . 	 O C T 	 2 0 1 2 	 1 1 	 1 0 	 	 	 	 	 1 1 5 3 	 1 1 5 5 	 	 	 	 3 	 D e r m a t o l o g y 	 D e r m a t o l o g y 	 0 1 7 D I 	 W O S : 0 0 0 3 0 9 5 6 9 9 0 0 0 0 4 	 2 3 2 8 5 7 1 4 	 
 J 	 L i n d e r s ,   D 	 	 	 	 L i n d e r s ,   D e n n i s 	 	 	 F r o m   e - g o v e r n m e n t   t o   w e - g o v e r n m e n t :   D e f i n i n g   a   t y p o l o g y   f o r   c i t i z e n   c o p r o d u c t i o n   i n   t h e   a g e   o f   s o c i a l   m e d i a 	 G O V E R N M E N T   I N F O R M A T I O N   Q U A R T E R L Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 e - G o v e r n m e n t ;   S o c i a l   m e d i a ;   C r o w d s o u r c i n g ;   C o p r o d u c t i o n ;   G o v e r n m e n t   a s   a   p l a t f o r m ;   O p e n   g o v e r n m e n t ;   G o v e r n m e n t   2 . 0 	 C O L L A B O R A T I V E   P U B L I C   M A N A G E M E N T ;   G O V E R N A N C E ;   P A R T I C I P A T I O N ;   I N T E R N E T ;   T R A N S P A R E N C Y ;   I N F O R M A T I O N ;   E N G A G E M E N T ;   D E L I V E R Y ;   S E R V I C E S ;   S Y N E R G Y 	 T h i s   p a p e r   e x a m i n e s   t h e   e v o l u t i o n   o f   c i t i z e n   c o p r o d u c t i o n   i n   t h e   a g e   o f   s o c i a l   m e d i a ,   w e b   2 . 0   i n t e r a c t i v i t y ,   a n d   u b i q u i t o u s   c o n n e c t i v i t y .   T h e   p a p e r   f i r s t   d i s c u s s e s   t h e   r e - e m e r g e n c e   o f   c i t i z e n   c o p r o d u c t i o n   -   w h e r e b y   c i t i z e n s   p e r f o r m   t h e   r o l e   o f   p a r t n e r   r a t h e r   t h a n   c u s t o m e r   i n   t h e   d e l i v e r y   o f   p u b l i c   s e r v i c e s   -   a s   a   f a s h i o n a b l e   p o l i c y   o p t i o n   i n   t h e   f a c e   o f   p e r s i s t e n t   b u d g e t   d e f i c i t s   a n d   t h e   a d v e n t   o f   n e w   c h a n n e l s   f o r   m a s s   c o l l a b o r a t i o n .   F i n d i n g   a   p l e t h o r a   o f   c o m p e t i n g   l a b e l s ,   m o d e l s ,   a n d   c o n c e p t s   f o r   c o p r o d u c t i o n   i n   t h e   a g e   o f   s o c i a l   m e d i a ,   t h e   p a p e r   p r o p o s e s   a   u n i f i e d   t y p o l o g y   t o   s u p p o r t   s y s t e m a t i c   a n a l y s i s   b a s e d   o n   t h e   o v e r a r c h i n g   c a t e g o r i e s   o f   " C i t i z e n   S o u r c i n g , "   " G o v e r n m e n t   a s   a   P l a t f o r m , "   a n d   " D o - I t - Y o u r s e l f   G o v e r n m e n t . "   T o   d e m o n s t r a t e   i t s   u s e ,   t h e   t y p o l o g y   i s   a p p l i e d   t o   l e a d i n g   U . S .   g o v e r n m e n t   i m p l e m e n t a t i o n s .   T h e   p a p e r   c o n c l u d e s   w i t h   a   d i s c u s s i o n   o f   t h e   p o t e n t i a l   i m p l i c a t i o n s   f o r   p u b l i c   a d m i n i s t r a t i o n ,   t h e   r e m a i n i n g   l i m i t a t i o n s   a n d   r i s i n g   s o c i a l   c o n c e r n s ,   a n d   t h e   p o s s i b l e   e m e r g e n c e   o f   a   n e w   s o c i a l   c o n t r a c t   t h a t   e m p o w e r s   t h e   p u b l i c   t o   p l a y   a   f a r   m o r e   a c t i v e   r o l e   i n   t h e   f u n c t i o n i n g   o f   t h e i r   g o v e r n m e n t .   ( C )   2 0 1 2   E l s e v i e r   I n c .   A l l   r i g h t s   r e s e r v e d . 	 U n i v   M a r y l a n d ,   G a i t h e r s b u r g ,   M D   2 0 8 7 8   U S A 	 L i n d e r s ,   D   ( r e p r i n t   a u t h o r ) ,   U n i v   M a r y l a n d ,   1 0 9   B e n t   T w i g   L n ,   G a i t h e r s b u r g ,   M D   2 0 8 7 8   U S A . 	 d l i n d e r s @ u m d . e d u 	 	 	 	 	 A c k e r m a n   J ,   2 0 0 4 ,   W O R L D   D E V ,   V 3 2 ,   P 4 4 7 ,   D O I   1 0 . 1 0 1 6 / j . w o r l d d e v . 2 0 0 3 . 0 6 . 0 1 5 ;   A m i c h a i - H a m b u r g e r   Y ,   2 0 0 8 ,   C O M P U T   H U M   B E H A V ,   V 2 4 ,   P 5 4 4 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 0 7 . 0 2 . 0 0 4 ;   A R N S T E I N   S R ,   1 9 6 9 ,   J   A M   I   P L A N N E R S ,   V 3 5 ,   P 2 1 6 ,   D O I   1 0 . 1 0 8 0 / 0 1 9 4 4 3 6 6 9 0 8 9 7 7 2 2 5 ;   B e n k l e r   Y . ,   2 0 0 6 ,   W E A L T H   N E T W O R K S   S O C I ;   B e r t o t   J C ,   2 0 1 0 ,   C O M P U T E R ,   V 4 3 ,   P 5 3 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 1 0 . 3 2 5 ;   B e r t o t   J C ,   2 0 1 2 ,   G O V   I N F O R M   Q ,   V 2 9 ,   P 3 0 ,   D O I   1 0 . 1 0 1 6 / j . g i q . 2 0 1 1 . 0 4 . 0 0 4 ;   B o v a i r d   T ,   2 0 0 7 ,   P U B L I C   A D M I N   R E V ,   V 6 7 ,   P 8 4 6 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 6 2 1 0 . 2 0 0 7 . 0 0 7 7 3 . x ;   B o v a i r d   T . ,   2 0 0 8 ,   I N N O V A T I O N   P U B L I C   E N ;   B o y d   O v i d   P a c i f i c ,   2 0 0 8 ,   I n f o r m a t i o n   P o l i t y ,   V 1 3 ;   B r a n d s e n   T ,   2 0 0 6 ,   P U B L I C   M A N A G   R E V ,   V 8 ,   P 4 9 3 ,   D O I   1 0 . 1 0 8 0 / 1 4 7 1 9 0 3 0 6 0 1 0 2 2 8 7 4 ;   B r u d n e y   J . ,   1 9 8 3 ,   P U B L I C   A D M   R E V ,   V 4 3 ;   C a m e r o n   D . ,   2 0 1 0 ,   N E X T   A G E   G O V T   V I D E O ;   C a m e r o n   D . ,   2 0 1 0 ,   B I G   S O C   S P E E C H ;   C a r l i t z   R D ,   2 0 0 2 ,   G O V   I N F O R M   Q ,   V 1 9 ,   P 3 8 9 ,   D O I   1 0 . 1 0 1 6 / S 0 7 4 0 - 6 2 4 X ( 0 2 ) 0 0 1 1 8 - 1 ;   C a s t e l l s   M ,   2 0 0 8 ,   A N N   A M   A C A D   P O L I T   S S ,   V 6 1 6 ,   P 7 8 ,   D O I   1 0 . 1 1 7 7 / 0 0 0 2 7 1 6 2 0 7 3 1 1 8 7 7 ;   C o o p e r   T L ,   2 0 0 6 ,   P U B L I C   A D M I N   R E V ,   V 6 6 ,   P 7 6 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 6 2 1 0 . 2 0 0 6 . 0 0 6 6 8 . x ;   C S   T r a n s f o r m ,   2 0 1 0 ,   C S   T R A N S F   W H I T   P A P ;   D o n a h u e   J .   D . ,   2 0 0 4 ,   C O L L A B O R A T I V E   G O V E R N ;   D u n l e a v y   P . ,   2 0 1 0 ,   A P S A   2 0 1 0   A N N   M ;   D u n l e a v y   P ,   2 0 0 6 ,   J   P U B L   A D M   R E S   T H E O R ,   V 1 6 ,   P 4 6 7 ,   D O I   1 0 . 1 0 9 3 / j o p a r t / m u i 0 5 7 ;   D u t i l   P .   A . ,   2 0 0 7 ,   J   I N F   T E C H N O L ,   V 4 ,   P 7 7 ,   D O I   1 0 . 1 3 0 0 / J 5 1 6 v 0 4 n 0 1 _ 0 6 ;   E v a n s   P ,   1 9 9 6 ,   W O R L D   D E V ,   V 2 4 ,   P 1 1 1 9 ,   D O I   1 0 . 1 0 1 6 / 0 3 0 5 - 7 5 0 X ( 9 6 ) 0 0 0 2 1 - 6 ;   F l a n a g i n   A J ,   2 0 0 6 ,   C O M M U N   M O N O G R ,   V 7 3 ,   P 2 9 ,   D O I   1 0 . 1 0 8 0 / 0 3 6 3 7 7 5 0 6 0 0 5 5 7 0 9 9 ;   G a z l e y   B ,   2 0 0 8 ,   P U B L I C   A D M I N   R E V ,   V 6 8 ,   P 1 4 1 ;   G o l d s m i t h   S ,   2 0 0 9 ,   I N N O V   G O V   2 1 S T   C E N T ,   P 9 5 ;   H o r n e   M . ,   2 0 0 9 ,   C O P R O D U C T I O N   P U B L I C ;   H u x h a m   C . ,   2 0 0 0 ,   P U B L I C   M A N A G E M E N T ,   V 2 ,   P 3 3 7 ,   D O I   D O I   1 0 . 1 0 8 0 / 1 4 7 1 9 0 3 0 0 0 0 0 0 0 0 2 1 ;   J a e g e r   P T ,   2 0 1 0 ,   G O V   I N F O R M   Q ,   V 2 7 ,   P 3 7 1 ,   D O I   1 0 . 1 0 1 6 / j . g i q . 2 0 1 0 . 0 5 . 0 0 3 ;   J e n n i n g s   M K ,   2 0 0 3 ,   P U B L I C   O P I N   Q U A R T ,   V 6 7 ,   P 3 1 1 ,   D O I   1 0 . 1 0 8 6 / 3 7 6 9 4 7 ;   J o h n s t o n   E . ,   2 0 1 1 ,   A M   G O V E R N A N C E   3   0   R E ;   L a l l a n a   E . ,   2 0 0 4 ,   I C T 4 D   M O N O G R A P H   S E R I ;   L a m   W F ,   1 9 9 6 ,   W O R L D   D E V ,   V 2 4 ,   P 1 0 3 9 ,   D O I   1 0 . 1 0 1 6 / 0 3 0 5 - 7 5 0 X ( 9 6 ) 0 0 0 2 0 - 4 ;   L e v i n e   C . ,   1 9 8 4 ,   P U B L I C   A D M   R E V ,   V 4 4 ;   L i n d e r s   D . ,   2 0 1 1 ,   D I G   G O V   S O C   C   2 0 1 1 ;   L o n g   M ,   2 0 0 2 ,   A U S T   J   P U B L   A D M I N ,   V 6 1 ,   P 3 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 8 5 0 0 . 0 0 2 5 3 ;   M a t t s o n   G . ,   1 9 8 6 ,   P U B L I C   P R O D U C T I V I T Y ,   V 1 0 ;   M c G u i r e   M ,   2 0 0 6 ,   P U B L I C   A D M I N   R E V ,   V 6 6 ,   P 3 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 6 2 1 0 . 2 0 0 6 . 0 0 6 6 4 . x ;   N a m   T . ,   2 0 1 1 ,   G O V T   I N F O R M   Q ,   P 1 2 ;   N o v e c k   B S ,   2 0 0 9 ,   W I K I   G O V E R N M E N T :   H O W   T E C H N O L O G Y   C A N   M A K E   G O V E R N M E N T   B E T T E R ,   D E M O C R A C Y   S T R O N G E R ,   A N D   C I T I Z E N S   M O R E   P O W E R F U L ,   P 1 ;   O ' R e i l l y   T . ,   2 0 1 0 ,   O P E N   G O V T   C O L L A B O R A T ;   O s t r o m   E ,   1 9 9 6 ,   W O R L D   D E V ,   V 2 4 ,   P 1 0 7 3 ,   D O I   1 0 . 1 0 1 6 / 0 3 0 5 - 7 5 0 X ( 9 6 ) 0 0 0 2 3 - X ;   P a d g e t   J ,   2 0 0 5 ,   I E E E   I N T E L L   S Y S T ,   V 2 0 ,   P 9 4 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 0 5 . 5 ;   P a r i k h   T S ,   2 0 0 9 ,   C O M M U N   A C M ,   V 5 2 ,   P 5 4 ,   D O I   1 0 . 1 1 4 5 / 1 4 3 5 4 1 7 . 1 4 3 5 4 3 3 ;   P r i n c e   R o s a ,   2 0 1 0 ,   T E L E G R A P H ;   R e t h e m e y e r   R K ,   2 0 0 7 ,   P U B L I C   A D M I N   R E V ,   V 6 7 ,   P 1 9 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 6 2 1 0 . 2 0 0 7 . 0 0 7 0 7 . x ;   R i c h   S . ,   2 0 1 2 ,   S T O R M   P U T S   C H I C A G O S ;   R o b i n s o n   D . ,   2 0 0 9 ,   Y A L E   J   L A W   T E C H N O L O G ,   P 1 6 0 ;   S c h l o z m a n   K L ,   2 0 1 0 ,   P E R S P E C T   P O L I T ,   V 8 ,   P 4 8 7 ,   D O I   1 0 . 1 0 1 7 / S 1 5 3 7 5 9 2 7 1 0 0 0 1 2 1 0 ;   S h i r k y   C . ,   2 0 1 0 ,   C O G N I T I V E   S U R P L U S ;   S h n e i d e r m a n   B . ,   2 0 0 9 ,   N A T L   I N I T A I T I V E   S O C I ;   T h e   G o v   M o n i t o r ,   2 0 1 0 ,   N E W   S I N G   E   G O V   M A S T ;   T o r r e s   L .   H . ,   2 0 0 7 ,   K N O W L E D G E   M A N A G E M E N T ,   V 3 ,   P 1 3 4 ;   V a n   D i j c k   J ,   2 0 0 9 ,   N E W   M E D I A   S O C ,   V 1 1 ,   P 8 5 5 ,   D O I   1 0 . 1 1 7 7 / 1 4 6 1 4 4 4 8 0 9 1 0 5 3 5 6 ;   V i g o d a   E ,   2 0 0 2 ,   P U B L I C   A D M I N   R E V ,   V 6 2 ,   P 5 2 7 ,   D O I   1 0 . 1 1 1 1 / 1 5 4 0 - 6 2 1 0 . 0 0 2 3 5 ;   W a n g   X . ,   1 9 9 9 ,   C O M P   P O L I T ,   V 3 1 ,   P 2 3 1 ,   D O I   1 0 . 2 3 0 7 / 4 2 2 1 4 6 ;   W H I T A K E R   G P ,   1 9 8 0 ,   P U B L I C   A D M I N   R E V ,   V 4 0 ,   P 2 4 0 ,   D O I   1 0 . 2 3 0 7 / 9 7 5 3 7 7 ;   Y o n g n i a n   Z . ,   2 0 0 5 ,   C O M P   P O L I T   S T U D ,   V 3 8 ,   P 5 0 7 	 5 7 	 1 7 	 1 8 	 E L S E V I E R   I N C 	 S A N   D I E G O 	 5 2 5   B   S T R E E T ,   S T E   1 9 0 0 ,   S A N   D I E G O ,   C A   9 2 1 0 1 - 4 4 9 5   U S A 	 0 7 4 0 - 6 2 4 X 	 1 8 7 2 - 9 5 1 7 	 	 G O V   I N F O R M   Q 	 G o v .   I n f .   Q . 	 O C T 	 2 0 1 2 	 2 9 	 4 	 	 	 	 	 4 4 6 	 4 5 4 	 	 1 0 . 1 0 1 6 / j . g i q . 2 0 1 2 . 0 6 . 0 0 3 	 	 9 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 0 1 3 M A 	 W O S : 0 0 0 3 0 9 3 0 8 3 0 0 0 0 2 	 	 
 J 	 S h a r m a ,   N ;   G h o s h ,   S ;   B e n e v e n u t o ,   F ;   G a n g u l y ,   N ;   G u m m a d i ,   K P 	 	 	 	 S h a r m a ,   N a v e e n ;   G h o s h ,   S a p t a r s h i ;   B e n e v e n u t o ,   F a b r i c i o ;   G a n g u l y ,   N i l o y ;   G u m m a d i ,   K r i s h n a   P . 	 	 	 I n f e r r i n g   W h o - i s - W h o   i n   t h e   T w i t t e r   S o c i a l   N e t w o r k 	 A C M   S I G C O M M   C O M P U T E R   C O M M U N I C A T I O N   R E V I E W 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 D e s i g n ;   H u m a n   F a c t o r s ;   M e a s u r e m e n t ;   T w i t t e r ;   w h o   i s   w h o ;   L i s t s ;   t o p i c   i n f e r e n c e ;   c r o w d s o u r c i n g 	 	 I n   t h i s   p a p e r ,   w e   d e s i g n   a n d   e v a l u a t e   a   n o v e l   w h o - i s - w h o   s e r v i c e   f o r   i n f e r r i n g   a t t r i b u t e s   t h a t   c h a r a c t e r i z e   i n d i v i d u a l   T w i t t e r   u s e r s .   O u r   m e t h o d o l o g y   e x p l o i t s   t h e   L i s t s   f e a t u r e ,   w h i c h   a l l o w s   a   u s e r   t o   g r o u p   o t h e r   u s e r s   w h o   t e n d   t o   t w e e t   o n   a   t o p i c   t h a t   i s   o f   i n t e r e s t   t o   h e r ,   a n d   f o l l o w   t h e i r   c o l l e c t i v e   t w e e t s .   O u r   k e y   i n s i g h t   i s   t h a t   t h e   L i s t   m e t a - d a t a   ( n a m e s   a n d   d e s c r i p t i o n s )   p r o v i d e s   v a l u a b l e   s e m a n t i c   c u e s   a b o u t   w h o   t h e   u s e r s   i n c l u d e d   i n   t h e   L i s t s   a r e ,   i n c l u d i n g   t h e i r   t o p i c s   o f   e x p e r t i s e   a n d   h o w   t h e y   a r e   p e r c e i v e d   b y   t h e   p u b l i c .   T h u s ,   W e   c a n   i n f e r   a   u s e r ' s   e x p e r t i s e   b y   a n a l y z i n g   t h e   m e t a - d a t a   o f   c r o w d s o u r c e d   L i s t s   t h a t   c o n t a i n   t h e   u s e r .   W e   s h o w   t h a t   o u r   m e t h o d o l o g y   c a n   a c c u r a t e l y   a n d   c o m p r e h e n s i v e l y   i n f e r   a t t r i b u t e s   o f   m i l l i o n s   o f   T w i t t e r   u s e r s ,   i n c l u d i n g   a   v a s t   m a j o r i t y   o f   T w i t t e r ' s   i n f l u e n t i a l   u s e r s   ( b a s e d   o n   r a n k i n g   m e t r i c s   l i k e   n u m b e r   o f   f o l l o w e r s ) .   O u r   w o r k   p r o v i d e s   a   f o u n d a t i o n   f o r   b u i l d i n g   b e t t e r   s e a r c h   a n d   r e c o m m e n d a t i o n   s e r v i c e s   o n   T w i t t e r . 	 [ S h a r m a ,   N a v e e n ;   G h o s h ,   S a p t a r s h i ;   G a n g u l y ,   N i l o y ]   I I I   K h a r a g p u r ,   K h a r a g p u r ,   W   B e n g a l ,   I n d i a 	 S h a r m a ,   N   ( r e p r i n t   a u t h o r ) ,   I I I   K h a r a g p u r ,   K h a r a g p u r ,   W   B e n g a l ,   I n d i a . 	 	 I n W e b ,   I n c t / J - 9 8 3 9 - 2 0 1 3 	 	 I n d o - G e r m a n   M a x   P l a n c k   C e n t r e   f o r   C o m p u t e r   S c i e n c e   ( I M P E C S ) ;   F a p e m i g 	 T h e   a u t h o r s   t h a n k   D r .   P a r a g   S i n g l a ,   I I T   D e l h i ,   f o r   h i s   c o n s t r u c t i v e   s u g g e s t i o n s ,   a n d   t h e   a n o n y m o u s   r e v i e w e r s   w h o s e   c o m m e n t s   h e l p e d   t o   i m p r o v e   t h e   p a p e r .   T h i s   r e s e a r c h   w a s   s u p p o r t e d   i n   p a r t   b y   a   g r a n t   f r o m   t h e   I n d o - G e r m a n   M a x   P l a n c k   C e n t r e   f o r   C o m p u t e r   S c i e n c e   ( I M P E C S ) .   F a b r i c i o   B e n e v e n u t o   i s   s u p p o r t e d   b y   F a p e m i g . 	 B e r n s t e i n   M . ,   2 0 0 9 ,   A C M   S   U S   I N T   S O F T W   T ;   B e r n s t e i n   M .   S . ,   2 0 1 0 ,   A C M   S   U S   I N T   S O F T W   T ;   C h a   M . ,   2 0 1 0 ,   A A A I   C   W E B L   S O C   M E D ;   D i l l   S . ,   2 0 0 3 ,   A C M   C   W O R L D   W I D   W E B ;   J a v a   A . ,   2 0 0 7 ,   W E B K D D   S N A   K D D   W O R K S ;   K a l l e n   N . ,   2 0 0 9 ,   T W I T T E R   B L O G   S O O N   L A ;   K i m   D . ,   2 0 1 0 ,   A C M   C H I   W O R K S H   M I C R ;   M i c h e l s o n   M . ,   2 0 1 0 ,   W O R K S H   A N   N O I S   U N S T R ;   P a l   A . ,   2 0 1 1 ,   A C M   C   W E B   S E A R C H   D A T ;   P o c h a m p a l l y   R a v a l i ,   2 0 1 1 ,   W O R K S H   E N R   I N F   R E T R ;   R a m a g e   D . ,   2 0 1 0 ,   A A A I   C   W E B L   S O C   M E D ;   W e l c h   M .   J . ,   2 0 1 1 ,   A C M   C   W E B   S E A R C H   D A T ;   W e n g   J . ,   2 0 1 0 ,   A C M   C   W E B   S E A R C H   D A T ;   W u   S . ,   2 0 1 1 ,   A C M   C   W O R L D   W I D   W E B ;   W u   X . ,   2 0 0 6 ,   A C M   C   W O R L D   W I D   W E B 	 1 5 	 2 	 2 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 2   P E N N   P L A Z A ,   S T E   7 0 1 ,   N E W   Y O R K ,   N Y   1 0 1 2 1 - 0 7 0 1   U S A 	 0 1 4 6 - 4 8 3 3 	 1 9 4 3 - 5 8 1 9 	 	 A C M   S I G C O M M   C O M P   C O M 	 A C M   S I G C O M M   C o m p .   C o m m u n .   R e v . 	 O C T 	 2 0 1 2 	 4 2 	 4 	 	 	 	 	 5 3 3 	 5 3 8 	 	 1 0 . 1 1 4 5 / 2 3 7 7 6 7 7 . 2 3 7 7 7 8 2 	 	 6 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 0 1 2 E F 	 W O S : 0 0 0 3 0 9 2 1 7 6 0 0 0 8 5 	 	 
 J 	 K a u r ,   J ;   H o a n g ,   D T ;   S u n ,   X L ;   P o s s a m a i ,   L ;   J a f a r i A s b a g h ,   M ;   P a t i l ,   S ;   M e n c z e r ,   F 	 	 	 	 K a u r ,   J a s l e e n ;   D i e p   T h i   H o a n g ;   S u n ,   X i a o l i n g ;   P o s s a m a i ,   L i n o ;   J a f a r i A s b a g h ,   M o h s e n ;   P a t i l ,   S n e h a l ;   M e n c z e r ,   F i l i p p o 	 	 	 S c h o l a r o m e t e r :   A   S o c i a l   F r a m e w o r k   f o r   A n a l y z i n g   I m p a c t   a c r o s s   D i s c i p l i n e s 	 P L O S   O N E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 I N D E X 	 T h e   u s e   o f   q u a n t i t a t i v e   m e t r i c s   t o   g a u g e   t h e   i m p a c t   o f   s c h o l a r l y   p u b l i c a t i o n s ,   a u t h o r s ,   a n d   d i s c i p l i n e s   i s   p r e d i c a t e d   o n   t h e   a v a i l a b i l i t y   o f   r e l i a b l e   u s a g e   a n d   a n n o t a t i o n   d a t a .   C i t a t i o n   a n d   d o w n l o a d   c o u n t s   a r e   w i d e l y   a v a i l a b l e   f r o m   d i g i t a l   l i b r a r i e s .   H o w e v e r ,   c u r r e n t   a n n o t a t i o n   s y s t e m s   r e l y   o n   p r o p r i e t a r y   l a b e l s ,   r e f e r   t o   j o u r n a l s   b u t   n o t   a r t i c l e s   o r   a u t h o r s ,   a n d   a r e   m a n u a l l y   c u r a t e d .   T o   a d d r e s s   t h e s e   l i m i t a t i o n s ,   w e   p r o p o s e   a   s o c i a l   f r a m e w o r k   b a s e d   o n   c r o w d s o u r c e d   a n n o t a t i o n s   o f   s c h o l a r s ,   d e s i g n e d   t o   k e e p   u p   w i t h   t h e   r a p i d l y   e v o l v i n g   d i s c i p l i n a r y   a n d   i n t e r d i s c i p l i n a r y   l a n d s c a p e .   W e   d e s c r i b e   a   s y s t e m   c a l l e d   S c h o l a r o m e t e r ,   w h i c h   p r o v i d e s   a   s e r v i c e   t o   s c h o l a r s   b y   c o m p u t i n g   c i t a t i o n - b a s e d   i m p a c t   m e a s u r e s .   T h i s   c r e a t e s   a n   i n c e n t i v e   f o r   u s e r s   t o   p r o v i d e   d i s c i p l i n a r y   a n n o t a t i o n s   o f   a u t h o r s ,   w h i c h   i n   t u r n   c a n   b e   u s e d   t o   c o m p u t e   d i s c i p l i n a r y   m e t r i c s .   W e   f i r s t   p r e s e n t   t h e   s y s t e m   a r c h i t e c t u r e   a n d   s e v e r a l   h e u r i s t i c s   t o   d e a l   w i t h   n o i s y   b i b l i o g r a p h i c   a n d   a n n o t a t i o n   d a t a .   W e   r e p o r t   o n   d a t a   s h a r i n g   a n d   i n t e r a c t i v e   v i s u a l i z a t i o n   s e r v i c e s   e n a b l e d   b y   S c h o l a r o m e t e r .   U s a g e   s t a t i s t i c s ,   i l l u s t r a t i n g   t h e   d a t a   c o l l e c t e d   a n d   s h a r e d   t h r o u g h   t h e   f r a m e w o r k ,   s u g g e s t   t h a t   t h e   p r o p o s e d   c r o w d s o u r c i n g   a p p r o a c h   c a n   b e   s u c c e s s f u l .   S e c o n d l y ,   w e   i l l u s t r a t e   h o w   t h e   d i s c i p l i n a r y   b i b l i o m e t r i c   i n d i c a t o r s   e l i c i t e d   b y   S c h o l a r o m e t e r   a l l o w   u s   t o   i m p l e m e n t   f o r   t h e   f i r s t   t i m e   a   u n i v e r s a l   i m p a c t   m e a s u r e   p r o p o s e d   i n   t h e   l i t e r a t u r e .   O u r   e v a l u a t i o n   s u g g e s t s   t h a t   t h i s   m e t r i c   p r o v i d e s   a n   e f f e c t i v e   m e a n s   f o r   c o m p a r i n g   s c h o l a r l y   i m p a c t   a c r o s s   d i s c i p l i n a r y   b o u n d a r i e s . 	 [ K a u r ,   J a s l e e n ;   D i e p   T h i   H o a n g ;   S u n ,   X i a o l i n g ;   P o s s a m a i ,   L i n o ;   J a f a r i A s b a g h ,   M o h s e n ;   P a t i l ,   S n e h a l ;   M e n c z e r ,   F i l i p p o ]   I n d i a n a   U n i v ,   S c h   I n f o r m a t   &   C o m p ,   C t r   C o m p l e x   N e t w o r k s   &   S y s t   R e s ,   B l o o m i n g t o n ,   I N   4 7 4 0 5   U S A ;   [ D i e p   T h i   H o a n g ]   V i e t n a m   N a t l   U n i v ,   U n i v   E n g n   &   T e c h n o l ,   H a n o i ,   V i e t n a m ;   [ S u n ,   X i a o l i n g ]   D a l i a n   U n i v   T e c h n o l ,   D e p t   C o m p   S c i   &   T e c h n o l ,   D a l i a n ,   P e o p l e s   R   C h i n a ;   [ P o s s a m a i ,   L i n o ]   U n i v   P a d u a ,   D e p t   P u r e   &   A p p l   M a t h ,   P a d u a ,   I t a l y 	 K a u r ,   J   ( r e p r i n t   a u t h o r ) ,   I n d i a n a   U n i v ,   S c h   I n f o r m a t   &   C o m p ,   C t r   C o m p l e x   N e t w o r k s   &   S y s t   R e s ,   B l o o m i n g t o n ,   I N   4 7 4 0 5   U S A . 	 j a k a u r @ i n d i a n a . e d u 	 	 	 H o n g f e i   L i n   a t   D a l i a n   U n i v e r s i t y   o f   T e c h n o l o g y ;   C h i n a   S c h o l a r s h i p   C o u n c i l ;   M a s s i m o   M a r c h i o r i   a t   U n i v e r s i t y   o f   P a d u a ;   U n i v e r s i t y   o f   B o l o g n a ;   L i l l y   E n d o w m e n t ;   N a t i o n a l   S c i e n c e   F o u n d a t i o n   [ I I S - 0 8 1 1 9 9 4 ] 	 T h e   a u t h o r s   a c k n o w l e d g e   s u p p o r t   f r o m   H o n g f e i   L i n   a t   D a l i a n   U n i v e r s i t y   o f   T e c h n o l o g y ,   t h e   C h i n a   S c h o l a r s h i p   C o u n c i l ,   M a s s i m o   M a r c h i o r i   a t   U n i v e r s i t y   o f   P a d u a ,   t h e   U n i v e r s i t y   o f   B o l o g n a ,   t h e   L i l l y   E n d o w m e n t ,   a n d   N a t i o n a l   S c i e n c e   F o u n d a t i o n   ( a w a r d   I I S - 0 8 1 1 9 9 4 )   f o r   f u n d i n g   t h e   c o m p u t i n g   i n f r a s t r u c t u r e   t h a t   h o s t s   t h e   S c h o l a r o m e t e r   s e r v i c e .   T h e   f u n d e r s   h a d   n o   r o l e   i n   s t u d y   d e s i g n ,   d a t a   c o l l e c t i o n   a n d   a n a l y s i s ,   d e c i s i o n   t o   p u b l i s h ,   o r   p r e p a r a t i o n   o f   t h e   m a n u s c r i p t . 	 A l o n s o   S ,   2 0 0 9 ,   J   I N F O R M E T R ,   V 3 ,   P 2 7 3 ,   D O I   1 0 . 1 0 1 6 / j . j o i . 2 0 0 9 . 0 4 . 0 0 1 ;   B e n z   D ,   2 0 1 0 ,   V L D B   J ,   V 1 9 ,   P 8 4 9 ,   D O I   1 0 . 1 0 0 7 / s 0 0 7 7 8 - 0 1 0 - 0 2 0 8 - 4 ;   B i z e r   C ,   2 0 0 9 ,   I N T   J   S E M A N T   W E B   I N F ,   V 5 ,   P 1 ,   D O I   1 0 . 4 0 1 8 / j s w i s . 2 0 0 9 0 8 1 9 0 1 ;   E g g h e   L ,   2 0 0 6 ,   S C I E N T O M E T R I C S ,   V 6 9 ,   P 1 3 1 ,   D O I   1 0 . 1 0 0 7 / s 1 1 1 9 2 - 0 0 6 - 0 1 4 4 - 7 ;   F R U C H T E R M A N   T M J ,   1 9 9 1 ,   S O F T W A R E   P R A C T   E X P E R ,   V 2 1 ,   P 1 1 2 9 ,   D O I   1 0 . 1 0 0 2 / s p e . 4 3 8 0 2 1 1 1 0 2 ;   G o l d e r   S A ,   2 0 0 6 ,   J   I N F   S C I ,   V 3 2 ,   P 1 9 8 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 0 6 0 6 2 3 3 7 ;   H a r z i n g   A . - W . ,   2 0 0 7 ,   P U B L I S H   P E R I S H ;   H e y m a n n   P a u l ,   2 0 0 8 ,   P   I N T   C   W E B   S E A R C H   W ,   P 1 9 5 ,   D O I   1 0 . 1 1 4 5 / 1 3 4 1 5 3 1 . 1 3 4 1 5 5 8 ;   H i r s c h   J E ,   2 0 0 5 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 2 ,   P 1 6 5 6 9 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 5 0 7 6 5 5 1 0 2 ;   H o t h o   A ,   2 0 0 6 ,   L E C T   N O T E S   I N F O R M   I N ;   L a b b e   C . ,   2 0 1 0 ,   I S S I   N E W S L E T T E R ,   V 6 ,   P 4 8 ;   L e v e n s h t e i n   V .   I . ,   1 9 6 6 ,   S O V   P H Y S   D O K L ,   V 1 0 ,   P 7 0 7 ;   L i n t o t t   C J ,   2 0 0 8 ,   M O N   N O T   R   A S T R O N   S O C ,   V 3 8 9 ,   P 1 1 7 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 9 6 6 . 2 0 0 8 . 1 3 6 8 9 . x ;   M e n c z e r   F . ,   2 0 1 0 ,   P   W E B   S C I   C   E X T   F R O N ;   M i k a   P ,   2 0 0 7 ,   J   W E B   S E M A N T ,   V 5 ,   P 5 ,   D O I   1 0 . 1 0 1 6 / j . w e b s e m . 2 0 0 6 . 1 1 . 0 0 2 ;   P u d o v k i n   A ,   2 0 0 9 ,   P   5   I N T   C   W E B   I N F   S C ;   R a d i c c h i   F ,   2 0 0 8 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 5 ,   P 1 7 2 6 8 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 8 0 6 9 7 7 1 0 5 ;   S c h r e i b e r   M ,   2 0 0 8 ,   N E W   J   P H Y S ,   V 1 0 ,   D O I   1 0 . 1 0 8 8 / 1 3 6 7 - 2 6 3 0 / 1 0 / 4 / 0 4 0 2 0 1 ;   S c h u b e r t   A ,   2 0 0 7 ,   S C I E N T O M E T R I C S ,   V 7 0 ,   P 2 0 1 ,   D O I   1 0 . 1 0 0 7 / s 1 1 1 9 2 - 0 0 7 - 0 1 1 2 - x ;   S u n   X ,   2 0 1 1 ,   P   3   I E E E   C   S O C   C O M P ;   S u n   X ,   2 0 1 2 ,   A M B I G U O U S   A U T H O R   Q U E ;   v o n   A h n   L ,   2 0 0 6 ,   C O M P U T E R ,   V 3 9 ,   P 9 2 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 6 . 1 9 6 ;   W e n g   L ,   2 0 1 1 ,   P   6   I N T   C   F D N   D I G   G A ;   W e n g   L ,   2 0 1 1 ,   P   1 6   I E E E   I N T   C   C O M P ,   D O I   [ 1 0 . 1 1 0 9 / C G A M E S . 2 0 1 1 . 6 0 0 0 3 3 7 ,   D O I   1 0 . 1 1 0 9 / C G A M E S . 2 0 1 1 . 6 0 0 0 3 3 7 ] 	 2 4 	 7 	 7 	 P U B L I C   L I B R A R Y   S C I E N C E 	 S A N   F R A N C I S C O 	 1 1 6 0   B A T T E R Y   S T R E E T ,   S T E   1 0 0 ,   S A N   F R A N C I S C O ,   C A   9 4 1 1 1   U S A 	 1 9 3 2 - 6 2 0 3 	 	 	 P L O S   O N E 	 P L o S   O n e 	 S E P   1 2 	 2 0 1 2 	 7 	 9 	 	 	 	 	 	 	 e 4 3 2 3 5 	 1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 4 3 2 3 5 	 	 1 3 	 M u l t i d i s c i p l i n a r y   S c i e n c e s 	 S c i e n c e   &   T e c h n o l o g y   -   O t h e r   T o p i c s 	 0 0 5 G J 	 W O S : 0 0 0 3 0 8 7 3 8 5 0 0 0 0 7 	 2 2 9 8 4 4 1 4 	 
 J 	 F e l l e r ,   J ;   F i n n e g a n ,   P ;   H a y e s ,   J ;   O ' R e i l l y ,   P 	 	 	 	 F e l l e r ,   J o s e p h ;   F i n n e g a n ,   P a t r i c k ;   H a y e s ,   J e r e m y ;   O ' R e i l l y ,   P h i l i p 	 	 	 ' O r c h e s t r a t i n g '   s u s t a i n a b l e   c r o w d s o u r c i n g :   A   c h a r a c t e r i s a t i o n   o f   s o l v e r   b r o k e r a g e s 	 J O U R N A L   O F   S T R A T E G I C   I N F O R M A T I O N   S Y S T E M S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 O p e n   i n n o v a t i o n ;   C r o w d s o u r c i n g ;   I n t e r o r g a n i s a t i o n a l   s y s t e m s ;   K n o w l e d g e   m o b i l i t y ;   A p p r o p r i a b i l i t y ;   S t a b i l i t y 	 O P E N - S O U R C E   S O F T W A R E ;   E L E C T R O N I C   H I E R A R C H I E S ;   I N F O R M A T I O N - S Y S T E M S ;   I N N O V A T I O N ;   G O V E R N A N C E ;   S T R A T E G Y ;   T E C H N O L O G Y ;   K N O W L E D G E ;   M A R K E T S ;   P O L I C Y 	 E x e m p l a r s   o f   o p e n   i n n o v a t i o n   h a v e   r e v e a l e d   t h a t   i n t e l l e c t u a l   p r o p e r t y   ( I P )   n e e d   n o t   o n l y   b e   s o u r c e d   t h r o u g h   e x i s t i n g   h i e r a r c h i c a l   o r   m a r k e t   r e l a t i o n s h i p s .   R a t h e r   I P   c a n   b e   a c q u i r e d   f r o m   i n d i v i d u a l s   a n d   f i r m s   w i t h   w h o m   a n   o r g a n i z a t i o n   h a s   n o   p r i o r   r e l a t i o n s h i p .   I n   s u c h   c a s e s ,   a n   i n t e r m e d i a r y ,   o p e r a t i n g   a s   a n   i n n o v a t i o n   e x c h a n g e   o r   b r o k e r a g e ,   f r e q u e n t l y   f a c i l i t a t e s   t h e   d e v e l o p m e n t   a n d   a c q u i s i t i o n   o f   I P .   T h i s   p a p e r   e x a m i n e s   o n e   t y p e   o f   i n n o v a t i o n   i n t e r m e d i a r y ,   t h e   ' S o l v e r   B r o k e r a g e , '   w h i c h   e n a b l e s   i n n o v a t i o n   e x c h a n g e s   b e t w e e n   o r g a n i z a t i o n s   a n d   u n k n o w n   e x t e r n a l   f i r m s   a n d   i n d i v i d u a l s   ( i . e .   a   c r o w d s o u r c i n g   p r o c e s s ) .   W h i l e   t h e   c o m m e r c i a l   s u c c e s s   o f   S o l v e r   B r o k e r a g e s   i n d i c a t e s   t h e   p o t e n c y   o f   a r g u m e n t s   c o n c e r n i n g   t h e   p o t e n t i a l   o f   c r o w d s o u r c i n g ,   l i t t l e   i s   k n o w n   a b o u t   t h e   o p e r a t i o n   o f   s u c h   b r o k e r a g e s   o r   t h e   c r o w d s o u r c i n g   p r o c e s s e s   t h a t   t h e y   e n a b l e .   T h i s   p a p e r   e x a m i n e s   e x t a n t   r e s e a r c h   o n   i n n o v a t i o n   n e t w o r k s ,   c r o w d s o u r c i n g ,   a n d   e l e c t r o n i c   m a r k e t p l a c e s   t o   i d e n t i f y   t h r e e   p r o c e s s e s   ( k n o w l e d g e   m o b i l i t y ,   a p p r o p r i a b i l i t y   a n d   s t a b i l i t y )   t h a t   w e   a r g u e   a r e   n e c e s s a r y   t o   ' o r c h e s t r a t e '   c r o w d s o u r c i n g .   U s i n g   a   f i e l d   s t u d y   o f   f o u r   S o l v e r   B r o k e r a g e s ,   a n   i n n o v a t i o n   s e e k i n g   o r g a n i z a t i o n ,   a s   w e l l   a s   1 5   i n n o v a t i o n   p r o v i d e r s   ( i . e .   m e m b e r s   o f   t h e   ' c r o w d ' ) ,   t h e   p a p e r   i l l u s t r a t e s   t h e   w a y s   i n   w h i c h   t h e   t h r e e   o r c h e s t r a t i o n   p r o c e s s e s   a r e   e n h a n c e d   i n   S o l v e r   B r o k e r a g e s .   I t   r e v e a l s   t h a t   w h i l e   k n o w l e d g e   m o b i l i t y   a n d   a p p r o p r i a b i l i t y   p r o c e s s e s   c a n   b e   e n h a n c e d   b y   a c t i v i t i e s   u n d e r   t h e   c o n t r o l   o f   t h e   S o l v e r   B r o k e r a g e ,   s t a b i l i t y   i s   l a r g e l y   d e t e r m i n e d   b y   i n n o v a t i o n   s e e k i n g   o r g a n i z a t i o n s   a n d   t h e   i n n o v a t i o n   p r o v i d e r s .   T h e   p a p e r   c o n c l u d e s   t h a t   b r o k e r - p r o v i d e d   v a l u e - a d d e d   ' o r c h e s t r a t i o n '   s e r v i c e s   n e e d   t o   e n a b l e   k n o w l e d g e   m o b i l i t y   a n d   a p p r o p r i a b i l i t y ,   a n d   t o   e n s u r e   t h a t   ' u n s u c c e s s f u l '   i n n o v a t i o n   s e e k e r s   a n d   p r o v i d e r s   a p p r o p r i a t e   s u f f i c i e n t   v a l u e   t o   p a r t i c i p a t e   a g a i n .   ( C )   2 0 1 2   E l s e v i e r   B . V .   A l l   r i g h t s   r e s e r v e d . 	 [ F e l l e r ,   J o s e p h ;   H a y e s ,   J e r e m y ;   O ' R e i l l y ,   P h i l i p ]   N a t l   U n i v   I r e l a n d   U n i v   C o l l   C o r k ,   D e p t   A c c o u n t i n g   F i n a n c e   &   I n f o r m a t   S y s t ,   C o r k ,   I r e l a n d ;   [ F i n n e g a n ,   P a t r i c k ]   U n i v   N e w   S   W a l e s ,   A u s t r a l i a n   S c h   B u s i n e s s ,   S y d n e y ,   N S W ,   A u s t r a l i a 	 H a y e s ,   J   ( r e p r i n t   a u t h o r ) ,   N a t l   U n i v   I r e l a n d   U n i v   C o l l   C o r k ,   D e p t   A c c o u n t i n g   F i n a n c e   &   I n f o r m a t   S y s t ,   C o r k ,   I r e l a n d . 	 j f e l l e r @ a f i s . u c c . i e ;   p . f i n n e g a n @ u n s w . e d u . a u ;   j . h a y e s @ u c c . i e ;   P h i l i p . o r e i l l y @ u c c . i e 	 	 	 	 	 A h o n e n   M . ,   2 0 0 7 ,   P   E U R   A C   M A N   C ;   A l m i r a l l   E ,   2 0 1 0 ,   A C A D   M A N A G E   R E V ,   V 3 5 ,   P 2 7 ;   B a k o s   Y . ,   1 9 9 1 ,   M I S   Q ,   V 1 5 ,   P 2 9 5 ;   B l a u   J ,   2 0 0 7 ,   R E S   T E C H N O L   M A N A G E ,   V 5 0 ,   P 9 ;   B r a b h a m   D . ,   2 0 0 9 ,   F L O W   C R I T I C A L   F O R U M ,   V 9 ;   B u c k l e y   J . ,   1 9 7 6 ,   R E S   M E T H O D O L O G Y   B U S I ;   C a s h   J . I . ,   1 9 8 5 ,   H A R V A R D   B U S   R E V ,   V 6 3 ,   P 1 3 1 ;   C h e s b r o u g h   H . ,   2 0 0 3 ,   O P E N   I N N O V A T I O N   N E W ;   C h e s b r o u g h   H . ,   2 0 0 8 ,   O P E N   I N N O V A T I O N   R E S ,   P 1 ;   C l e m o n s   E .   K . ,   1 9 9 0 ,   J o u r n a l   o f   M a n a g e m e n t   I n f o r m a t i o n   S y s t e m s ,   V 6 ;   C l o o d t   M . ,   2 0 0 6 ,   O P E N   I N N O V A T I O N   R E S ,   P 2 5 8 ;   C o a s e   R H ,   1 9 3 7 ,   E C O N O M I C A - N E W   S E R ,   V 4 ,   P 3 8 6 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 8 - 0 3 3 5 . 1 9 3 7 . t b 0 0 0 0 2 . x ;   C u i   Z J ,   2 0 0 9 ,   R E S   T E C H N O L   M A N A G E ,   V 5 2 ,   P 5 4 ;   d e   W i t   J . ,   2 0 0 7 ,   J   B U S I N E S S   C H E M ,   V 4 ,   P 1 1 ;   D h a n a r a j   C ,   2 0 0 6 ,   A C A D   M A N A G E   R E V ,   V 3 1 ,   P 6 5 9 ;   D i   G a n g i   P M ,   2 0 0 9 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 8 ,   P 3 0 3 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 9 . 0 4 . 0 0 4 ;   E b n e r   W ,   2 0 0 9 ,   R & D   M A N A G E ,   V 3 9 ,   P 3 4 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 9 . 0 0 5 6 4 . x ;   F e l l e r   J ,   2 0 0 9 ,   I N F O R M   T E C H N O L   P E O P L ,   V 2 2 ,   P 2 9 7 ,   D O I   1 0 . 1 1 0 8 / 0 9 5 9 3 8 4 0 9 1 1 0 0 2 4 2 3 ;   F e l l e r   J ,   2 0 1 1 ,   E U R   J   I N F O R M   S Y S T ,   V 2 0 ,   P 3 5 8 ,   D O I   1 0 . 1 0 5 7 / e j i s . 2 0 1 0 . 6 5 ;   F e l l e r   J . ,   2 0 1 0 ,   P   1 8   E U R   C   I N F   S Y S T ,   P 7 ;   F i t z g e r a l d   B ,   2 0 0 6 ,   M I S   Q U A R T ,   V 3 0 ,   P 5 8 7 ;   G a l l i e r s   R .   D . ,   1 9 9 2 ,   I N F O R M A T I O N   S Y S T E M S ,   P 1 4 4 ;   G l a s e r   B . ,   1 9 6 7 ,   D I S C O V E R Y   G R O U N D E D   T ;   G o l d e n   W ,   2 0 0 4 ,   T E C H N O L   A N A L   S T R A T E G ,   V 1 6 ,   P 2 9 9 ,   D O I   1 0 . 1 0 8 0 / 0 9 5 3 7 3 2 0 4 2 0 0 0 2 5 1 1 1 5 ;   G R A N O V E T T E R   M ,   1 9 9 2 ,   N E T W O R K S   A N D   O R G A N I Z A T I O N S   :   S T R U C T U R E ,   F O R M ,   A N D   A C T I O N ,   P 2 5 ;   G w y n n e   P ,   2 0 0 7 ,   R E S   T E C H N O L   M A N A G E ,   V 5 0 ,   P 8 ;   H a r g a d o n   A . ,   1 9 9 7 ,   A D M   S C I   Q ,   V 4 2 ,   P 7 1 8 ,   D O I   D O I   1 0 . 2 3 0 7 / 2 3 9 3 6 5 5 ;   H a y e k   F A ,   1 9 4 5 ,   A M   E C O N   R E V ,   V 3 5 ,   P 5 1 9 ;   H E N D E R S O N   J C ,   1 9 9 0 ,   S L O A N   M A N A G E   R E V ,   V 3 1 ,   P 7 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   H o w e l l s   J ,   2 0 0 6 ,   R E S   P O L I C Y ,   V 3 5 ,   P 7 1 5 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 6 . 0 3 . 0 0 5 ;   H u s t o n   L . ,   2 0 0 6 ,   H A R V A R D   B U S I N E S S   M A R ,   P 6 3 ;   J O N E S   C ,   1 9 9 7 ,   A C A D   M A N A G E   R E V ,   V 2 2 ,   P 9 1 1 ,   D O I   D O I   1 0 . 2 3 0 7 / 2 5 9 2 4 9 ;   K a m b i l   A ,   1 9 9 8 ,   I N F O R M   S Y S T   R E S ,   V 9 ,   P 1 ,   D O I   1 0 . 1 2 8 7 / i s r e . 9 . 1 . 1 ;   K A U F M A N   F ,   1 9 6 6 ,   H A R V A R D   B U S   R E V ,   V 4 4 ,   P 1 4 1 ;   L a n e   C . ,   2 0 0 7 ,   I N D   I N N O V ,   V 1 4 ,   P 5 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 6 2 7 1 0 6 0 1 1 3 0 5 7 4 ;   L a t o u r   B ,   2 0 0 5 ,   R E A S S E M B L I N G   S O C I A L ;   L e e   A S ,   2 0 0 3 ,   I N F O R M   S Y S T   R E S ,   V 1 4 ,   P 2 2 1 ,   D O I   1 0 . 1 2 8 7 / i s r e . 1 4 . 3 . 2 2 1 . 1 6 5 6 0 ;   L e e   H .   G . ,   1 9 9 6 ,   I N T   J   E L E C T R O N   C O M M ,   V 1 ,   P 1 2 7 ;   L e g n e r   C ,   2 0 0 8 ,   J   A S S O C   I N F   S Y S T ,   V 9 ,   P 1 1 9 ;   L i c h t e n t h a l e r   U . ,   2 0 0 8 ,   C R E A T I V I T Y   I N N O V A T I O ,   V 1 7 ,   P 1 4 ,   D O I   D O I   1 0 . 1 1 1 1 / J . 1 4 6 7 - 8 6 9 1 . 2 0 0 7 . 0 0 4 6 1 . X ;   L i n d e r   J C ,   2 0 0 3 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 4 ,   P 4 3 ;   M a j c h r z a k   A . ,   2 0 0 0 ,   I n f o r m a t i o n   R e s o u r c e s   M a n a g e m e n t   J o u r n a l ,   V 1 3 ,   D O I   1 0 . 4 0 1 8 / i r m j . 2 0 0 0 0 1 0 1 0 4 ;   M a j c h r z a k   A ,   2 0 0 0 ,   M I S   Q U A R T ,   V 2 4 ,   P 5 6 9 ,   D O I   1 0 . 2 3 0 7 / 3 2 5 0 9 4 8 ;   M A L O N E   T W ,   1 9 8 7 ,   C O M M U N   A C M ,   V 3 0 ,   P 4 8 4 ,   D O I   1 0 . 1 1 4 5 / 2 1 4 7 6 2 . 2 1 4 7 6 6 ;   M a r s h a l l   C . ,   1 9 8 9 ,   D E S I G N I N G   Q U A L I T A T I V ;   M c G r a t h   J . ,   1 9 7 9 ,   R E S   O R G   I S S U E S   C O N T R ,   P 4 ;   M o t z e k   R ,   2 0 0 7 ,   M O T I V A T I O N   O P E N   I N N O ;   N o n a k a   I . ,   2 0 0 3 ,   I N T   H D B   I N N O V A T I O N ;   O R L I K O W S K I   W J ,   1 9 9 3 ,   M I S   Q U A R T ,   V 1 7 ,   P 3 0 9 ,   D O I   1 0 . 2 3 0 7 / 2 4 9 7 7 4 ;   P e r e i r a   A . V . ,   2 0 0 7 ,   C U T T E R   B E N C H M A R K   R E V ,   V 7 ,   P 1 2 ;   R O S E N T H A L   D ,   1 9 9 3 ,   I N F O R M   M A N A G E ,   V 2 5 ,   P 1 0 5 ,   D O I   1 0 . 1 0 1 6 / 0 3 7 8 - 7 2 0 6 ( 9 3 ) 9 0 0 5 2 - U ;   S A R K E R   S ,   2 0 0 0 ,   P   3 3   H A W   I N T   C   S Y S T ;   S H I R K Y   C L A Y ,   2 0 0 8 ,   H E R E   C O M E S   E V E R Y B O D Y ;   S o h   C ,   2 0 0 6 ,   M I S   Q U A R T ,   V 3 0 ,   P 7 0 5 ;   S t r a u s s   A .   L . ,   1 9 9 0 ,   B A S I C S   Q U A L I T A T I V E   R ;   S u n s t e i n   C .   R . ,   2 0 0 6 ,   I N F O T O P I A   M A N Y   M I N D S ;   S u r o w i e k i   J a m e s ,   2 0 0 4 ,   W I S D O M   C R O W D S ;   T a p s c o t t   D . ,   2 0 0 6 ,   W I K I N O M I C S   M A S S   C O L L ;   T e e c e   D J ,   2 0 1 0 ,   L O N G   R A N G E   P L A N N ,   V 4 3 ,   P 1 7 2 ,   D O I   1 0 . 1 0 1 6 / j . l r p . 2 0 0 9 . 0 7 . 0 0 3 ;   T E E C E   D J ,   1 9 8 6 ,   R E S   P O L I C Y ,   V 1 5 ,   P 2 8 5 ,   D O I   1 0 . 1 0 1 6 / 0 0 4 8 - 7 3 3 3 ( 8 6 ) 9 0 0 2 7 - 2 ;   T i d d   J . ,   2 0 0 5 ,   M A N A G I N G   I N N O V A T I O N ;   U r q u h a r t   C . ,   1 9 9 7 ,   I N F O R M   S Y S T E M S   Q U A L I ;   V a n   d e   V e n   A .   H . ,   1 9 7 6 ,   A C A D   M A N A G E   R E V ,   V 1 ,   P 2 4 ,   D O I   1 0 . 2 3 0 7 / 2 5 7 7 2 2 ;   V o n   H i p p e l   E ,   2 0 0 6 ,   D E M O C R A T I Z I N G   I N N O V A ;   v o n   H i p p e l   E ,   2 0 0 1 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 2 ,   P 8 2 ;   v o n   K r o g h   G ,   1 9 9 8 ,   C A L I F   M A N A G E   R E V ,   V 4 0 ,   P 1 3 3 ;   W a t k i n s   D ,   1 9 8 6 ,   S M A L L   B U S I N E S S   R E S ,   P 2 1 5 ;   W h i t l a   P . ,   2 0 0 9 ,   C O N T   M A N A G E M E N T   R E S ,   V 5 ,   P 1 5 ;   W i l l i a m s o n   O . ,   1 9 7 5 ,   M A R K E T S   H I E R A R C H I E S ;   W I L L I A M S O N   O E ,   1 9 9 1 ,   A D M I N   S C I   Q U A R T ,   V 3 6 ,   P 2 6 9 ,   D O I   1 0 . 2 3 0 7 / 2 3 9 3 3 5 6 ;   W i l l i a m s o n   O E ,   1 9 9 9 ,   S T R A T E G I C   M A N A G E   J ,   V 2 0 ,   P 1 0 8 7 ,   D O I   1 0 . 1 0 0 2 / ( S I C I ) 1 0 9 7 - 0 2 6 6 ( 1 9 9 9 1 2 ) 2 0 : 1 2 < 1 0 8 7 : : A I D - S M J 7 1 > 3 . 3 . C O ; 2 - Q ;   W I L L I A M S O N   O E ,   1 9 8 1 ,   J   E C O N   L I T ,   V 1 9 ,   P 1 5 3 7 	 7 3 	 5 	 6 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 0 9 6 3 - 8 6 8 7 	 1 8 7 3 - 1 1 9 8 	 	 J   S T R A T E G I C   I N F   S Y S T 	 J .   S t r a t e g .   I n f .   S y s t . 	 S E P 	 2 0 1 2 	 2 1 	 3 	 	 	 	 	 2 1 6 	 2 3 2 	 	 1 0 . 1 0 1 6 / j . j s i s . 2 0 1 2 . 0 3 . 0 0 2 	 	 1 7 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 C o m p u t e r   S c i e n c e ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 0 2 4 J I 	 W O S : 0 0 0 3 1 0 1 0 5 1 0 0 0 0 5 	 	 
 J 	 D e k e l ,   O ;   G e n t i l e ,   C ;   S r i d h a r a n ,   K 	 	 	 	 D e k e l ,   O f e r ;   G e n t i l e ,   C l a u d i o ;   S r i d h a r a n ,   K a r t h i k 	 	 	 S e l e c t i v e   S a m p l i n g   a n d   A c t i v e   L e a r n i n g   f r o m   S i n g l e   a n d   M u l t i p l e   T e a c h e r s 	 J O U R N A L   O F   M A C H I N E   L E A R N I N G   R E S E A R C H 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 o n l i n e   l e a r n i n g ;   r e g r e t ;   l a b e l - e f f i c i e n t ;   c r o w d s o u r c i n g 	 A L G O R I T H M ;   B O U N D S ;   C L A S S I F I E R S ;   R E G R E S S I O N ;   R E G R E T ;   R I S K 	 W e   p r e s e n t   a   n e w   o n l i n e   l e a r n i n g   a l g o r i t h m   i n   t h e   s e l e c t i v e   s a m p l i n g   f r a m e w o r k ,   w h e r e   l a b e l s   m u s t   b e   a c t i v e l y   q u e r i e d   b e f o r e   t h e y   a r e   r e v e a l e d .   W e   p r o v e   b o u n d s   o n   t h e   r e g r e t   o f   o u r   a l g o r i t h m   a n d   o n   t h e   n u m b e r   o f   l a b e l s   i t   q u e r i e s   w h e n   f a c e d   w i t h   a n   a d a p t i v e   a d v e r s a r i a l   s t r a t e g y   o f   g e n e r a t i n g   t h e   i n s t a n c e s .   O u r   b o u n d s   b o t h   g e n e r a l i z e   a n d   s t r i c t l y   i m p r o v e   o v e r   p r e v i o u s   b o u n d s   i n   s i m i l a r   s e t t i n g s .   A d d i t i o n a l l y ,   o u r   s e l e c t i v e   s a m p l i n g   a l g o r i t h m   c a n   b e   c o n v e r t e d   i n t o   a n   e f f i c i e n t   s t a t i s t i c a l   a c t i v e   l e a r n i n g   a l g o r i t h m .   W e   e x t e n d   o u r   a l g o r i t h m   a n d   a n a l y s i s   t o   t h e   m u l t i p l e - t e a c h e r   s e t t i n g ,   w h e r e   t h e   a l g o r i t h m   c a n   c h o o s e   w h i c h   s u b s e t   o f   t e a c h e r s   t o   q u e r y   f o r   e a c h   l a b e l .   F i n a l l y ,   w e   d e m o n s t r a t e   t h e   e f f e c t i v e n e s s   o f   o u r   t e c h n i q u e s   o n   a   r e a l - w o r l d   I n t e r n e t   s e a r c h   p r o b l e m . 	 [ D e k e l ,   O f e r ]   M i c r o s o f t   R e s ,   R e d m o n d ,   W A   9 8 0 5 2   U S A ;   [ G e n t i l e ,   C l a u d i o ]   U n i v   I n s u b r i a ,   D i S T A ,   I - 2 1 1 0 0   V a r e s e ,   I t a l y ;   [ S r i d h a r a n ,   K a r t h i k ]   U n i v   P e n n ,   W h a r t o n   S c h ,   D e p t   S t a t ,   P h i l a d e l p h i a ,   P A   1 9 1 0 4   U S A 	 D e k e l ,   O   ( r e p r i n t   a u t h o r ) ,   M i c r o s o f t   R e s ,   1   M i c r o s o f t   W a y ,   R e d m o n d ,   W A   9 8 0 5 2   U S A . 	 O F E R D @ M I C R O S O F T . C O M ;   C L A U D I O . G E N T I L E @ U N I N S U B R I A . I T ;   S K A R T H I K @ W H A R T O N . U P E N N . E D U 	 	 	 P A S C A L 2   N e t w o r k   o f   E x c e l l e n c e   u n d e r   E C   g r a n t   [ 2 1 6 8 8 6 ] 	 W e   t h a n k   t h e   A c t i o n   E d i t o r   f o r   h i s   t i m e l y   h a n d l i n g   o f   t h i s   p a p e r .   W e   a l s o   t h a n k   t h e   a n o n y m o u s   r e v i e w e r s   f o r   t h e i r   h e l p f u l   c o m m e n t s .   T h i s   r e s e a r c h   w a s   d o n e   w h i l e   t h e   s e c o n d   a n d   t h e   t h i r d   a u t h o r s   w e r e   v i s i t i n g   M i c r o s o f t   R e s e a r c h   a t   R e d m o n d .   T h e   s e c o n d   a u t h o r   a c k n o w l e d g e s   t h e   P A S C A L 2   N e t w o r k   o f   E x c e l l e n c e   u n d e r   E C   g r a n t   2 1 6 8 8 6   f o r   s u p p o r t i n g   t r a v e l   e x p e n s e s   t o   t h e   c o n f e r e n c e . 	 A r g a l l   B .   D . ,   2 0 0 9 ,   P   2 0 0 9   I E E E   I N T   C   R O ,   P 2 2 6 ;   A z o u r y   K S ,   2 0 0 1 ,   M A C H   L E A R N ,   V 4 3 ,   P 2 1 1 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 1 0 8 9 6 0 1 2 1 5 7 ;   B a c h   F . ,   2 0 0 6 ,   N 1 5 0 6 M M   E C   M I N   P A R ;   B a l c a n   M . ,   2 0 0 8 ,   P   2 1   A N N   C   L E A R N   T H E ,   P 4 5 ;   B a l c a n   M F ,   2 0 0 7 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 5 3 9 ,   P 3 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 7 2 9 2 7 - 3 _ 5 ;   B a l c a n   M - F ,   2 0 0 6 ,   P   2 3   I N T   C   M A C H   L E A R ,   P 6 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 1 4 3 8 4 4 . 1 1 4 3 8 5 3 ] ;   B e y g e l z i m e r   A . ,   2 0 1 0 ,   A D V   N E U R A L   I N F O R M   P R ,   V 2 4 ,   P 1 9 9 ;   B e y g e l z i m e r   A . ,   2 0 1 1 ,   I C M L   2 0 1 1   W O R K S H   O N ;   B u r l   M . ,   1 9 9 5 ,   A D V   N E U R A L   I N F O R M   P R ,   V 7 ,   P 1 0 8 5 ;   C a s t r o   R M ,   2 0 0 8 ,   I E E E   T   I N F O R M   T H E O R Y ,   V 5 4 ,   P 2 3 3 9 ,   D O I   1 0 . 1 1 0 9 / T I T . 2 0 0 8 . 9 2 0 1 8 9 ;   C a v a l l a n t i   G . ,   2 0 0 9 ,   A D V   N E U R A L   I N F O R M   P R ,   P 2 4 9 ;   C e s a - B i a n c h i   N ,   2 0 0 3 ,   L E C T   N O T E S   A R T I F   I N T ,   V 2 7 7 7 ,   P 3 7 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 4 5 1 6 7 - 9 _ 2 8 ;   C e s a - B i a n c h i   N . ,   2 0 0 6 ,   P R E D I C T I O N   L E A R N I N G ;   C e s a - B i a n c h i   N . ,   2 0 0 9 ,   P   2 6   I N T   C   M A C H   L E A R ,   P 1 2 1 ;   C e s a - B i a n c h i   N ,   2 0 0 8 ,   I E E E   T   I N F O R M   T H E O R Y ,   V 5 4 ,   P 3 8 6 ,   D O I   1 0 . 1 1 0 9 / T I T . 2 0 0 7 . 9 1 1 2 9 2 ;   C e s a - B i a n c h i   N . ,   2 0 0 6 ,   J   M A C H I N E   L E A R N I N G   R ,   V 7 ,   P 1 0 2 5 ;   C e s a - B i a n c h i   N ,   2 0 0 5 ,   S I A M   J   C O M P U T ,   V 3 4 ,   P 6 4 0 ,   D O I   1 0 . 1 1 3 7 / S 0 0 9 7 5 3 9 7 0 3 4 3 2 5 4 2 ;   C e s a - B i a n c h i   N ,   2 0 0 5 ,   I E E E   T   I N F O R M   T H E O R Y ,   V 5 1 ,   P 2 1 5 2 ,   D O I   1 0 . 1 1 0 9 / T I T . 2 0 0 5 . 8 4 7 7 2 9 ;   C h e n   S . ,   2 0 1 0 ,   P   2 4   A A A I   C   A R T   I N T ,   P 4 1 9 ;   C o h n   R . ,   1 9 9 0 ,   A D V   N E U R A L   I N F O R M   P R ,   V 2 ,   P 5 6 6 ;   C r a m m e r   K . ,   2 0 1 1 ,   P   2 8   I N T   C   M A C H   L E A R ,   P 2 7 3 ;   C r a m m e r   K ,   2 0 0 8 ,   J   M A C H   L E A R N   R E S ,   V 9 ,   P 1 7 5 7 ;   D a n i   V . ,   2 0 0 8 ,   P   2 1   A N N   C   L E A R N   T H E ,   P 3 5 5 ;   D a s g u p t a   S ,   2 0 0 5 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 5 5 9 ,   P 2 4 9 ,   D O I   1 0 . 1 0 0 7 / 1 1 5 0 3 4 1 5 _ 1 7 ;   D a s g u p t a   S . ,   2 0 0 8 ,   A D V   N E U R A L   I N F O R M   P R ,   V 2 1 ,   P 3 5 3 ;   D a w i d   A P ,   1 9 7 9 ,   A P P L I E D   S T A T I S T I C S ,   V 2 8 ,   P 2 0 ,   D O I   1 0 . 2 3 0 7 / 2 3 4 6 8 0 6 ;   D e k e l   O . ,   2 0 0 9 ,   P   2 6   I N T   C   M A C H   L E A R ,   P 2 1 6 ;   D e k e l   O f e r ,   2 0 0 9 ,   P   2 2   A N N   C   L E A R N   T H E ;   D o m n e z   P . ,   2 0 1 0 ,   T H E S I S   C A R N E G I E   M E L L ;   D o n m e z   P . ,   2 0 1 0 ,   P   S I A M   I N T   C   D A T   M I N ,   P 8 2 6 ;   D o n m e z   P ,   2 0 0 9 ,   K D D - 0 9 :   1 5 T H   A C M   S I G K D D   C O N F E R E N C E   O N   K N O W L E D G E   D I S C O V E R Y   A N D   D A T A   M I N I N G ,   P 2 5 9 ;   D o n m e z   P . ,   2 0 0 8 ,   P   1 7   A C M   C   I N F   K N O W L ,   P 6 1 9 ,   D O I   1 0 . 1 1 4 5 / 1 4 5 8 0 8 2 . 1 4 5 8 1 6 5 ;   F r e u n d   Y ,   1 9 9 7 ,   M A C H   L E A R N ,   V 2 8 ,   P 1 3 3 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 0 7 3 3 0 5 0 8 5 3 4 ;   G r o o t   P ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 7 9 2 ,   P 1 5 9 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 1 7 3 8 - 8 _ 2 1 ;   H a n n e k e   S . ,   2 0 0 9 ,   P   2 2   A N N   C   L E A R N   T H E ;   H a n n e k e   S t e v e ,   2 0 0 7 ,   P   2 4   I N T   C   M A C H   L E A R ,   P 3 5 3 ,   D O I   1 0 . 1 1 4 5 / 1 2 7 3 4 9 6 . 1 2 7 3 5 4 1 ;   H a z a n   E ,   2 0 0 7 ,   M A C H   L E A R N ,   V 6 9 ,   P 1 6 9 ,   D O I   1 0 . 1 0 0 7 / s 1 0 9 9 4 - 0 0 7 - 5 0 1 6 - 8 ;   H e l m b o l d   D . ,   1 9 9 7 ,   P r o c e e d i n g s   o f   t h e   T e n t h   A n n u a l   C o n f e r e n c e   o n   C o m p u t a t i o n a l   L e a r n i n g   T h e o r y ,   D O I   1 0 . 1 1 4 5 / 2 6 7 4 6 0 . 2 6 7 5 0 2 ;   H O E R L   A E ,   1 9 7 0 ,   T E C H N O M E T R I C S ,   V 1 2 ,   P 5 5 ,   D O I   D O I   1 0 . 1 0 8 0 / 0 0 4 0 1 7 0 6 . 1 9 7 0 . 1 0 4 8 8 6 3 4 ;   H u i   S   L ,   1 9 9 8 ,   S t a t   M e t h o d s   M e d   R e s ,   V 7 ,   P 3 5 4 ,   D O I   1 0 . 1 1 9 1 / 0 9 6 2 2 8 0 9 8 6 7 1 1 9 2 3 5 2 ;   K a k a d e   S . ,   2 0 0 8 ,   A D V   N E U R A L   I N F O R M   P R ,   P 8 0 1 ;   K o l t c h i n s k i i   V ,   2 0 1 0 ,   J   M A C H   L E A R N   R E S ,   V 1 1 ,   P 2 4 5 7 ;   L A I   T L ,   1 9 8 2 ,   A N N   S T A T ,   V 1 0 ,   P 1 5 4 ,   D O I   1 0 . 1 2 1 4 / a o s / 1 1 7 6 3 4 5 6 9 7 ;   L i   L . ,   2 0 0 8 ,   P   2 5   I N T   C   M A C H   L E A R ,   P 5 6 8 ,   D O I   1 0 . 1 1 4 5 / 1 3 9 0 1 5 6 . 1 3 9 0 2 2 8 ;   L I T T L E S T O N E   N ,   1 9 9 4 ,   I N F O R M   C O M P U T ,   V 1 0 8 ,   P 2 1 2 ,   D O I   1 0 . 1 0 0 6 / i n c o . 1 9 9 4 . 1 0 0 9 ;   M a n s o u r   Y . ,   2 0 0 9 ,   A D V   N E U R A L   I N F O R M   P R ,   V 2 1 ,   P 1 0 4 1 ;   M a n s o u r   Y . ,   2 0 0 9 ,   P   2 5   C   U N C   A R T   I N T ,   P 3 6 7 ;   M e l v i l l e   P . ,   2 0 0 5 ,   K D D   W O R K S H   U T   B A S   D A ;   O r a b o n a   F . ,   2 0 1 1 ,   P   2 8   I N T   C   M A C H   L E A R ,   P 4 3 3 ;   R a y k a r   V C ,   2 0 1 0 ,   J   M A C H   L E A R N   R E S ,   V 1 1 ,   P 1 2 9 7 ;   S h e n g   V . S . ,   2 0 0 8 ,   1 4   A C M   S I G K D D   I N T   C ,   P 6 1 4 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   S p i e g e l h a l t e r   D   J ,   1 9 8 3 ,   S t a t   M e d ,   V 2 ,   P 3 3 ,   D O I   1 0 . 1 0 0 2 / s i m . 4 7 8 0 0 2 0 1 0 5 ;   S t r e h l   A . ,   2 0 0 8 ,   A D V   N E U R A L   I N F O R M   P R ,   P 1 4 1 7 ;   T s y b a k o v   A B ,   2 0 0 4 ,   A N N   S T A T ,   V 3 2 ,   P 1 3 5 ;   V o v k   V ,   2 0 0 1 ,   I N T   S T A T   R E V ,   V 6 9 ,   P 2 1 3 ;   Y a n   Y ,   2 0 1 0 ,   P   1 3   I N T   C   A R T   I N T   S ,   P 9 3 2 ;   Y a n   Y . ,   2 0 1 1 ,   P   2 8   I N T   C   M A C H   L E A R ,   P 1 1 6 1 ;   Y a n g   L . ,   2 0 0 9 ,   C M U M L 0 9 1 1 4 ;   Y a n g   L . ,   2 0 0 9 ,   C M U M L 0 9 1 1 3 	 6 0 	 3 	 3 	 M I C R O T O M E   P U B L 	 B R O O K L I N E 	 3 1   G I B B S   S T ,   B R O O K L I N E ,   M A   0 2 4 4 6   U S A 	 1 5 3 2 - 4 4 3 5 	 	 	 J   M A C H   L E A R N   R E S 	 J .   M a c h .   L e a r n .   R e s . 	 S E P 	 2 0 1 2 	 1 3 	 	 	 	 	 	 2 6 5 5 	 2 6 9 7 	 	 	 	 4 3 	 A u t o m a t i o n   &   C o n t r o l   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e 	 A u t o m a t i o n   &   C o n t r o l   S y s t e m s ;   C o m p u t e r   S c i e n c e 	 0 1 7 H K 	 W O S : 0 0 0 3 0 9 5 8 0 6 0 0 0 0 6 	 	 
 J 	 C h i ,   E H ;   B e r n s t e i n ,   M S 	 	 	 	 C h i ,   E d   H . ;   B e r n s t e i n ,   M i c h a e l   S . 	 	 	 L e v e r a g i n g   O n l i n e   P o p u l a t i o n s   f o r   C r o w d s o u r c i n g 	 I E E E   I N T E R N E T   C O M P U T I N G 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 	 	 	 [ B e r n s t e i n ,   M i c h a e l   S . ]   S t a n f o r d   U n i v ,   D e p t   C o m p   S c i ,   S t a n f o r d ,   C A   9 4 3 0 5   U S A 	 	 c h i @ a c m . o r g ;   m s b @ c s . s t a n f o r d . e d u 	 	 	 	 	 B e r n s t e i n   M . S . ,   2 0 1 0 ,   P   A C M   S   U S   I N T   S O F T W ;   G i l e s   J . ,   N A T U R E ,   V 4 3 8 ,   P 9 0 0 ;   I p e i r o t i s   P . ,   2 0 1 0 ,   C E D E R 1 0 0 1 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   L i c k l i d e r   J . C . R . ,   1 9 6 0 ,   I n s t i t u t e   o f   R a d i o   E n g i n e e r s   T r a n s a c t i o n s   o n   H u m a n   F a c t o r s   i n   E l e c t r o n i c s ,   V H F E - 1 ,   D O I   1 0 . 1 1 0 9 / T H F E 2 . 1 9 6 0 . 4 5 0 3 2 5 9 ;   v o n   A h n   L ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 1 ,   P 1 4 6 5 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 0 3 7 9 	 6 	 1 	 1 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 3 1 4   U S A 	 1 0 8 9 - 7 8 0 1 	 	 	 I E E E   I N T E R N E T   C O M P U T 	 I E E E   I n t e r n e t   C o m p u t . 	 S E P - O C T 	 2 0 1 2 	 1 6 	 5 	 	 	 	 	 1 0 	 1 2 	 	 	 	 3 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 9 9 6 V O 	 W O S : 0 0 0 3 0 8 1 2 3 1 0 0 0 0 3 	 	 
 J 	 M o r r i s ,   R R ;   D o n t c h e v a ,   M ;   G e r b e r ,   E M 	 	 	 	 M o r r i s ,   R o b e r t   R . ;   D o n t c h e v a ,   M i r a ;   G e r b e r ,   E l i z a b e t h   M . 	 	 	 P r i m i n g   f o r   B e t t e r   P e r f o r m a n c e   i n   M i c r o t a s k   C r o w d s o u r c i n g   E n v i r o n m e n t s 	 I E E E   I N T E R N E T   C O M P U T I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 P O S I T I V E   A F F E C T ;   B E H A V I O R 	 A l t h o u g h   m i c r o t a s k   p l a t f o r m s   a r e   d e s i r a b l e   f o r   t h e i r   s p e e d ,   s c a l a b i l i t y ,   a n d   l o w   c o s t ,   t a s k   p e r f o r m a n c e   v a r i e s   g r e a t l y .   M a n y   r e s e a r c h e r s   h a v e   f o c u s e d   o n   i m p r o v i n g   t h e   q u a l i t y   o f   t h e   w o r k   p e r f o r m e d   o n   s u c h   p l a t f o r m s .   P r i m i n g   u s e s   i m p l i c i t   m e c h a n i s m s   t o   i n d u c e   o b s e r v a b l e   c h a n g e s   i n   b e h a v i o r .   A l t h o u g h   p r i m i n g   h a s   b e e n   e f f e c t i v e   i n   t h e   l a b o r a t o r y ,   i t s   u s e   h a s n ' t   b e e n   e x p l o r e d   e x t e n s i v e l y   i n   s o f t w a r e   d e s i g n ,   p e r h a p s   b e c a u s e   t h e   e f f e c t s   a r e   o f t e n   s h o r t - l i v e d .   I n   t h e   c o n t e x t   o f   m i c r o t a s k   c r o w d s o u r c i n g   e n v i r o n m e n t s ,   h o w e v e r ,   w h e r e   t a s k s   a r e   s h o r t   a n d   c i r c u m s c r i b e d ,   t e m p o r a r y   p r i m i n g   e f f e c t s   c a n   l e a d   t o   s i g n i f i c a n t   p e r f o r m a n c e   g a i n s . 	 [ M o r r i s ,   R o b e r t   R . ]   M I T ,   M e d i a   L a b ,   C a m b r i d g e ,   M A   0 2 1 3 9   U S A ;   [ G e r b e r ,   E l i z a b e t h   M . ]   N o r t h w e s t e r n   U n i v ,   E v a n s t o n ,   I L   6 0 2 0 8   U S A 	 M o r r i s ,   R R   ( r e p r i n t   a u t h o r ) ,   M I T ,   M e d i a   L a b ,   C a m b r i d g e ,   M A   0 2 1 3 9   U S A . 	 r m o r r i s @ m e d i a . m i t . e d u ;   m i r a . d o n t c h e v a @ a d o b e . c o m ;   e g e r b e r @ n o r t h w e s t e r n . e d u 	 G e r b e r ,   E l i z a b e t h / B - 7 5 9 4 - 2 0 0 9 	 	 	 	 A c k e r m a n   J M ,   2 0 1 0 ,   S C I E N C E ,   V 3 2 8 ,   P 1 7 1 2 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 8 9 9 9 3 ;   B a r g h   J .   A . ,   2 0 0 0 ,   H D B   R E S   M E T H O D S   S O C I ,   P 2 5 3 ;   B a r g h   J A ,   1 9 9 6 ,   J   P E R S   S O C   P S Y C H O L ,   V 7 1 ,   P 2 3 0 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 2 - 3 5 1 4 . 7 1 . 2 . 2 3 0 ;   B e r n s t e i n   M . S . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 3 1 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 7 8 ;   C o o p e r   S ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 7 5 6 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 9 3 0 4 ;   E r e z   A ,   2 0 0 2 ,   J   A P P L   P S Y C H O L ,   V 8 7 ,   P 1 0 5 5 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 1 - 9 0 1 0 . 8 7 . 6 . 1 0 5 5 ;   H a r r i s   J L ,   2 0 0 9 ,   H E A L T H   P S Y C H O L ,   V 2 8 ,   P 4 0 4 ,   D O I   1 0 . 1 0 3 7 / a 0 0 1 4 3 9 9 ;   H E B B   D O ,   1 9 5 5 ,   P S Y C H O L   R E V ,   V 6 2 ,   P 2 4 3 ,   D O I   1 0 . 1 0 3 7 / h 0 0 4 1 8 2 3 ;   K a u f m a n n   G ,   1 9 9 7 ,   C O G N I T I O N   E M O T I O N ,   V 1 1 ,   P 1 5 1 ;   K i t t u r   A . ,   2 0 1 0 ,   X R D S ,   V 1 7 ,   P 2 2 ;   K i t t u r   A . ,   2 0 0 8 ,   P   A C M   C   H U M   F A C T   C O M ;   L e w i s   S . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 7 3 5 ;   M a n d e l   N ,   2 0 0 2 ,   J   C O N S U M   R E S ,   V 2 9 ,   P 2 3 5 ,   D O I   1 0 . 1 0 8 6 / 3 4 1 5 7 3 ;   M o r r i s   R . R . ,   2 0 1 2 ,   U S I N G   M U S I C   E V O K E D   A ,   V 0 0 2 ;   R o w e   G ,   2 0 0 7 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 4 ,   P 3 8 3 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 6 0 5 1 9 8 1 0 4 ;   V a l e n t i n o   N A ,   2 0 0 2 ,   A M   P O L I T   S C I   R E V ,   V 9 6 ,   P 7 5 ;   W i l l i a m s   L E ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 2 ,   P 6 0 6 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 2 5 4 8 	 1 7 	 2 	 2 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 3 1 4   U S A 	 1 0 8 9 - 7 8 0 1 	 	 	 I E E E   I N T E R N E T   C O M P U T 	 I E E E   I n t e r n e t   C o m p u t . 	 S E P - O C T 	 2 0 1 2 	 1 6 	 5 	 	 	 	 	 1 3 	 1 9 	 	 	 	 7 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 9 9 6 V O 	 W O S : 0 0 0 3 0 8 1 2 3 1 0 0 0 0 4 	 	 
 J 	 V u u r e n s ,   J B P ;   d e   V r i e s ,   A P 	 	 	 	 V u u r e n s ,   J e r o e n   B .   P . ;   d e   V r i e s ,   A r j e n   P . 	 	 	 O b t a i n i n g   H i g h - Q u a l i t y   R e l e v a n c e   J u d g m e n t s   U s i n g   C r o w d s o u r c i n g 	 I E E E   I N T E R N E T   C O M P U T I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 T h e   p e r f o r m a n c e   o f   i n f o r m a t i o n   r e t r i e v a l   ( I R )   s y s t e m s   i s   c o m m o n l y   e v a l u a t e d   u s i n g   a   t e s t   s e t   w i t h   k n o w n   r e l e v a n c e .   C r o w d s o u r c i n g   i s   o n e   m e t h o d   f o r   l e a r n i n g   t h e   r e l e v a n t   d o c u m e n t s   t o   e a c h   q u e r y   i n   t h e   t e s t   s e t .   H o w e v e r ,   t h e   q u a l i t y   o f   r e l e v a n c e   l e a r n e d   t h r o u g h   c r o w d s o u r c i n g   c a n   b e   q u e s t i o n a b l e ,   b e c a u s e   i t   u s e s   w o r k e r s   o f   u n k n o w n   q u a l i t y   w i t h   p o s s i b l e   s p a m m e r s   a m o n g   t h e m .   T o   d e t e c t   s p a m m e r s ,   t h e   a u t h o r s '   a l g o r i t h m   c o m p a r e s   j u d g m e n t s   b e t w e e n   w o r k e r s ;   t h e y   e v a l u a t e   t h e i r   a p p r o a c h   b y   c o m p a r i n g   t h e   c o n s i s t e n c y   o f   c r o w d s o u r c e d   g r o u n d   t r u t h   t o   t h a t   o b t a i n e d   f r o m   e x p e r t   a n n o t a t o r s   a n d   c o n c l u d e   t h a t   c r o w d s o u r c i n g   c a n   m a t c h   t h e   q u a l i t y   o b t a i n e d   f r o m   t h e   l a t t e r . 	 [ V u u r e n s ,   J e r o e n   B .   P . ]   H a g u e   U n i v   A p p l   S c i ,   T h e   H a g u e ,   N e t h e r l a n d s 	 V u u r e n s ,   J B P   ( r e p r i n t   a u t h o r ) ,   H a g u e   U n i v   A p p l   S c i ,   T h e   H a g u e ,   N e t h e r l a n d s . 	 j . b . p . v u u r e n s @ t u d e l f t . n l ;   a r j e n . d e . v r i e s @ c w i . n l 	 	 	 	 	 A l o n s o   O m a r ,   2 0 0 8 ,   S I G I R   F o r u m ,   V 4 2 ,   D O I   1 0 . 1 1 4 5 / 1 4 8 0 5 0 6 . 1 4 8 0 5 0 8 ;   B i e w a l d   L . ,   2 0 1 0 ,   P   S I G I R   W O R K S H   C R O W D ,   P 1 7 ;   B l a n c o   R o i ,   2 0 1 1 ,   P   3 4   I N T   A C M   S I G I R   C ,   P 9 2 3 ;   D e k e l   O f e r ,   2 0 0 9 ,   P   2 2   A N N   C   L E A R N   T H E ;   D o w n s   J S ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 2 3 9 9 ;   E i c k h o f f   C . ,   2 0 1 2 ,   A D V   I N F O R M   I N   P R E S S ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 6 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 9 0 6 ;   K a z a i   G ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 6 1 1 ,   P 1 6 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 0 1 6 1 - 5 _ 1 7 ;   K a z a i   G . ,   2 0 1 1 ,   P   2 0   A C M   I N T   C   I N F   K ,   P 1 9 4 1 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   K o u r i t z i n   M . A . ,   2 0 0 8 ,   I M S   C O L L E C T I O N S   M A R K ,   V 4 ,   P 1 0 7 ;   K r i p p e n d o r f f   K . ,   2 0 0 9 ,   C O N T E N T   A N A L   R E A D E R ;   R z e s z o t a r s k i   J . ,   2 0 1 1 ,   A C M   S   U S   I N T   S O F T W   T ,   P 1 3 ;   S c h o l e r   F . ,   2 0 1 1 ,   P   3 4   A N N   A C M   S P E C   I N ,   P 1 0 6 3 ;   S h e n g   V .   S . ,   2 0 0 8 ,   P   1 4   A C M   S I G K D D   I N T ,   P 6 1 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 0 1 8 9 0 . 1 4 0 1 9 6 5 ;   V o o r h e e s   E M ,   2 0 0 0 ,   I N F O R M   P R O C E S S   M A N A G ,   V 3 6 ,   P 6 9 7 ,   D O I   1 0 . 1 0 1 6 / S 0 3 0 6 - 4 5 7 3 ( 0 0 ) 0 0 0 1 0 - 8 ;   V u u r e n s   J . ,   2 0 1 1 ,   P   A C M   S I G I R   W O R K S H   C ,   P 2 1 ;   Z h u   D o n g q i n g ,   2 0 1 0 ,   P   A C M   S I G I R   2 0 1 0   W O R ,   P 2 1 	 1 8 	 4 	 4 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 3 1 4   U S A 	 1 0 8 9 - 7 8 0 1 	 	 	 I E E E   I N T E R N E T   C O M P U T 	 I E E E   I n t e r n e t   C o m p u t . 	 S E P - O C T 	 2 0 1 2 	 1 6 	 5 	 	 	 	 	 2 0 	 2 7 	 	 	 	 8 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 9 9 6 V O 	 W O S : 0 0 0 3 0 8 1 2 3 1 0 0 0 0 5 	 	 
 J 	 K u l k a r n i ,   A ;   G u t h e i m ,   P ;   N a r u l a ,   P ;   R o l n i t z k y ,   D ;   P a r i k h ,   T ;   H a r t m a n n ,   B 	 	 	 	 K u l k a r n i ,   A n a n d ;   G u t h e i m ,   P h i l i p p ;   N a r u l a ,   P r a y a g ;   R o l n i t z k y ,   D a v i d ;   P a r i k h ,   T a p a n ;   H a r t m a n n ,   B j o e r n 	 	 	 M o b i l e W o r k s :   D e s i g n i n g   f o r   Q u a l i t y   i n   a   M a n a g e d   C r o w d s o u r c i n g   A r c h i t e c t u r e 	 I E E E   I N T E R N E T   C O M P U T I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 O n l i n e   l a b o r   m a r k e t p l a c e s   o f f e r   t h e   p o t e n t i a l   t o   a u t o m a t e   t a s k s   t o o   d i f f i c u l t   f o r   c o m p u t e r s ,   b u t   d o n ' t   a l w a y s   p r o v i d e   a c c u r a t e   r e s u l t s .   M o b i l e W o r k s   i s   a   c r o w d   p l a t f o r m   t h a t   d e p a r t s   f r o m   t h e   m a r k e t p l a c e   m o d e l   t o   p r o v i d e   r o b u s t ,   h i g h - a c c u r a c y   r e s u l t s   u s i n g   t h r e e   n e w   t e c h n i q u e s .   A   d y n a m i c   w o r k - r o u t i n g   s y s t e m   i d e n t i f i e s   e x p e r t i s e   i n   t h e   c r o w d   a n d   e n s u r e s   t h a t   p o s t e d   w o r k   c o m p l e t e s   w i t h i n   a   b o u n d e d   t i m e   w i t h   f a i r   w a g e s .   A   p e e r - m a n a g e m e n t   s y s t e m   h e l p s   p r e v e n t   w r o n g   a n s w e r s .   L a s t ,   s o c i a l   i n t e r a c t i o n   t e c h n i q u e s   l e t   b e s t   w o r k e r s   m a n a g e   a n d   t e a c h   o t h e r   c r o w d   m e m b e r s .   T h i s   p r o c e s s   a l l o w s   t h e   c r o w d   t o   c o l l a b o r a t i v e l y   l e a r n   h o w   t o   s o l v e   n e w   t a s k s . 	 [ K u l k a r n i ,   A n a n d ]   U n i v   C a l i f   B e r k e l e y ,   D e p t   I n d   E n g n   &   O p e r a t   R e s ,   B e r k e l e y ,   C A   9 4 7 2 0   U S A ;   [ P a r i k h ,   T a p a n ]   U n i v   C a l i f   B e r k e l e y ,   S c h   I n f o r m a t ,   B e r k e l e y ,   C A   9 4 7 2 0   U S A ;   [ H a r t m a n n ,   B j o e r n ]   U n i v   C a l i f   B e r k e l e y ,   D e p t   C o m p   S c i ,   B e r k e l e y ,   C A   9 4 7 2 0   U S A 	 	 a n a n d @ m o b i l e w o r k s . c o m ;   p h i l i p p @ m o b i l e w o r k s . c o m ;   p r a y a g e @ m o b i l e w o r k s . c o m ;   d a v e @ m o b i l e w o r k s . c o m ;   p a r i k h @ b e r k e l e y . e d u ;   b j o e r n @ c s . b e r k e l e y . e d u 	 	 	 	 	 	 0 	 2 	 2 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 3 1 4   U S A 	 1 0 8 9 - 7 8 0 1 	 	 	 I E E E   I N T E R N E T   C O M P U T 	 I E E E   I n t e r n e t   C o m p u t . 	 S E P - O C T 	 2 0 1 2 	 1 6 	 5 	 	 	 	 	 2 8 	 3 5 	 	 	 	 8 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 9 9 6 V O 	 W O S : 0 0 0 3 0 8 1 2 3 1 0 0 0 0 6 	 	 
 J 	 C h a t z i m i l i o u d i s ,   G ;   K o n s t a n t i n i d i s ,   A ;   L a o u d i a s ,   C ;   Z e i n a l i p o u r - Y a z t i ,   D 	 	 	 	 C h a t z i m i l i o u d i s ,   G e o r g i o s ;   K o n s t a n t i n i d i s ,   A n d r e a s ;   L a o u d i a s ,   C h r i s t o s ;   Z e i n a l i p o u r - Y a z t i ,   D e m e t r i o s 	 	 	 C r o w d s o u r c i n g   w i t h   S m a r t p h o n e s 	 I E E E   I N T E R N E T   C O M P U T I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 S m a r t p h o n e s   c a n   r e v e a l   c r o w d s o u r c i n g ' s   f u l l   p o t e n t i a l   a n d   l e t   u s e r s   t r a n s p a r e n t l y   c o n t r i b u t e   t o   c o m p l e x   a n d   n o v e l   p r o b l e m   s o l v i n g .   T h i s   e m e r g i n g   a r e a   i s   i l l u s t r a t e d   t h r o u g h   a   t a x o n o m y   t h a t   c l a s s i f i e s   t h e   m o b i l e   c r o w d s o u r c i n g   f i e l d   a n d   t h r o u g h   t h r e e   n e w   a p p l i c a t i o n s   t h a t   o p t i m i z e   l o c a t i o n - b a s e d   s e a r c h   a n d   s i m i l a r i t y   s e r v i c e s   b a s e d   o n   c r o w d - g e n e r a t e d   d a t a .   S u c h   a p p l i c a t i o n s   c a n   b e   d e p l o y e d   o n   S m a r t   L a b ,   a   c l o u d   o f   m o r e   t h a n   4 0   A n d r o i d   d e v i c e s   d e p l o y e d   a t   t h e   U n i v e r s i t y   o f   C y p r u s   t h a t   p r o v i d e s   a n   o p e n   t e s t b e d   t o   f a c i l i t a t e   r e s e a r c h   a n d   d e v e l o p m e n t   o f   s m a r t p h o n e   a p p l i c a t i o n s   o n   a   m a s s i v e   s c a l e . 	 [ C h a t z i m i l i o u d i s ,   G e o r g i o s ;   K o n s t a n t i n i d i s ,   A n d r e a s ]   U n i v   C y p r u s ,   D e p t   C o m p   S c i ,   N i c o s i a ,   C y p r u s ;   [ L a o u d i a s ,   C h r i s t o s ]   U n i v   C y p r u s ,   D e p t   E l e c t   &   C o m p   E n g n ,   N i c o s i a ,   C y p r u s ;   [ L a o u d i a s ,   C h r i s t o s ]   U n i v   C y p r u s ,   K I O S   R e s   C t r ,   N i c o s i a ,   C y p r u s 	 C h a t z i m i l i o u d i s ,   G   ( r e p r i n t   a u t h o r ) ,   U n i v   C y p r u s ,   D e p t   C o m p   S c i ,   N i c o s i a ,   C y p r u s . 	 g c h a t z i m @ g m a i l . c o m ;   a k o n s t a n @ c s . u c y . a c . c y ;   l a o u d i a s . c h r i s t o s @ u c y . a c . c y ;   d z e i n a @ c s . u c y . a c . c y 	 K o n s t a n t i n i d i s ,   A n d r e a s / A - 9 7 5 7 - 2 0 1 3 	 	 U n i v e r s i t y   o f   C y p r u s 	 D e m e t r i o s   Z e i n a l i p o u r - Y a z t i ' s   s t a r t u p   g r a n t ,   f u n d e d   b y   t h e   U n i v e r s i t y   o f   C y p r u s ,   p a r t i a l l y   s u p p o r t e d   t h i s   r e s e a r c h . 	 C h a t z i m i l i o u d i s   G . ,   2 0 1 2 ,   P   1 3   I N T   C   I N   P R E S S ;   E r i k s s o n   J ,   2 0 0 8 ,   M O B I S Y S ' 0 8 :   P R O C E E D I N G S   O F   T H E   S I X T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   S Y S T E M S ,   A P P L I C A T I O N S ,   A N D   S E R V I C E S ,   P 2 9 ;   G e i g e r   D . ,   2 0 1 1 ,   P   A U S T R   C   I N F   S Y S T   A ;   K o n s t a n t i n i d i s   A . ,   2 0 1 2 ,   P   1 0   I N T   C   I N   P R E S S ;   K o n s t a n t i n i d i s   A . ,   2 0 1 1 ,   P   1 2   I N T   C   M O B   D A T   M ,   P 2 7 ;   K o u k o u m i d i s   E ,   2 0 1 1 ,   P   9   I N T   C   M O B   S Y S T   A ,   P 1 2 7 ;   L a o u d i a s   C . ,   2 0 1 2 ,   P   1 3   I N T   C   I N   P R E S S ;   L e d l i e   J . ,   2 0 1 0 ,   A C M   S I G O P S   O P E R A T I N G ,   V 4 3 ,   P 8 4 ;   L i n   K . ,   2 0 1 0 ,   P   8   I N T   C   M O B   S Y S T   A ,   P 2 8 5 ,   D O I   1 0 . 1 1 4 5 / 1 8 1 4 4 3 3 . 1 8 1 4 4 6 2 ;   M a t y a s   S . ,   2 0 0 8 ,   P   2 0 0 8   I N T   C   A D V   C O M ,   P 2 4 4 ,   D O I   1 0 . 1 1 4 5 / 1 5 0 1 7 5 0 . 1 5 0 1 8 0 6 ;   Q u i n n   A . J . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 1 4 0 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 9 1 4 8 ;   R a n a   R .   K . ,   2 0 1 0 ,   P   9   A C M   I E E E   I N T   C   I ,   P 1 0 5 ,   D O I   1 0 . 1 1 4 5 / 1 7 9 1 2 1 2 . 1 7 9 1 2 2 6 ;   S t e v e n s   M a t t h i a s ,   2 0 1 0 ,   P   U B   C O M P   U B I C O M P   1 0 ,   P 1 ;   T H I A G A R A J A N   A ,   2 0 0 9 ,   P   7   A C M   C   E M B   N E T W   S ,   P 8 5 ,   D O I   1 0 . 1 1 4 5 / 1 6 4 4 0 3 8 . 1 6 4 4 0 4 8 ;   Z e i n a l i p o u r - Y a z t i   D . ,   2 0 1 2 ,   I E E E   T   K N O W   I N   P R E S S 	 1 5 	 7 	 7 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 3 1 4   U S A 	 1 0 8 9 - 7 8 0 1 	 1 9 4 1 - 0 1 3 1 	 	 I E E E   I N T E R N E T   C O M P U T 	 I E E E   I n t e r n e t   C o m p u t . 	 S E P - O C T 	 2 0 1 2 	 1 6 	 5 	 	 	 	 	 3 6 	 4 4 	 	 	 	 9 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 9 9 6 V O 	 W O S : 0 0 0 3 0 8 1 2 3 1 0 0 0 0 7 	 	 
 J 	 T o k a r c h u k ,   O ;   C u e l ,   R ;   Z a m a r i a n ,   M 	 	 	 	 T o k a r c h u k ,   O k s a n a ;   C u e l ,   R o b e r t a ;   Z a m a r i a n ,   M a r c o 	 	 	 A n a l y z i n g   C r o w d   L a b o r   a n d   D e s i g n i n g   I n c e n t i v e s   f o r   H u m a n s   i n   t h e   L o o p 	 I E E E   I N T E R N E T   C O M P U T I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 F I R M 	 O r g a n i z a t i o n s   i n c r e a s i n g l y   u s e   c r o w d s o u r c i n g   t e c h n i q u e s   t o   s o l v e   p r o b l e m s   o u t s i d e   t h e   r e a c h   o f   p u r e   a u t o m a t i c   c o m p u t a t i o n .   P e o p l e ' s   p a r t i c i p a t i o n   a n d   w i l l i n g n e s s   t o   c o n t r i b u t e   a r e   t h u s   c r i t i c a l   i s s u e s   t h a t   o r g a n i z a t i o n s   a n d   s o f t w a r e   d e s i g n e r s   m u s t   t a k e   i n t o   a c c o u n t   w h e n   d e v e l o p i n g   c r o w d s o u r c i n g   s o l u t i o n s .   M a n y   s t u d i e s   e x a m i n e   m o t i v a t i o n s   a n d   i n c e n t i v e s ,   o f t e n   a n a l y z i n g   s p e c i f i c   c r o w d s o u r c i n g   i n i t i a t i v e s   o r   g r o u p s   o f   c o n t r i b u t o r s .   B u i l d i n g   o n   t h i s   e v i d e n c e ,   a n d   o n   f i n d i n g s   i n   o r g a n i z a t i o n a l   t h e o r y   a n d   e x p e r i m e n t a l   e c o n o m i c s ,   t h e   a u t h o r s '   f r a m e w o r k   h e l p s   d e v e l o p e r s   a n d   o r g a n i z a t i o n s   a n a l y z e   a   c o n c r e t e   s i t u a t i o n   a n d   i d e n t i f y   a d e q u a t e   s e t s   o f   i n c e n t i v e s   b e f o r e   d e s i g n i n g   c r o w d s o u r c i n g   p l a t f o r m s . 	 [ T o k a r c h u k ,   O k s a n a ]   F r e e   U n i v   B o l z a n o ,   S c h   E c o n   &   M a n a g e m e n t ,   B o l z a n o ,   I t a l y ;   [ C u e l ,   R o b e r t a ;   Z a m a r i a n ,   M a r c o ]   U n i v   T r e n t ,   F a c   E c o n ,   T r e n t o ,   I t a l y 	 T o k a r c h u k ,   O   ( r e p r i n t   a u t h o r ) ,   F r e e   U n i v   B o l z a n o ,   S c h   E c o n   &   M a n a g e m e n t ,   B o l z a n o ,   I t a l y . 	 o k s a n a . t o k a r c h u k @ u n i b z . i t ;   r o b e r t a . c u e l @ u n i t n . i t ;   m a r c o . z a m a r i a n @ u n i t n . i t 	 	 	 E U   [ 2 3 1 1 8 1 ] 	 T h i s   w o r k   w a s   s u p p o r t e d   b y   t h e   E U - f u n d e d   p r o j e c t   " I N S E M T I V E S :   I n c e n t i v e s   f o r   S e m a n t i c s "   ( w w w . i n s e m t i v e s . e u ,   F P 7 - I C T - 2 0 0 7 - 3 ,   c o n t r a c t   n u m b e r   2 3 1 1 8 1 ) . 	 B a r n a r d   C . ,   1 9 3 8 ,   F U N C T I O N S   E X E C U T I V E ;   B r a b h a m   D C ,   2 0 1 0 ,   I N F O R M   C O M M U N   S O C ,   V 1 3 ,   P 1 1 2 2 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 1 0 0 3 6 2 4 0 9 0 ;   C o l b y   A . ,   1 9 9 7 ,   C A R I N G   D O I N G   O T H E R S ,   P 4 6 3 ;   C u e l   R o b e r t a ,   2 0 1 1 ,   I n t e r n a t i o n a l   J o u r n a l   o f   K n o w l e d g e   E n g i n e e r i n g   a n d   D a t a   M i n i n g ,   V 1 ,   D O I   1 0 . 1 5 0 4 / I J K E D M . 2 0 1 1 . 0 4 0 6 5 3 ;   G a y   P . L . ,   2 0 1 1 ,   E U R   P L A N   S C I   C ;   G e i g e r   D . ,   2 0 1 1 ,   P R O C E S S E S   A M ,   V 1 ,   P 1 ;   G r i f f i n   R . ,   1 9 8 2 ,   T A S K   D E S I G N   I N T E G R A T ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ;   J E N S E N   M C ,   1 9 7 6 ,   J   F I N A N C   E C O N ,   V 3 ,   P 3 0 5 ,   D O I   1 0 . 1 0 1 6 / 0 3 0 4 - 4 0 5 X ( 7 6 ) 9 0 0 2 6 - X ;   K a u f m a n n   N . ,   2 0 1 1 ,   P   1 7   A M   C   I N F   S Y S T ,   V 1 ,   P 1 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   L o c k e   E .   A . ,   1 9 9 0 ,   T H E O R Y   G O A L   S E T T I N G ;   M o r g e s o n   F P ,   2 0 0 6 ,   J   A P P L   P S Y C H O L ,   V 9 1 ,   P 1 3 2 1 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 1 - 9 0 1 0 . 9 1 . 6 . 1 3 2 1 ;   P r e n d e r g a s t   C ,   1 9 9 9 ,   J   E C O N   L I T ,   V 3 7 ,   P 7 ,   D O I   1 0 . 1 2 5 7 / j e l . 3 7 . 1 . 7 ;   Q u i n n   A . J . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 1 4 0 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 9 1 4 8 ;   R o s s   S t e v e n   A . ,   1 9 7 3 ,   A M   E C O N   R E V ,   V L X I I ,   P 1 3 4 ;   R o u s e   A . C . ,   2 0 0 6 ,   W O R L D   W I D E   W E B   I   J U N ;   S i m o n   H .   A . ,   1 9 6 7 ,   M O T I V A T I O N A L   E M O T I O N ,   P 2 9 ;   T o d a   M . ,   1 9 8 5 ,   M O T I V A T I O N   E M O T I O N   P ,   P 2 6 1 ;   T o k a r c h u k   O . ,   2 0 1 1 ,   M E T H O D O L O G Y   S E M A N T I C ;   v o n   H i p p e l   E ,   2 0 0 2 ,   4 3 6 6 0 2   M I T   S L O A N   S C H ;   W a g n e r   C . ,   2 0 0 7 ,   P   4 0   A N N   H A W   I N T   C   S ,   P 1 8 ;   W i e r t z   C ,   2 0 0 7 ,   O R G A N   S T U D ,   V 2 8 ,   P 3 4 7 ,   D O I   1 0 . 1 1 7 7 / 0 1 7 0 8 4 0 6 0 7 0 7 6 0 0 3 	 2 3 	 5 	 5 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 3 1 4   U S A 	 1 0 8 9 - 7 8 0 1 	 	 	 I E E E   I N T E R N E T   C O M P U T 	 I E E E   I n t e r n e t   C o m p u t . 	 S E P - O C T 	 2 0 1 2 	 1 6 	 5 	 	 	 	 	 4 5 	 5 1 	 	 	 	 7 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 9 9 6 V O 	 W O S : 0 0 0 3 0 8 1 2 3 1 0 0 0 0 8 	 	 
 J 	 T h a l e r ,   S ;   S i m p e r l ,   E ;   W o l g e r ,   S 	 	 	 	 T h a l e r ,   S t e f a n ;   S i m p e r l ,   E l e n a ;   W o e l g e r ,   S t e p h a n 	 	 	 A n   E x p e r i m e n t   i n   C o m p a r i n g   H u m a n - C o m p u t a t i o n   T e c h n i q u e s 	 I E E E   I N T E R N E T   C O M P U T I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 S E M A N T I C   W E B ;   P U R P O S E ;   G A M E S 	 H u m a n   c o m p u t a t i o n   c a n   a d d r e s s   c o m p l e x   c o m p u t a t i o n a l   p r o b l e m s   b y   t a p p i n g   i n t o   l a r g e   r e s o u r c e   p o o l s   f o r   r e l a t i v e l y   l i t t l e   c o s t .   T w o   p r o m i n e n t   h u m a n - c o m p u t a t i o n   t e c h n i q u e s   -   g a m e s   w i t h   a   p u r p o s e   ( G W A P )   a n d   m i c r o t a s k   c r o w d s o u r c i n g   -   c a n   h e l p   r e s o l v e   s e m a n t i c - t e c h n o l o g y - r e l a t e d   t a s k s ,   i n c l u d i n g   k n o w l e d g e   r e p r e s e n t a t i o n ,   o n t o l o g y   a l i g n m e n t ,   a n d   s e m a n t i c   a n n o t a t i o n .   T o   e v a l u a t e   w h i c h   a p p r o a c h   i s   b e t t e r   w i t h   r e s p e c t   t o   c o s t s   a n d   b e n e f i t s ,   t h e   a u t h o r s   e m p l o y   c a t e g o r i z a t i o n   c h a l l e n g e s   i n   W i k i p e d i a   t o   u l t i m a t e l y   c r e a t e   a   l a r g e ,   g e n e r a l - p u r p o s e   o n t o l o g y .   T h e y   f i r s t   u s e   t h e   O n t o P r o n t o   G W A P ,   t h e n   r e p l i c a t e   i t s   p r o b l e m - s o l v i n g   s e t t i n g   i n   A m a z o n   M e c h a n i c a l   T u r k ,   u s i n g   a   s i m i l a r   t a s k - d e s i g n   s t r u c t u r e ,   e v a l u a t i o n   m e c h a n i s m s ,   a n d   i n p u t   d a t a . 	 [ T h a l e r ,   S t e f a n ;   W o e l g e r ,   S t e p h a n ]   U n i v   I n n s b r u c k ,   S e m a n t   T e c h n o l   I n s t ,   A - 6 0 2 0   I n n s b r u c k ,   A u s t r i a ;   [ S i m p e r l ,   E l e n a ]   K a r l s r u h e   I n s t   T e c h n o l ,   I n s t   A p p l   I n f o r m a t   &   F o r m a l   D e s c r i p t   M e t h o d s ,   K a r l s r u h e ,   G e r m a n y 	 T h a l e r ,   S   ( r e p r i n t   a u t h o r ) ,   U n i v   I n n s b r u c k ,   S e m a n t   T e c h n o l   I n s t ,   A - 6 0 2 0   I n n s b r u c k ,   A u s t r i a . 	 s t e f a n . t h a l e r @ s t i 2 . a t ;   e l e n a . s i m p e r l @ k i t . e d u ;   s t e p h a n . w o e l g e r @ s t i 2 . a t 	 	 	 F r a m e w o r k   P r o g r a m m e   7   p r o j e c t   I N S E M T I V E S   [ F P 7 - 2 3 1 1 8 1 ] 	 T h i s   r e s e a r c h   w a s   p a r t i a l l y   f u n d e d   b y   t h e   F r a m e w o r k   P r o g r a m m e   7   p r o j e c t   I N S E M T I V E S   u n d e r   g r a n t   a g r e e m e n t   F P 7 - 2 3 1 1 8 1 . 	 B e r n e r s - L e e   T ,   2 0 0 1 ,   S C I   A M ,   V 2 8 4 ,   P 3 4 ;   B u i t e l a a r   P ,   2 0 0 8 ,   F R O N T   A R T I F   I N T E L   A P ,   V 1 6 7 ,   p V ;   G o m e z - P e r e z   A . ,   2 0 0 4 ,   O N T O L O G I C A L   E N G ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 6 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 9 0 6 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   L i t t l e   G . ,   2 0 0 9 ,   P   A C M   S I G K D D   W O R K S H ,   P 2 9 ,   D O I   1 0 . 1 1 4 5 / 1 6 0 0 1 5 0 . 1 6 0 0 1 5 9 ;   M a l o n e   T .   W . ,   1 9 8 0 ,   P   3   A C M   S I G S M A L L   S   1 ,   P 1 6 2 ,   D O I   D O I   1 0 . 1 1 4 5 / 8 0 0 0 8 8 . 8 0 2 8 3 9 ;   S i o r p a e s   K . ,   2 0 0 9 ,   T H E S I S   U   I N N S B R U C K ;   S i o r p a e s   K ,   2 0 0 8 ,   I E E E   I N T E L L   S Y S T ,   V 2 3 ,   P 5 0 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 0 8 . 4 5 ;   T h a l e r   S . ,   2 0 1 1 ,   P   W I S S   C ,   P 2 4 6 ;   v o n   A h n   L ,   2 0 0 8 ,   C O M M U N   A C M ,   V 5 1 ,   P 5 8 ,   D O I   1 0 . 1 1 4 5 / 1 3 7 8 7 0 4 . 1 3 7 8 7 1 9 	 1 1 	 2 	 2 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 3 1 4   U S A 	 1 0 8 9 - 7 8 0 1 	 	 	 I E E E   I N T E R N E T   C O M P U T 	 I E E E   I n t e r n e t   C o m p u t . 	 S E P - O C T 	 2 0 1 2 	 1 6 	 5 	 	 	 	 	 5 2 	 5 8 	 	 	 	 7 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 9 9 6 V O 	 W O S : 0 0 0 3 0 8 1 2 3 1 0 0 0 0 9 	 	 
 J 	 S o r e n s e n ,   I E 	 	 	 	 S o r e n s e n ,   I n g e   E j b y e 	 	 	 C r o w d s o u r c i n g   a n d   o u t s o u r c i n g :   t h e   i m p a c t   o f   o n l i n e   f u n d i n g   a n d   d i s t r i b u t i o n   o n   t h e   d o c u m e n t a r y   f i l m   i n d u s t r y   i n   t h e   U K 	 M E D I A   C U L T U R E   &   S O C I E T Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c r o w d f u n d i n g ;   c r o w d s o u r c i n g ;   d o c u m e n t a r y ;   d o c u m e n t a r y   b u d g e t s ;   d o c u m e n t a r y   f u n d i n g ;   d o c u m e n t a r y   i n d u s t r y ;   o n l i n e   d i s t r i b u t i o n ;   o n l i n e   f u n d i n g ;   U K   b r o a d c a s t i n g 	 	 T h i s   a r t i c l e   c o m p a r e s   t r a d i t i o n a l   a n d   n e w   w a y s   o f   f u n d i n g   d o c u m e n t a r y   f i l m   i n   t h e   U K   a n d   a s k s   w h a t   c r o w d   f i n a n c i n g ,   p a y - i f - y o u - w a n t   s c h e m e s   a n d   o n l i n e   d i s t r i b u t i o n   s i t e s   m e a n   f o r   d o c u m e n t a r y   f i l m s   a n d   i t s   i n d u s t r y   t o d a y .   H o w   d o   o n l i n e   f i n a n c i n g   m o d e l s   i m p a c t   o n   p r o d u c e r s ,   t r a d i t i o n a l   f u n d i n g   m o d e l s   a n d   f u n d e r s ?   A n d   f o l l o w i n g   t h e   m o n e y ,   w h o   r e a l l y   b e n e f i t s ?   T h e   f i r s t   s e c t i o n   o f   t h i s   a r t i c l e   c h a r t s   t r e n d s   i n   B r i t i s h   d o c u m e n t a r y   b u d g e t s   i n   t h e   l a s t   d e c a d e   a n d   e x p l o r e s   h o w   c h a n g e s   i n   f i n a n c i n g   i m p a c t   o n   t h e   p r o d u c t i o n   o f   d o c u m e n t a r y   f i l m s .   T h e   s e c o n d   f o c u s e s   o n   n e w   w a y s   o f   f u n d i n g   a n d   d i s t r i b u t i n g   d o c u m e n t a r y   f i l m s   o n l i n e .   D r a w i n g   o n   c a s e   s t u d i e s   o f   c r o w d   i n v e s t m e n t   s c h e m e s ,   c r o w d f u n d i n g   a n d   P 2 P   d i s t r i b u t i o n ;   i n t e r v i e w s   w i t h   d o c u m e n t a r y   a n d   m u l t i p l a t f o r m   p r o d u c e r s   a n d   c o m m i s s i o n e r s ,   a s   w e l l   a s   o n   s t a t i s t i c s   a n d   a n n u a l   r e p o r t s   f r o m   b r o a d c a s t e r s ,   l o b b y i s t s   a n d   r e g u l a t o r s ,   I   w i l l   a r g u e   t h a t   i n   r e a l   t e r m s   t h e r e   h a s   b e e n   a   d e c l i n e   i n   a n d   a   p o l a r i z a t i o n   o f   d o c u m e n t a r y   b u d g e t s   i n   t h e   U K .   A s   a   r e s u l t ,   p r o d u c e r s   a r e   i n c r e a s i n g l y   l o o k i n g   t o   t h e   i n t e r n e t   t o   f u n d   t h e i r   d o c u m e n t a r i e s .   H o w e v e r ,   a n   o n l i n e   f i n a n c i n g   m a r k e t   s u s p e n d e d   b e t w e e n   a d   h o c   f u n d i n g   a n d   l o n g - t e r m   r e c u p e r a t i o n   h a s   c o n s e q u e n c e s   f o r   t h e   d o c u m e n t a r y   i n d u s t r y ,   t h e   k i n d s   o f   d o c u m e n t a r i e s   m a d e ,   t h e   t o p i c s   t h e y   e x p l o r e   a n d   t h e   w a y s   i n   w h i c h   t h e y   a r e   p r o d u c e d . 	 U n i v   C o p e n h a g e n ,   D K - 3 6 0 0   C o p e n h a g e n ,   D e n m a r k 	 S o r e n s e n ,   I E   ( r e p r i n t   a u t h o r ) ,   U n i v   C o p e n h a g e n ,   N j a l s g a d e   8 0 ,   D K - 3 6 0 0   C o p e n h a g e n ,   D e n m a r k . 	 i n g e s @ h u m . k u . d k 	 	 	 	 	 A n d e r s o n   C . ,   2 0 0 6 ,   L O N G   T A I L   W H Y   F U T U R E ;   B e l l e f l a m m e   P ,   2 0 1 1 ,   I N T   C   F R E N C H   F I N   A S S ;   B e n k l e r   Y . ,   2 0 0 6 ,   W E A L T H   N E T W O R K S   S O C I ;   B o n d e b j e r g   I ,   2 0 1 0 ,   R E L O C A T I N G   T E L E V I S I O ,   P 1 1 3 ;   B o u r d i e u   P . ,   1 9 8 4 ,   D I S T I N C T I O N   S O C I A L   C ;   B r u h n   J e n s e n   K ,   2 0 0 8 ,   M E D I E R   S A M F U N D   I N T R O ;   C a l d w e l l   J . ,   2 0 0 6 ,   T E L E V   N E W   M E D I A ,   V 7 ,   P 9 9 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 5 2 7 4 7 6 4 0 3 2 5 5 8 1 1 ;   C a l d w e l l   J .   T . ,   2 0 0 8 ,   P R O D U C T I O N   C U L T U R E   I ;   C h a p m a n   J . ,   2 0 0 7 ,   D O C U M E N T A R Y   P R A C T I C E ;   C h a p m a n   J ,   2 0 0 9 ,   I S S U E S   C O N T   D O C U M E N T ;   C h r i s t e n s e n   C . ,   2 0 0 9 ,   S T U D I E S   D O C U M E N T A R Y ,   V 3 ,   P 7 7 ;   C o r n e r   J ,   1 9 9 5 ,   T E L E V I S I O N   F O R M   P U B L ;   C o x   D ,   2 0 0 9 ,   I S   T H I S   E N D   L I N E   I M P ;   d e   J o n g   W ,   2 0 0 8 ,   R E T H I N K I N G   D O C U M E N T A ,   P 1 3 5 ;   D o v e y   J . ,   2 0 0 0 ,   F R E A K S H O W   1   P E R S O N   M ;   D o y l e   G . ,   2 0 0 2 ,   U N D E R S T A N D I N G   M E D I A ;   D o y l e   G ,   2 0 1 1 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 6 ,   P 1 ;   G a u n t   M ,   2 0 0 9 ,   R E T H I N K I N G   D O C U M E N T A ,   P 1 5 7 ;   G o d d a r d   P e t e r ,   2 0 0 7 ,   P U B L I C   I S S U E   T E L E V I S ;   G r a y   J o n a t h a n ,   2 0 1 0 ,   S H O W   S O L D   S E P A R A T E L Y ;   J e n k i n s   H e n r i ,   2 0 0 6 ,   C O N V E R G E N C E   C U L T U R E ;   J e r s l e v   A ,   2 0 0 4 ,   V I   S E S   T V   M E D I E R   I N T ;   K a n t e r   J ,   2 0 1 1 ,   B R O A D C A S T               1 0 2 1 ,   P 1 ;   O f c o m ,   2 0 0 8 ,   A N N   C O M M   R E P   2 0 8 ;   O f c o m ,   2 0 1 1 ,   O F C   P U B L   S E R V   A N N   R E ;   P A C T ,   2 0 0 8 ,   P A C T   P O L   S U R V   F I N   C E ;   P A C T ,   2 0 0 9 ,   P A C T   P O L   S U R V   F I N   C E ;   P r i c e   S ,   2 0 1 1 ,   B R O A D C A S T               1 1 0 4 ,   P 2 8 ;   R u s h t o n   K ,   2 0 0 9 ,   B R O A D C A S T               1 1 0 6 ,   P 2 6 ;   S o r e n s e n   I E ,   2 0 1 0 ,   K O S M O R A M A ,   V 2 4 5 ,   P 4 9 ;   V u k a n o v i c   Z ,   2 0 0 9 ,   I N T   J   M E D I A   C O M M U N I C ,   V 1 1 ,   P 8 1 ;   W a r d   C . ,   2 0 1 0 ,   C R O W D F U N D I N G   N E X T   H I 	 3 2 	 1 	 1 	 S A G E   P U B L I C A T I O N S   L T D 	 L O N D O N 	 1   O L I V E R S   Y A R D ,   5 5   C I T Y   R O A D ,   L O N D O N   E C 1 Y   1 S P ,   E N G L A N D 	 0 1 6 3 - 4 4 3 7 	 	 	 M E D I A   C U L T   S O C 	 M e d i a   C u l t .   S o c . 	 S E P 	 2 0 1 2 	 3 4 	 6 	 	 	 	 	 7 2 6 	 7 4 3 	 	 1 0 . 1 1 7 7 / 0 1 6 3 4 4 3 7 1 2 4 4 9 4 9 9 	 	 1 8 	 C o m m u n i c a t i o n ;   S o c i o l o g y 	 C o m m u n i c a t i o n ;   S o c i o l o g y 	 9 9 7 U D 	 W O S : 0 0 0 3 0 8 1 9 1 3 0 0 0 0 5 	 	 
 J 	 N i e ,   Z Q ;   W e n ,   J R ;   M a ,   W Y 	 	 	 	 N i e ,   Z a i q i n g ;   W e n ,   J i - R o n g ;   M a ,   W e i - Y i n g 	 	 	 S t a t i s t i c a l   E n t i t y   E x t r a c t i o n   F r o m   t h e   W e b 	 P R O C E E D I N G S   O F   T H E   I E E E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   e n t i t y   e x t r a c t i o n ;   e n t i t y   r e l a t i o n s h i p   m i n i n g ;   e n t i t y   s e a r c h ;   i n t e r a c t i v e   k n o w l e d g e   m i n i n g ;   n a m e d   e n t i t y   e x t r a c t i o n ;   n a t u r a l   l a n g u a g e   p r o c e s s i n g ;   w e b   p a g e   s e g m e n t a t i o n 	 N E T W O R K S 	 T h e r e   a r e   v a r i o u s   k i n d s   o f   v a l u a b l e   s e m a n t i c   i n f o r m a t i o n   a b o u t   r e a l - w o r l d   e n t i t i e s   e m b e d d e d   i n   w e b p a g e s   a n d   d a t a b a s e s .   E x t r a c t i n g   a n d   i n t e g r a t i n g   t h e s e   e n t i t y   i n f o r m a t i o n   f r o m   t h e   W e b   i s   o f   g r e a t   s i g n i f i c a n c e .   C o m p a r i n g   t o   t r a d i t i o n a l   i n f o r m a t i o n   e x t r a c t i o n   p r o b l e m s ,   w e b   e n t i t y   e x t r a c t i o n   n e e d s   t o   s o l v e   s e v e r a l   n e w   c h a l l e n g e s   t o   f u l l y   t a k e   a d v a n t a g e   o f   t h e   u n i q u e   c h a r a c t e r i s t i c   o f   t h e   W e b .   I n   t h i s   p a p e r ,   w e   i n t r o d u c e   o u r   r e c e n t   w o r k   o n   s t a t i s t i c a l   e x t r a c t i o n   o f   s t r u c t u r e d   e n t i t i e s ,   n a m e d   e n t i t i e s ,   e n t i t y   f a c t s   a n d   r e l a t i o n s   f r o m   t h e   W e b .   W e   a l s o   b r i e f l y   i n t r o d u c e   i K n o w e b ,   a n   i n t e r a c t i v e   k n o w l e d g e   m i n i n g   f r a m e w o r k   f o r   e n t i t y   i n f o r m a t i o n   i n t e g r a t i o n .   W e   w i l l   u s e   t w o   n o v e l   w e b   a p p l i c a t i o n s ,   M i c r o s o f t   A c a d e m i c   S e a r c h   ( a k a   L i b r a )   a n d   E n t i t y C u b e ,   a s   w o r k i n g   e x a m p l e s . 	 [ N i e ,   Z a i q i n g ;   W e n ,   J i - R o n g ;   M a ,   W e i - Y i n g ]   M i c r o s o f t   R e s   A s i a ,   B e i j i n g   1 0 0 0 8 0 ,   P e o p l e s   R   C h i n a 	 N i e ,   Z Q   ( r e p r i n t   a u t h o r ) ,   M i c r o s o f t   R e s   A s i a ,   B e i j i n g   1 0 0 0 8 0 ,   P e o p l e s   R   C h i n a . 	 z n i e @ M i c r o s o f t . c o m ;   j r w e n @ M i c r o s o f t . c o m ;   w y m a @ M i c r o s o f t . c o m 	 	 	 	 	 A g i c h t e i n   E . ,   2 0 0 0 ,   P   5   A C M   I N T   C   D I G   L I ,   P 8 5 ,   D O I   1 0 . 1 1 4 5 / 3 3 6 5 9 7 . 3 3 6 6 4 4 ;   A n d r e w   G . ,   2 0 0 7 ,   P   I N T   C   M A C H   L E A R N ,   D O I   [ 1 0 . 1 1 4 5 / 1 2 7 3 4 9 6 . 1 2 7 3 5 0 1 ,   D O I   1 0 . 1 1 4 5 / 1 2 7 3 4 9 6 . 1 2 7 3 5 0 1 ] ;   B A N K O   M ,   2 0 0 7 ,   P   2 0   I N T   J O I N T   C   A R T ,   P 2 6 7 0 ;   B a n k o   M . ,   2 0 0 8 ,   P   4 6   A N N   C   C O M P   L I N G ,   P 2 8 ;   B r i n   S . ,   1 9 9 8 ,   P   W E B D B   W O R K S H   6   I N T ,   P 1 7 2 ;   C a i   D . ,   2 0 0 3 ,   M S R T R 2 0 0 3 7 9 ;   C a i   D ,   2 0 0 4 ,   P   2 7   A N N   I N T   A C M   S I G ,   P 4 5 6 ,   D O I   1 0 . 1 1 4 5 / 1 0 0 8 9 9 2 . 1 0 0 9 0 7 0 ;   C a i   D . ,   2 0 0 4 ,   P   2 7   A N N   I N T   A C M   S I G ,   P 4 4 0 ,   D O I   1 0 . 1 1 4 5 / 1 0 0 8 9 9 2 . 1 0 0 9 0 6 8 ;   C O R T E S   C ,   1 9 9 5 ,   M A C H   L E A R N ,   V 2 0 ,   P 2 7 3 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 2 2 6 2 7 4 1 1 4 1 1 ;   D i P a s q u o   D . ,   1 9 9 8 ,   T H E S I S   C A R N E G I E   M E L L ;   D O W N E Y   D ,   2 0 0 5 ,   P   1 9   I N T   J O I N T   C   A R T ,   P 1 0 3 4 ;   E t z i o n i   O ,   2 0 0 5 ,   A R T I F   I N T E L L ,   V 1 6 5 ,   P 9 1 ,   D O I   1 0 . 1 0 1 6 / j . a r t i n t . 2 0 0 5 . 0 3 . 0 0 1 ;   E t z i o n i   O . ,   2 0 0 4 ,   P   1 3   I N T   W O R L D   W I D   W ,   P 1 0 0 ,   D O I   1 0 . 1 1 4 5 / 9 8 8 6 7 2 . 9 8 8 6 8 7 ;   J i   H . ,   2 0 0 8 ,   P   4 6   A N N   M   A C L ,   P 2 5 4 ;   K a b a n   A ,   2 0 0 7 ,   P A T T E R N   R E C O G N   L E T T ,   V 2 8 ,   P 1 2 7 1 ,   D O I   1 0 . 1 0 1 6 / j . p a t r e c . 2 0 0 7 . 0 2 . 0 1 0 ;   K o v a c e v i c   M . ,   2 0 0 2 ,   P r o c e e d i n g s   2 0 0 2   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   D a t a   M i n i n g .   I C D M   2 0 0 2 ,   D O I   1 0 . 1 1 0 9 / I C D M . 2 0 0 2 . 1 1 8 3 9 1 0 ;   L A F F E R T Y   J ,   2 0 0 1 ,   P   1 8   I N T   C   M A C H   L E A R ,   P 2 8 2 ;   L i u   X . ,   2 0 1 0 ,   P   1 6   A C M   S I G K D D   I N T ,   P 9 6 9 ,   D O I   1 0 . 1 1 4 5 / 1 8 3 5 8 0 4 . 1 8 3 5 9 2 6 ;   M a n n   G . ,   2 0 0 7 ,   P   H U M   L A N G   T E C H N   A N N ,   P 3 3 2 ;   N i e   Z . ,   2 0 0 6 ,   P   2 2   I N T   C   D A T   E N G   A ,   P 1 2 3 ;   N i e   Z . ,   2 0 0 5 ,   P   1 4   I N T   C   W O R L D   W I D ,   P 5 6 7 ,   D O I   1 0 . 1 1 4 5 / 1 0 6 0 7 4 5 . 1 0 6 0 8 2 8 ;   N i e   Z . ,   2 0 0 7 ,   P   1 6   I N T   C   W O R L D   W I D ,   P 8 1 ,   D O I   1 0 . 1 1 4 5 / 1 2 4 2 5 7 2 . 1 2 4 2 5 8 4 ;   N i e   Z a i q i n g ,   2 0 0 7 ,   P   3   B I E N N   C   I N N   D A T ,   P 2 3 5 ;   N i e   Z Q ,   2 0 0 8 ,   S I G M O D   R E C O R D ,   V 3 7 ,   P 4 8 ;   R i c h a r d s o n   M ,   2 0 0 6 ,   M A C H   L E A R N ,   V 6 2 ,   P 1 0 7 ,   D O I   1 0 . 1 0 0 7 / s 1 0 9 9 4 - 0 0 6 - 5 8 3 3 - 1 ;   S a r a w a g i   S . ,   2 0 0 4 ,   P   1 7   N E U R   I N F   P R O C   S ,   P 1 1 8 5 ;   S h i n y a m a   Y . ,   2 0 0 6 ,   P   M A I N   C   H U M   L A N G   T E ,   P 3 0 4 ,   D O I   1 0 . 3 1 1 5 / 1 2 2 0 8 3 5 . 1 2 2 0 8 7 4 ;   S o d e r l a n d   S . ,   1 9 9 7 ,   P r o c e e d i n g s   o f   t h e   T h i r d   I n t e r n a t i o n a l   C o n f e r e n c e   o n   K n o w l e d g e   D i s c o v e r y   a n d   D a t a   M i n i n g ;   S o n g   R . ,   2 0 0 4 ,   P   1 3   I N T   C   W O R L D   W I D ,   P 2 0 3 ,   D O I   1 0 . 1 1 4 5 / 9 8 8 6 7 2 . 9 8 8 7 0 0 ;   T e j a d a   S . ,   2 0 0 2 ,   P   8   A C M   S I G K D D   I N T   C ,   P 3 5 0 ;   T e o   C .   H . ,   2 0 0 7 ,   P   1 3   A C M   S I G K D D   I N T ,   P 7 2 7 ,   D O I   1 0 . 1 1 4 5 / 1 2 8 1 1 9 2 . 1 2 8 1 2 7 0 ;   T i b s h i r a n i   R ,   1 9 9 6 ,   J   R O Y   S T A T   S O C   B   M E T ,   V 5 8 ,   P 2 6 7 ;   Y a n g   C . ,   2 0 0 8 ,   P   1 7   A C M   C   I N F   K N O W L ,   P 1 3 9 7 ,   D O I   1 0 . 1 1 4 5 / 1 4 5 8 0 8 2 . 1 4 5 8 2 9 8 ;   Y a n g a r b e r   R . ,   2 0 0 6 ,   P   I N T   W O R K S H   I N T   I N F ;   Z h u   J ,   2 0 0 8 ,   J   M A C H   L E A R N   R E S ,   V 9 ,   P 1 5 8 3 ;   Z h u   J . ,   2 0 0 6 ,   P   1 2   A C M   S I G K D D   I N T ,   P 4 9 4 ,   D O I   1 0 . 1 1 4 5 / 1 1 5 0 4 0 2 . 1 1 5 0 4 5 7 ;   Z h u   J . ,   2 0 0 9 ,   P   1 8   I N T   C   W O R L D   W I D ,   P 1 0 1 ,   D O I   1 0 . 1 1 4 5 / 1 5 2 6 7 0 9 . 1 5 2 6 7 2 4 ;   Z H U   J ,   2 0 0 7 ,   P   1 3   A C M   S I G K D D   I N T ,   P 9 0 3 ,   D O I   1 0 . 1 1 4 5 / 1 2 8 1 1 9 2 . 1 2 8 1 2 8 8 ;   Z h u   J N ,   2 0 0 5 ,   P   2 2   I N T   C   M A C H   L E A R ,   P 1 0 4 4 ,   D O I   1 0 . 1 1 4 5 / 1 1 0 2 3 5 1 . 1 1 0 2 4 8 3 	 3 9 	 1 	 1 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 0 0 1 8 - 9 2 1 9 	 	 	 P   I E E E 	 P r o c .   I E E E 	 S E P 	 2 0 1 2 	 1 0 0 	 9 	 	 	 S I 	 	 2 6 7 5 	 2 6 8 7 	 	 1 0 . 1 1 0 9 / J P R O C . 2 0 1 2 . 2 1 9 1 3 6 9 	 	 1 3 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 E n g i n e e r i n g 	 9 9 3 X I 	 W O S : 0 0 0 3 0 7 8 9 2 9 0 0 0 0 8 	 	 
 J 	 B a r b i e r ,   G ;   Z a f a r a n i ,   R ;   G a o ,   H J ;   F u n g ,   G ;   L i u ,   H 	 	 	 	 B a r b i e r ,   G e o f f r e y ;   Z a f a r a n i ,   R e z a ;   G a o ,   H u i j i ;   F u n g ,   G a b r i e l ;   L i u ,   H u a n 	 	 	 M a x i m i z i n g   b e n e f i t s   f r o m   c r o w d s o u r c e d   d a t a 	 C O M P U T A T I O N A L   A N D   M A T H E M A T I C A L   O R G A N I Z A T I O N   T H E O R Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   E v e n t   m a p s ;   C o m m u n i t y   m a p s ;   C r i s i s   m a p s ;   S o c i a l   m e d i a ;   D a t a   m i n i n g ;   M a c h i n e   l e a r n i n g ;   H u m a n i t a r i a n   A i d   a n d   D i s a s t e r   R e l i e f   ( H A D R ) 	 P O W E R 	 C r o w d s   o f   p e o p l e   c a n   s o l v e   s o m e   p r o b l e m s   f a s t e r   t h a n   i n d i v i d u a l s   o r   s m a l l   g r o u p s .   A   c r o w d   c a n   a l s o   r a p i d l y   g e n e r a t e   d a t a   a b o u t   c i r c u m s t a n c e s   a f f e c t i n g   t h e   c r o w d   i t s e l f .   T h i s   c r o w d s o u r c e d   d a t a   c a n   b e   l e v e r a g e d   t o   b e n e f i t   t h e   c r o w d   b y   p r o v i d i n g   i n f o r m a t i o n   o r   s o l u t i o n s   f a s t e r   t h a n   t r a d i t i o n a l   m e a n s .   H o w e v e r ,   t h e   c r o w d s o u r c e d   d a t a   c a n   h a r d l y   b e   u s e d   d i r e c t l y   t o   y i e l d   u s a b l e   i n f o r m a t i o n .   I n t e l l i g e n t l y   a n a l y z i n g   a n d   p r o c e s s i n g   c r o w d s o u r c e d   i n f o r m a t i o n   c a n   h e l p   p r e p a r e   d a t a   t o   m a x i m i z e   t h e   u s a b l e   i n f o r m a t i o n ,   t h u s   r e t u r n i n g   t h e   b e n e f i t   t o   t h e   c r o w d .   T h i s   a r t i c l e   h i g h l i g h t s   c h a l l e n g e s   a n d   i n v e s t i g a t e s   o p p o r t u n i t i e s   a s s o c i a t e d   w i t h   m i n i n g   c r o w d s o u r c e d   d a t a   t o   y i e l d   u s e f u l   i n f o r m a t i o n ,   a s   w e l l   a s   d e t a i l s   h o w   c r o w d s o u r c e   i n f o r m a t i o n   a n d   t e c h n o l o g i e s   c a n   b e   u s e d   f o r   r e s p o n s e - c o o r d i n a t i o n   w h e n   n e e d e d ,   a n d   f i n a l l y   s u g g e s t s   r e l a t e d   a r e a s   f o r   f u t u r e   r e s e a r c h . 	 [ B a r b i e r ,   G e o f f r e y ]   U S A F ,   R e s   L a b ,   D a y t o n ,   O H   U S A ;   [ Z a f a r a n i ,   R e z a ;   G a o ,   H u i j i ]   A r i z o n a   S t a t e   U n i v ,   D a t a   M i n   &   M a c h i n e   L e a r n i n g   D M M L   L a b ,   T e m p e ,   A Z   U S A ;   [ F u n g ,   G a b r i e l ]   I G N G A B   L a b ,   H o n g   K o n g ,   H o n g   K o n g ,   P e o p l e s   R   C h i n a 	 B a r b i e r ,   G   ( r e p r i n t   a u t h o r ) ,   U S A F ,   R e s   L a b ,   D a y t o n ,   O H   U S A . 	 g e o f f r e y . b a r b i e r @ w p a f b . a f . m i l ;   r e z a @ a s u . e d u ;   h u i j i . g a o @ a s u . e d u ;   g a b r i e l @ i g n g a b . c o m ;   h u a n l i u @ a s u . e d u 	 	 	 O f f i c e   o f   N a v a l   R e s e a r c h   ( O N R ) ;   A i r   F o r c e   O f f i c e   o f   S c i e n t i f i c   R e s e a r c h   ( A F O S R ) ;   O S D - T & E   ( O f f i c e   o f   S e c r e t a r y   D e f e n s e - T e s t   a n d   E v a l u a t i o n )   [ D e f e n s e - W i d e / P E 0 6 0 1 1 2 0 D 8 Z ] ;   N a t i o n a l   D e f e n s e   E d u c a t i o n   P r o g r a m   ( N D E P ) / B A - 1 ,   B a s i c   R e s e a r c h ;   S M A R T   P r o g r a m   O f f i c e   [ N 0 0 2 4 4 - 0 9 - 1 - 0 0 8 1 ] 	 T h e   a u t h o r s   w i s h   t o   a c k n o w l e d g e   t h e   m e m b e r s   o f   t h e   A r i z o n a   S t a t e   U n i v e r s i t y ,   D a t a   M i n i n g   a n d   M a c h i n e   L e a r n i n g   l a b o r a t o r y   f o r   t h e i r   m o t i v a t i n g   i n f l u e n c e   a n d   t h o u g h t - i n s p i r i n g   c o m m e n t s   a n d   q u e s t i o n s   w i t h   r e f e r e n c e   t o   t h i s   t o p i c .   T h i s   w o r k ,   i n   p a r t i c u l a r ,   t h e   c o n t e n t   o f   S e c t .   5 ,   w a s   i n s p i r e d   b y   a n d   b a s e d   o n   a n   o n g o i n g   p r o j e c t   " A S U   C o o r d i n a t i o n   T r a c k e r   ( A C T )   f o r   D i s a s t e r   R e l i e f " .   T h i s   w o r k   w a s   f u n d e d ,   i n   p a r t ,   b y   t h e   O f f i c e   o f   N a v a l   R e s e a r c h   ( O N R ) ,   t h e   A i r   F o r c e   O f f i c e   o f   S c i e n t i f i c   R e s e a r c h   ( A F O S R ) ,   a n d   t h e   O S D - T & E   ( O f f i c e   o f   S e c r e t a r y   D e f e n s e - T e s t   a n d   E v a l u a t i o n ) ,   D e f e n s e - W i d e / P E 0 6 0 1 1 2 0 D 8 Z   N a t i o n a l   D e f e n s e   E d u c a t i o n   P r o g r a m   ( N D E P ) / B A - 1 ,   B a s i c   R e s e a r c h ;   S M A R T   P r o g r a m   O f f i c e ,   w w w . a s e e . o r g / f e l l o w s h i p s / s m a r t ,   G r a n t   N u m b e r   N 0 0 2 4 4 - 0 9 - 1 - 0 0 8 1 .   T h i s   w o r k   i s   a p p r o v e d   f o r   p u b l i c   r e l e a s e ,   c a s e   n u m b e r   8 8 A B W - 2 0 1 2 - 1 6 4 4 . 	 A g a r w a l   N . ,   2 0 0 8 ,   P   I N T   C   W E B   S E A R C H   W ,   P 2 0 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 4 1 5 3 1 . 1 3 4 1 5 5 ;   A g a r w a l   N ,   2 0 0 9 ,   P   3   I N T   A A A I   C   W E B L ;   A g a r w a l   N ,   2 0 0 9 ,   S Y N T H E S I S   L E C T   D A T A ,   V 1 ;   B a e z a - Y a t e s   R . ,   1 9 9 9 ,   M O D E R N   I N F O R M   R E T R I E ,   V 4 6 3 ;   B a n e r j e e   S . ,   2 0 0 2 ,   C O M P U T A T I O N A L   L I N G U I ,   P 1 1 7 ;   B i s h o p   C .   M . ,   2 0 0 6 ,   P A T T E R N   R E C O G N I T I O N ,   V 4 ;   B l o d g e t   H ,   2 0 0 9 ,   W H O   H E L L   W R I T E S   W I K I ;   B r a b h a m   D ,   2 0 0 9 ,   C R O W D S O U R C I N G   P U B L I C ;   B u d d e   A ,   2 0 1 0 ,   O P E N   P R O D U C T   R E P O S I T ;   C a m p b e l l   M ,   2 0 0 9 ,   S I N I S T E R   P O W E R S   C R O W ;   C r i s t i a n   F ,   1 9 9 6 ,   C O M M U N   A C M ,   V 3 9 ,   P 8 8 ,   D O I   1 0 . 1 1 4 5 / 2 2 7 2 1 0 . 2 2 7 2 3 1 ;   D A R P A ,   2 0 1 2 ,   D A R P   N E T W   C H A L L ;   G a o   H ,   2 0 1 1 ,   I E E E   I N T E L L   S Y S T ,   V 2 6 ,   P 1 0 ;   G a o   H ,   2 0 1 1 ,   S O C I A L   C O M P U T I N G   B E H ;   G o o l s b y   R . ,   2 0 1 0 ,   A C M   T   I N T E L   S Y S T   T E C ,   V 1 ,   P 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 5 8 9 4 8 . 1 8 5 8 9 5 5 ;   G r o s s e c k   G . ,   2 0 0 8 ,   4   I N T   S C I   C   E L E A R N I N ;   G r o s s m a n   L ,   2 0 0 9 ,   T I M E                         0 2 0 7 ;   H a n   J . ,   2 0 0 6 ,   D A T A   M I N I N G   C O N C E P T S ;   H a r k i n   J ,   2 0 0 9 ,   T R O U B L E   T W I T T E R ;   H o n e y   C . ,   2 0 0 9 ,   4 2   H A W   I N T   C   S Y S T   S C ,   P 1 ,   D O I   [ D O I   1 0 . 1 1 0 9 / H I C S S . 2 0 0 9 . 8 9 ,   1 0 . 1 1 0 9 / H I C S S . 2 0 0 9 . 8 9 ] ;   H o w e   J ,   2 0 0 6 ,   R I S E   C R O W D S O U R C I N G ;   H u g h e s   A m a n d a   L e e ,   2 0 0 9 ,   I n t e r n a t i o n a l   J o u r n a l   o f   E m e r g e n c y   M a n a g e m e n t ,   V 6 ,   D O I   1 0 . 1 5 0 4 / I J E M . 2 0 0 9 . 0 3 1 5 6 4 ;   J a n s e n   B J ,   2 0 0 9 ,   J   A M   S O C   I N F   S C I   T E C ,   V 6 0 ,   P 2 1 6 9 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 1 1 4 9 ;   J u s a n g   A ,   2 0 0 7 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 3 ,   P 6 1 8 ;   L a f f e r t y   J .   D . ,   2 0 0 1 ,   I C M L ,   P 2 8 2 ;   L i   C ,   2 0 0 7 ,   F O R R E S T E R S   N E W   S O C I A ;   L i b e r t   B . ,   2 0 0 7 ,   W E   A R E   S M A R T E R   M E   U N ;   L i u   B ,   2 0 0 7 ,   W E B   D A T A   M I N I N G ;   L i u   H ,   2 0 0 5 ,   I E E E   T   K N O W L   D A T A   E N ,   V 1 7 ,   P 1 ,   D O I   D O I   1 0 . 1 1 0 9 / T K D E . 2 0 0 5 . 5 6 ;   L i u   H ,   2 0 0 8 ,   C H   C R C   D A T A   M I N   K N O W ,   P 3 ;   L i u   S ,   2 0 0 9 ,   P   6   I N T   I S C R A M   C   G O T ;   P e l l e g   D ,   2 0 0 8 ,   P   1 7   I N T   C   M A C H   L E A R ,   P 7 2 7 ;   R A B I N E R   L R ,   1 9 8 9 ,   P   I E E E ,   V 7 7 ,   P 2 5 7 ,   D O I   1 0 . 1 1 0 9 / 5 . 1 8 6 2 6 ;   S o r o k i n   A l e x a n d e r ,   2 0 0 8 ,   I E E E   C O M P   S O C   C   C O M P ,   P 1 ,   D O I   D O I   1 0 . 1 1 0 9 / C V P R W . 2 0 0 8 . 4 5 6 2 9 5 3 ;   S p e l l m a n   J ,   2 0 1 0 ,   H E A D I N G   D I S A S T E R   O N E ;   S u r o w i e c k i   J ,   2 0 0 9 ,   G 2 0   S U M M I T   B A N D W A G O N ;   T e r r a n o v a   T i z i a n a ,   2 0 0 4 ,   N E T W O R K   C U L T U R E   P O L I ;   T u r n e y   P e t e r   D . ,   2 0 0 1 ,   P   1 2   E U R   C   M A C H   L E A R ,   P 4 9 1 ;   U N O C H A ,   2 0 0 6 ,   U N   D I S   A S S   C O O R D   U N D ;   v o n   A h n   L ,   2 0 0 7 ,   K - C A P ' 0 7 :   P R O C E E D I N G S   O F   T H E   F O U R T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   K N O W L E D G E   C A P T U R E ,   P 5 ;   W o o d s   D ,   2 0 0 8 ,   C O M M E R C I A L   B E A R   H U G ;   Z a f a r a n i   R ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 0 0 7 ,   P 4 1 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 2 0 7 9 - 4 _ 5 2 	 4 2 	 3 	 3 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 1 3 8 1 - 2 9 8 X 	 	 	 C O M P U T   M A T H   O R G A N   T H 	 C o m p u t .   M a t h .   O r g a n .   T h e o r y 	 S E P 	 2 0 1 2 	 1 8 	 3 	 	 	 S I 	 	 2 5 7 	 2 7 9 	 	 1 0 . 1 0 0 7 / s 1 0 5 8 8 - 0 1 2 - 9 1 2 1 - 2 	 	 2 3 	 C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   M a t h e m a t i c s ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   S o c i a l   S c i e n c e s ,   M a t h e m a t i c a l   M e t h o d s 	 C o m p u t e r   S c i e n c e ;   M a t h e m a t i c s ;   M a t h e m a t i c a l   M e t h o d s   I n   S o c i a l   S c i e n c e s 	 9 9 3 T X 	 W O S : 0 0 0 3 0 7 8 8 3 6 0 0 0 0 2 	 	 
 J 	 M c C o y ,   A B ;   W r i g h t ,   A ;   L a x m i s a n ,   A ;   O t t o s e n ,   M J ;   M c C o y ,   J A ;   B u t t e n ,   D ;   S i t t i g ,   D F 	 	 	 	 M c C o y ,   A l l i s o n   B . ;   W r i g h t ,   A d a m ;   L a x m i s a n ,   A r c h a n a ;   O t t o s e n ,   M a d e l e n e   J . ;   M c C o y ,   J a c o b   A . ;   B u t t e n ,   D a v i d ;   S i t t i g ,   D e a n   F . 	 	 	 D e v e l o p m e n t   a n d   e v a l u a t i o n   o f   a   c r o w d s o u r c i n g   m e t h o d o l o g y   f o r   k n o w l e d g e   b a s e   c o n s t r u c t i o n :   i d e n t i f y i n g   r e l a t i o n s h i p s   b e t w e e n   c l i n i c a l   p r o b l e m s   a n d   m e d i c a t i o n s 	 J O U R N A L   O F   T H E   A M E R I C A N   M E D I C A L   I N F O R M A T I C S   A S S O C I A T I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 E L E C T R O N I C   H E A L T H   R E C O R D S ;   P R O V I D E R   O R D E R   E N T R Y ;   U N I N T E N D E D   C O N S E Q U E N C E S ;   D R U G   K N O W L E D G E ;   S Y S T E M ;   I N F O R M A T I O N ;   I N T E R N E T ;   Q U A L I T Y ;   E R R O R S 	 O b j e c t i v e   W e   d e s c r i b e   a   n o v e l ,   c r o w d s o u r c i n g   m e t h o d   f o r   g e n e r a t i n g   a   k n o w l e d g e   b a s e   o f   p r o b l e m - m e d i c a t i o n   p a i r s   t h a t   t a k e s   a d v a n t a g e   o f   m a n u a l l y   a s s e r t e d   l i n k s   b e t w e e n   m e d i c a t i o n s   a n d   p r o b l e m s .   M e t h o d s   T h r o u g h   i t e r a t i v e   r e v i e w ,   w e   d e v e l o p e d   m e t r i c s   t o   e s t i m a t e   t h e   a p p r o p r i a t e n e s s   o f   m a n u a l l y   e n t e r e d   p r o b l e m - m e d i c a t i o n   l i n k s   f o r   i n c l u s i o n   i n   a   k n o w l e d g e   b a s e   t h a t   c a n   b e   u s e d   t o   i n f e r   p r e v i o u s l y   u n a s s e r t e d   l i n k s   b e t w e e n   p r o b l e m s   a n d   m e d i c a t i o n s .   R e s u l t s   C l i n i c i a n s   m a n u a l l y   l i n k e d   2 3 1   2 2 3   m e d i c a t i o n s   ( 5 5 . 3 0 %   o f   p r e s c r i b e d   m e d i c a t i o n s )   t o   p r o b l e m s   w i t h i n   t h e   e l e c t r o n i c   h e a l t h   r e c o r d ,   g e n e r a t i n g   4 1   2 0 3   d i s t i n c t   p r o b l e m - m e d i c a t i o n   p a i r s ,   a l t h o u g h   n o t   a l l   w e r e   a c c u r a t e .   W e   d e v e l o p e d   m e t h o d s   t o   e v a l u a t e   t h e   a c c u r a c y   o f   t h e   p a i r s ,   a n d   a f t e r   l i m i t i n g   t h e   p a i r s   t o   t h o s e   m e e t i n g   a n   e s t i m a t e d   9 5 %   a p p r o p r i a t e n e s s   t h r e s h o l d ,   1 1   1 6 6   p a i r s   r e m a i n e d .   T h e   p a i r s   i n   t h e   k n o w l e d g e   b a s e   a c c o u n t e d   f o r   1 8 3   1 2 7   t o t a l   l i n k s   a s s e r t e d   ( 7 6 . 4 7 %   o f   a l l   l i n k s ) .   R e t r o s p e c t i v e   a p p l i c a t i o n   o f   t h e   k n o w l e d g e   b a s e   l i n k e d   6 8   3 1 6   m e d i c a t i o n s   n o t   p r e v i o u s l y   l i n k e d   b y   a   c l i n i c i a n   t o   a n   i n d i c a t e d   p r o b l e m   ( 3 6 . 5 3 %   o f   u n l i n k e d   m e d i c a t i o n s ) .   E x p e r t   r e v i e w   o f   t h e   c o m b i n e d   k n o w l e d g e   b a s e ,   i n c l u d i n g   i n f e r r e d   a n d   m a n u a l l y   l i n k e d   p r o b l e m - m e d i c a t i o n   p a i r s ,   f o u n d   a   s e n s i t i v i t y   o f   6 5 . 8 %   a n d   a   s p e c i f i c i t y   o f   9 7 . 9 % .   C o n c l u s i o n   C r o w d s o u r c i n g   i s   a n   e f f e c t i v e ,   i n e x p e n s i v e   m e t h o d   f o r   g e n e r a t i n g   a   k n o w l e d g e   b a s e   o f   p r o b l e m e m e d i c a t i o n   p a i r s   t h a t   i s   a u t o m a t i c a l l y   m a p p e d   t o   l o c a l   t e r m i n o l o g i e s ,   u p - t o - d a t e ,   a n d   r e f l e c t i v e   o f   l o c a l   p r e s c r i b i n g   p r a c t i c e s   a n d   t r e n d s . 	 [ M c C o y ,   A l l i s o n   B . ;   S i t t i g ,   D e a n   F . ]   U n i v   T e x a s   H l t h   S c i   C t r   H o u s t o n   U T H e a l t h ,   S c h   B i o m e d   I n f o r m a t ,   H o u s t o n ,   T X   7 7 0 3 0   U S A ;   [ M c C o y ,   A l l i s o n   B . ;   O t t o s e n ,   M a d e l e n e   J . ;   S i t t i g ,   D e a n   F . ]   U n i v   T e x a s   H o u s t o n ,   M e m   H e r m a n n   C t r   H e a l t h c a r e   Q u a l   &   S a f e t y ,   H o u s t o n ,   T X   U S A ;   [ W r i g h t ,   A d a m ]   H a r v a r d   U n i v ,   B r i g h a m   &   W o m e n s   H o s p ,   S c h   M e d ,   B o s t o n ,   M A   0 2 1 1 5   U S A ;   [ L a x m i s a n ,   A r c h a n a ;   B u t t e n ,   D a v i d ]   B a y l o r   C o l l   M e d ,   M i c h a e l   E   D e B a k e y   V e t   A f f a i r s   M e d   C t r ,   H o u s t o n   V A   H l t h   S e r v   R e s   &   D e v   C t r   E x c e l l e n c e ,   H o u s t o n ,   T X   7 7 0 3 0   U S A ;   [ L a x m i s a n ,   A r c h a n a ;   B u t t e n ,   D a v i d ]   B a y l o r   C o l l   M e d ,   D e p t   M e d ,   S e c t   H l t h   S e r v   R e s ,   H o u s t o n ,   T X   7 7 0 3 0   U S A ;   [ M c C o y ,   J a c o b   A . ]   U n i v   T e x a s   M e d   S c h   H o u s t o n ,   H o u s t o n ,   T X   U S A 	 M c C o y ,   A B   ( r e p r i n t   a u t h o r ) ,   U n i v   T e x a s   H l t h   S c i   C t r   H o u s t o n   U T H e a l t h ,   S c h   B i o m e d   I n f o r m a t ,   6 4 1 0   F a n n i n   S t , U T P B   1 1 0 0 ,   H o u s t o n ,   T X   7 7 0 3 0   U S A . 	 a l l i s o n . b . m c c o y @ u t h . t m c . e d u 	 	 	 O f f i c e   o f   t h e   N a t i o n a l   C o o r d i n a t o r   f o r   H e a l t h   I n f o r m a t i o n   T e c h n o l o g y   [ 1 0 5 1 0 5 9 2 ] ;   N C R R   [ 3 U L 1 R R 0 2 4 1 4 8 ] 	 T h i s   p r o j e c t   w a s   s u p p o r t e d   i n   p a r t   b y   G r a n t   N o .   1 0 5 1 0 5 9 2   f o r   P a t i e n t - C e n t e r e d   C o g n i t i v e   S u p p o r t   u n d e r   t h e   S t r a t e g i c   H e a l t h   I T   A d v a n c e d   R e s e a r c h   P r o j e c t s   P r o g r a m   ( S H A R P )   f r o m   t h e   O f f i c e   o f   t h e   N a t i o n a l   C o o r d i n a t o r   f o r   H e a l t h   I n f o r m a t i o n   T e c h n o l o g y .   T h e   U T H e a l t h   C l i n i c a l   D a t a   W a r e h o u s e   i s   s u p p o r t e d   b y   N C R R   G r a n t   3 U L 1 R R 0 2 4 1 4 8 . 	 A s h   J S ,   2 0 0 7 ,   J   A M   M E D   I N F O R M   A S S N ,   V 1 4 ,   P 4 1 5 ,   D O I   1 0 . 1 1 9 7 / j a m i a . M 2 3 7 3 ;   A s h   J S ,   2 0 0 4 ,   J   A M   M E D   I N F O R M   A S S N ,   V 1 1 ,   P 1 0 4 ,   D O I   1 0 . 1 1 9 7 / j a m i a . M 1 4 7 1 ;   B l u m e n t h a l   D ,   2 0 1 0 ,   N E W   E N G L   J   M E D ,   V 3 6 3 ,   P 5 0 1 ,   D O I   1 0 . 1 0 5 6 / N E J M p 1 0 0 6 1 1 4 ;   B r o w n   S H ,   1 9 9 9 ,   A N N   I N T E R N   M E D ,   V 1 3 1 ,   P 1 1 7 ;   B r o w n s t e i n   C A ,   2 0 0 9 ,   N A T   B I O T E C H N O L ,   V 2 7 ,   P 8 8 8 ,   D O I   1 0 . 1 0 3 8 / n b t 1 0 0 9 - 8 8 8 ;   B u r t o n   M a t t h e w   M ,   2 0 0 8 ,   A M I A   A n n u   S y m p   P r o c ,   P 8 6 ;   C a m p b e l l   E M ,   2 0 0 6 ,   J   A M   M E D   I N F O R M   A S S N ,   V 1 3 ,   P 5 4 7 ,   D O I   1 0 . 1 1 9 7 / j a m i a . M 2 0 4 2 ;   C a r t e r   J o h n   S ,   2 0 0 2 ,   P r o c   A M I A   S y m p ,   P 1 1 6 ;   C h e n   E S ,   2 0 0 8 ,   J   A M   M E D   I N F O R M   A S S N ,   V 1 5 ,   P 8 7 ,   D O I   1 0 . 1 1 9 7 / j a m i a . M 2 4 0 1 ;   D u k e   J D ,   2 0 1 0 ,   A M I A   A N N   S   P ,   V 2 0 1 0 ,   P 1 7 7 ;   E k i n s   S ,   2 0 1 0 ,   P H A R M   R E S - D O R D R ,   V 2 7 ,   P 3 9 3 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 9 5 - 0 1 0 - 0 0 5 9 - 0 ;   E l k i n   P L ,   2 0 0 6 ,   M A Y O   C L I N   P R O C ,   V 8 1 ,   P 7 4 1 ;   E l k i n   P e t e r   L ,   2 0 1 1 ,   S t u d   H e a l t h   T e c h n o l   I n f o r m ,   V 1 6 6 ,   P 3 8 ;   F e b l o w i t z   J C ,   2 0 1 1 ,   J   B I O M E D   I N F O R M ,   V 4 4 ,   P 6 8 8 ,   D O I   1 0 . 1 0 1 6 / j . j b i . 2 0 1 1 . 0 3 . 0 0 8 ;   G i l e s   J ,   2 0 0 5 ,   N A T U R E ,   V 4 3 8 ,   P 9 0 0 ,   D O I   1 0 . 1 0 3 8 / 4 3 8 9 0 0 a ;   H a n   Y Y ,   2 0 0 5 ,   P E D I A T R I C S ,   V 1 1 6 ,   P 1 5 0 6 ,   D O I   1 0 . 1 5 4 2 / p e d s . 2 0 0 5 - 1 2 8 7 ;   H o r s k y   J ,   2 0 0 5 ,   J   A M   M E D   I N F O R M   A S S N ,   V 1 2 ,   P 3 7 7 ,   D O I   1 0 . 1 1 9 7 / j a m i a . M 1 7 4 0 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   H u g h e s   S ,   2 0 1 1 ,   J   M E D   I N T E R N E T   R E S ,   V 1 3 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 7 1 6 ;   K i l i c o g l u   H ,   2 0 0 8 ,   T U R K   F I N L   P   3   I N T   S ,   P 6 9 ;   K o p p e l   R ,   2 0 0 5 ,   J A M A - J   A M   M E D   A S S O C ,   V 2 9 3 ,   P 1 1 9 7 ,   D O I   1 0 . 1 0 0 1 / j a m a . 2 9 3 . 1 0 . 1 1 9 7 ;   L a x m i s a n   A ,   2 0 1 2 ,   A P P L   C L I N   I N F O R M ,   V 3 ,   P 8 0 ,   D O I   1 0 . 4 3 3 8 / A C I - 2 0 1 1 - 1 1 - R A - 0 0 6 6 ;   M c C o y   A B ,   2 0 1 1 ,   A M I A   A N N   S   P ,   P 8 8 8 ;   M c C o y   A B ,   2 0 1 2 ,   J   A M   M E D   I N F O R M   A S S N ,   V 1 9 ,   P 3 4 6 ,   D O I   1 0 . 1 1 3 6 / a m i a j n l - 2 0 1 1 - 0 0 0 1 8 5 ;   P A R R Y   D T ,   2 0 1 0 ,   2 0 1 0   I E E E   I N T   C   F U Z Z ,   P 1 ,   D O I   D O I   1 0 . 1 1 0 9 / F U Z Z Y . 2 0 1 0 . 5 5 8 4 0 5 5 ;   S i t t i g   D F ,   2 0 1 2 ,   C A N   M E D   A S S O C   J ,   V 1 8 4 ,   P 1 4 7 9 ,   D O I   1 0 . 1 5 0 3 / c m a j . 1 1 1 5 9 9 ;   S i t t i g   D F ,   2 0 0 9 ,   P E D I A T R I C S ,   V 1 2 4 ,   P 3 7 5 ,   D O I   1 0 . 1 5 4 2 / p e d s . 2 0 0 9 - 0 3 3 9 ;   S i t t i g   D F ,   2 0 1 1 ,   P E D I A T R I C S ,   V 1 2 7 ,   p E 1 0 4 2 ,   D O I   1 0 . 1 5 4 2 / p e d s . 2 0 1 0 - 2 1 8 4 ;   S w e i d a n   M ,   2 0 1 1 ,   B M C   M E D   I N F O R M   D E C I S ,   V 1 1 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 2 - 6 9 4 7 - 1 1 - 2 7 ;   T a p s c o t t   D . ,   2 0 0 6 ,   W I K I N O M I C S   M A S S   C O L L ;   W r i g h t   A ,   2 0 1 0 ,   J   B I O M E D   I N F O R M ,   V 4 3 ,   P 8 9 1 ,   D O I   1 0 . 1 0 1 6 / j . j b i . 2 0 1 0 . 0 9 . 0 0 9 ;   Z e n g   Q ,   2 0 0 2 ,   J   A M   M E D   I N F O R M   A S S N ,   V 9 ,   P 2 9 4 ,   D O I   1 0 . 1 1 9 7 / j a m i a . M 1 0 0 8 	 3 2 	 6 	 6 	 B   M   J   P U B L I S H I N G   G R O U P 	 L O N D O N 	 B R I T I S H   M E D   A S S O C   H O U S E ,   T A V I S T O C K   S Q U A R E ,   L O N D O N   W C 1 H   9 J R ,   E N G L A N D 	 1 0 6 7 - 5 0 2 7 	 	 	 J   A M   M E D   I N F O R M   A S S N 	 J .   A m .   M e d .   I n f .   A s s o c . 	 S E P 	 2 0 1 2 	 1 9 	 5 	 	 	 	 	 7 1 3 	 7 1 8 	 	 1 0 . 1 1 3 6 / a m i a j n l - 2 0 1 2 - 0 0 0 8 5 2 	 	 6 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e ;   M e d i c a l   I n f o r m a t i c s 	 C o m p u t e r   S c i e n c e ;   H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e ;   M e d i c a l   I n f o r m a t i c s 	 9 9 4 M J 	 W O S : 0 0 0 3 0 7 9 3 4 6 0 0 0 0 5 	 2 2 5 8 2 2 0 2 	 
 J 	 L e w a n d o w s k i ,   D ;   D r e c h s l e r ,   J ;   v o n   M a c h ,   S 	 	 	 	 L e w a n d o w s k i ,   D i r k ;   D r e c h s l e r ,   J e s s i c a ;   v o n   M a c h ,   S o n j a 	 	 	 D e r i v i n g   q u e r y   i n t e n t s   f r o m   w e b   s e a r c h   e n g i n e   q u e r i e s 	 J O U R N A L   O F   T H E   A M E R I C A N   S O C I E T Y   F O R   I N F O R M A T I O N   S C I E N C E   A N D   T E C H N O L O G Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 s e a r c h   e n g i n e s ;   i n f o r m a t i o n   n e e d s ;   e v a l u a t i o n 	 R E T R I E V A L   E F F E C T I V E N E S S ;   I D E N T I F I C A T I O N ;   S E S S I O N 	 T h e   p u r p o s e   o f   t h i s   a r t i c l e   i s   t o   t e s t   t h e   r e l i a b i l i t y   o f   q u e r y   i n t e n t s   d e r i v e d   f r o m   q u e r i e s ,   e i t h e r   b y   t h e   u s e r   w h o   e n t e r e d   t h e   q u e r y   o r   b y   a n o t h e r   j u r o r .   W e   r e p o r t   t h e   f i n d i n g s   o f   t h r e e   s t u d i e s .   F i r s t ,   w e   c o n d u c t e d   a   l a r g e - s c a l e   c l a s s i f i c a t i o n   s t u d y   ( s i m i l a r   t o   5 0 , 0 0 0   q u e r i e s )   u s i n g   a   c r o w d s o u r c i n g   a p p r o a c h .   N e x t ,   w e   u s e d   c l i c k t h r o u g h   d a t a   f r o m   a   s e a r c h   e n g i n e   l o g   a n d   v a l i d a t e d   t h e   j u d g m e n t s   g i v e n   b y   t h e   j u r o r s   f r o m   t h e   c r o w d s o u r c i n g   s t u d y .   F i n a l l y ,   w e   c o n d u c t e d   a n   o n l i n e   s u r v e y   o n   a   c o m m e r c i a l   s e a r c h   e n g i n e ' s   p o r t a l .   B e c a u s e   w e   u s e d   t h e   s a m e   q u e r i e s   f o r   a l l   t h r e e   s t u d i e s ,   w e   a l s o   w e r e   a b l e   t o   c o m p a r e   t h e   r e s u l t s   a n d   t h e   e f f e c t i v e n e s s   o f   t h e   d i f f e r e n t   a p p r o a c h e s .   W e   f o u n d   t h a t   n e i t h e r   t h e   c r o w d s o u r c i n g   a p p r o a c h ,   u s i n g   j u r o r s   w h o   c l a s s i f i e d   q u e r i e s   o r i g i n a t i n g   f r o m   o t h e r   u s e r s ,   n o r   t h e   q u e s t i o n n a i r e   a p p r o a c h ,   u s i n g   s e a r c h e r s   w h o   w e r e   a s k e d   a b o u t   t h e i r   o w n   q u e r y   t h a t   t h e y   j u s t   e n t e r e d   i n t o   a   W e b   s e a r c h   e n g i n e ,   l e d   t o   s a t i s f y i n g   r e s u l t s .   T h i s   l e a d s   u s   t o   c o n c l u d e   t h a t   t h e r e   w a s   l i t t l e   u n d e r s t a n d i n g   o f   t h e   c l a s s i f i c a t i o n   t a s k s ,   e v e n   t h o u g h   b o t h   g r o u p s   o f   j u r o r s   w e r e   g i v e n   d e t a i l e d   i n s t r u c t i o n s .   A l t h o u g h   w e   u s e d   m a n u a l   c l a s s i f i c a t i o n ,   o u r   r e s e a r c h   a l s o   h a s   i m p o r t a n t   i m p l i c a t i o n s   f o r   a u t o m a t i c   c l a s s i f i c a t i o n .   W e   m u s t   q u e s t i o n   t h e   s u c c e s s   o f   a p p r o a c h e s   u s i n g   a u t o m a t i c   c l a s s i f i c a t i o n   a n d   c o m p a r i n g   i t s   p e r f o r m a n c e   t o   a   b a s e l i n e   f r o m   h u m a n   j u r o r s . 	 [ L e w a n d o w s k i ,   D i r k ;   D r e c h s l e r ,   J e s s i c a ;   v o n   M a c h ,   S o n j a ]   H a m b u r g   U n i v   A p p l   S c i ,   D e p t   I n f o r m a t ,   D - 2 2 0 8 1   H a m b u r g ,   G e r m a n y 	 L e w a n d o w s k i ,   D   ( r e p r i n t   a u t h o r ) ,   H a m b u r g   U n i v   A p p l   S c i ,   D e p t   I n f o r m a t ,   F i n k e n a u   3 5 ,   D - 2 2 0 8 1   H a m b u r g ,   G e r m a n y . 	 d i r k . l e w a n d o w s k i @ h a w - h a m b u r g . d e ;   J e s s i c a . D r e c h s l e r @ g m x . n e t ;   S o v M a @ g m x . d e 	 L e w a n d o w s k i ,   D i r k / G - 1 5 6 3 - 2 0 1 0 	 L e w a n d o w s k i ,   D i r k / 0 0 0 0 - 0 0 0 2 - 2 6 7 4 - 9 5 0 9 	 	 	 A s h k a n   A ,   2 0 0 9 ,   P R O C E E D I N G S   3 2 N D   A N N U A L   I N T E R N A T I O N A L   A C M   S I G I R   C O N F E R E N C E   O N   R E S E A R C H   A N D   D E V E L O P M E N T   I N   I N F O R M A T I O N   R E T R I E V A L ,   P 8 0 0 ,   D O I   1 0 . 1 1 4 5 / 1 5 7 1 9 4 1 . 1 5 7 2 1 3 5 ;   B a e z a - Y a t e s   R ,   2 0 0 6 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 2 0 9 ,   P 9 8 ;   B a r - I l a n   J ,   2 0 0 7 ,   J   A M   S O C   I N F   S C I   T E C ,   V 5 8 ,   P 1 2 5 4 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 0 6 0 8 ;   B r o d e r   A . ,   2 0 0 2 ,   A C M   S I G I R   F O R U M ,   V 3 6 ,   P 3 ,   D O I   1 0 . 1 1 4 5 / 7 9 2 5 5 0 . 7 9 2 5 5 2 ;   C a l d e r o n - B e n a v i d e s   L . ,   2 0 1 0 ,   P   S P E C   I N T   G R O U P   I N F ,   P 2 1 ;   C h a o   L . ,   2 0 0 9 ,   P   2   I N T   C   W E B   S E A R C H ,   P 1 2 4 ;   C h u r c h   K . ,   2 0 0 9 ,   P   1 3   I N T   C   I N T   U S   I N ,   P 2 4 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 5 0 2 6 5 0 . 1 5 0 2 6 8 6 ;   c o m S c o r e ,   2 0 1 0 ,   C O M S C O R E   R E P   G L O B   S E ;   C R A S W E L L   N ,   2 0 0 8 ,   P   I N T   C   W E B   S E A R C H   W ,   P 8 7 ,   D O I   1 0 . 1 1 4 5 / 1 3 4 1 5 3 1 . 1 3 4 1 5 4 5 ;   C r o f t   B . ,   2 0 1 0 ,   Q U E R   R E P R   U N D   W O R K S H ;   D a i   H . ,   2 0 0 6 ,   P   1 5   I N T   C   W O R L D   W I D ,   P 8 2 9 ,   D O I   1 0 . 1 1 4 5 / 1 1 3 5 7 7 7 . 1 1 3 5 9 0 2 ;   D o u   Z . ,   2 0 0 8 ,   P   1 7   A C M   C   I N F   K N O W L ,   P 7 3 ,   D O I   1 0 . 1 1 4 5 / 1 4 5 8 0 8 2 . 1 4 5 8 0 9 5 ;   F r a n t s   V . I . ,   1 9 9 7 ,   A U T O M A T E D   I N F O R M   R E T ;   G r i e s b a u m   J . ,   2 0 0 4 ,   I N F O R M   R E S ,   V 9 ;   G u o   F ,   2 0 0 9 ,   P   2   A C M   I N T   C   W E B   S E ,   P 1 2 4 ,   D O I   1 0 . 1 1 4 5 / 1 4 9 8 7 5 9 . 1 4 9 8 8 1 8 ;   H e   D Q ,   2 0 0 2 ,   I N F O R M   P R O C E S S   M A N A G ,   V 3 8 ,   P 7 2 7 ,   D O I   1 0 . 1 0 1 6 / S 0 3 0 6 - 4 5 7 3 ( 0 1 ) 0 0 0 6 0 - 7 ;   H o c h s t o t t e r   N ,   2 0 0 9 ,   J   I N F   S C I ,   V 3 5 ,   P 4 5 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 0 8 0 9 1 3 1 1 ;   H o c h s t o t t e r   N ,   2 0 0 9 ,   I N F O R M   S C I E N C E S ,   V 1 7 9 ,   P 1 7 9 6 ,   D O I   1 0 . 1 0 1 6 / j . i n s . 2 0 0 9 . 0 1 . 0 2 8 ;   H u f f m a n   S . B . ,   2 0 0 7 ,   P   A C M   C   R E S   D E V   I N F ,   P 5 6 7 ,   D O I   1 0 . 1 1 4 5 / 1 2 7 7 7 4 1 . 1 2 7 7 8 3 9 ;   J a n s e n   B J ,   2 0 0 8 ,   I N F O R M   P R O C E S S   M A N A G ,   V 4 4 ,   P 1 2 5 1 ,   D O I   1 0 . 1 0 1 6 / j . i p m . 2 0 0 7 . 0 7 . 0 1 5 ;   J a n s e n   B J ,   2 0 0 7 ,   J   A M   S O C   I N F   S C I   T E C ,   V 5 8 ,   P 8 6 2 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 0 5 6 4 ;   J o a c h i m s   T . ,   2 0 0 2 ,   P   8   A C M   S I G K D D   I N T   C ,   P 1 3 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 7 7 5 0 4 7 . 7 7 5 0 6 7 ;   K a n g   I H ,   2 0 0 5 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 6 8 9 ,   P 2 2 1 ;   K a n g   I n - H o ,   2 0 0 3 ,   P   2 6   A N N   I N T   A C M   S I G ,   P 6 4 ;   K a n o u l a s   E . ,   2 0 1 0 ,   T E X T   R E T R I E V A L   C   T R E ;   K A N T O R   P B ,   1 9 7 6 ,   J   A M   S O C   I N F O R M   S C I ,   V 2 7 ,   P 3 1 1 ,   D O I   1 0 . 1 0 0 2 / a s i . 4 6 3 0 2 7 0 5 0 7 ;   K a t h u r i a   A ,   2 0 1 0 ,   I N T E R N E T   R E S ,   V 2 0 ,   P 5 6 3 ,   D O I   1 0 . 1 1 0 8 / 1 0 6 6 2 2 4 1 0 1 1 0 8 4 1 1 2 ;   L e e   U . ,   2 0 0 5 ,   P   1 4   I N T   C   W O R L D   W I D ,   P 3 9 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 0 6 0 7 4 5 . 1 0 6 0 8 0 4 ;   L e w a n d o w s k i   D ,   2 0 1 1 ,   A S L I B   P R O C ,   V 6 3 ,   P 3 5 4 ,   D O I   1 0 . 1 1 0 8 / 0 0 0 1 2 5 3 1 1 1 1 1 4 8 9 4 9 ;   L e w a n d o w s k i   D ,   2 0 0 8 ,   J   D O C ,   V 6 4 ,   P 9 1 5 ,   D O I   1 0 . 1 1 0 8 / 0 0 2 2 0 4 1 0 8 1 0 9 1 2 4 5 1 ;   L e w a n d o w s k i   D . ,   2 0 0 6 ,   I n f o r m a t i o n   S e r v i c e s   &   U s e ,   V 2 6 ;   L i   H . ,   2 0 1 1 ,   P   A S S   C O M P   M A C H   S P E C ;   L u   Y . ,   2 0 0 6 ,   P   1 5   A C M   I N T   C   I N F   K ,   P 6 8 2 ,   D O I   1 0 . 1 1 4 5 / 1 1 8 3 6 1 4 . 1 1 8 3 7 1 1 ;   M a c d o n a l d   C ,   2 0 0 9 ,   P   2 0 0 9   W O R K S H   W E B   S E ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 5 0 7 5 0 9 . 1 5 0 7 5 2 1 ;   M a r c h i o n i n i   G ,   2 0 0 6 ,   C O M M U N   A C M ,   V 4 9 ,   P 4 1 ,   D O I   1 0 . 1 1 4 5 / 1 1 2 1 9 4 9 . 1 1 2 1 9 7 9 ;   M e n d o z a   M ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 7 2 1 ,   P 1 3 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 3 7 8 4 - 9 _ 1 3 ;   M E N D O Z A   M ,   2 0 0 8 ,   P   L A   W E B   2 0 0 8   V I L   V E ,   P 6 6 ;   P i t l e r   E . ,   2 0 0 9 ,   P   2 0 0 9   C   E M P   M E T H   N A ,   V 3 ,   P 1 4 2 8 ,   D O I   1 0 . 3 1 1 5 / 1 6 9 9 6 4 8 . 1 6 9 9 6 8 9 ;   R o s e   D . ,   2 0 0 4 ,   P   1 3   I N T   C   W O R L D   W I D ,   P 1 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 9 8 8 6 7 2 . 9 8 8 6 7 5 ;   S i n g e r   G ,   2 0 1 1 ,   P   2 0 1 1   A C M   S   A P P L   C O ,   P 7 5 1 ;   S p i n k   A . ,   2 0 0 4 ,   W E B   S E A R C H   P U B L I C   S E ;   S p i n k   A ,   2 0 0 1 ,   J   A M   S O C   I N F   S C I   T E C ,   V 5 2 ,   P 2 2 6 ,   D O I   1 0 . 1 0 0 2 / 1 0 9 7 - 4 5 7 1 ( 2 0 0 0 ) 9 9 9 9 : 9 9 9 9 < : : A I D - A S I 1 5 9 1 > 3 . 0 . C O ; 2 - R ;   V e r o n i s   J . ,   2 0 0 6 ,   C O M P   S T U D Y   6   S E A R C H ;   W h i t e   R W ,   2 0 0 9 ,   P R O C E E D I N G S   3 2 N D   A N N U A L   I N T E R N A T I O N A L   A C M   S I G I R   C O N F E R E N C E   O N   R E S E A R C H   A N D   D E V E L O P M E N T   I N   I N F O R M A T I O N   R E T R I E V A L ,   P 3 6 3 ,   D O I   1 0 . 1 1 4 5 / 1 5 7 1 9 4 1 . 1 5 7 2 0 0 5 	 4 4 	 1 	 1 	 W I L E Y - B L A C K W E L L 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 1 5 3 2 - 2 8 8 2 	 	 	 J   A M   S O C   I N F   S C I   T E C 	 J .   A m .   S o c .   I n f .   S c i .   T e c h n o l . 	 S E P 	 2 0 1 2 	 6 3 	 9 	 	 	 	 	 1 7 7 3 	 1 7 8 8 	 	 1 0 . 1 0 0 2 / a s i . 2 2 7 0 6 	 	 1 6 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 C o m p u t e r   S c i e n c e ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 9 9 1 V E 	 W O S : 0 0 0 3 0 7 7 3 0 0 0 0 0 0 6 	 	 
 J 	 M c K e n n a ,   M T ;   W a n g ,   S J ;   N g u y e n ,   T B ;   B u r n s ,   J E ;   P e t r i c k ,   N ;   S u m m e r s ,   R M 	 	 	 	 M c K e n n a ,   M a t t h e w   T . ;   W a n g ,   S h i j u n ;   N g u y e n ,   T a n   B . ;   B u r n s ,   J o s e p h   E . ;   P e t r i c k ,   N i c h o l a s ;   S u m m e r s ,   R o n a l d   M . 	 	 	 S t r a t e g i e s   f o r   i m p r o v e d   i n t e r p r e t a t i o n   o f   c o m p u t e r - a i d e d   d e t e c t i o n s   f o r   C T   c o l o n o g r a p h y   u t i l i z i n g   d i s t r i b u t e d   h u m a n   i n t e l l i g e n c e 	 M E D I C A L   I M A G E   A N A L Y S I S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C o m p u t e d   t o m o g r a p h y   c o l o n o g r a p h y ;   O b s e r v e r   p e r f o r m a n c e   s t u d y ;   C r o w d s o u r c i n g ;   D i s t r i b u t e d   h u m a n   i n t e l l i g e n c e ;   V i d e o   a n a l y s i s 	 T O M O G R A P H I C   V I R T U A L   C O L O N O S C O P Y ;   C O L O N I C   P O L Y P   D E T E C T I O N ;   O B S E R V E R   P E R F O R M A N C E ;   C O L O R E C T A L   N E O P L A S I A ;   S T O O L 	 C o m p u t e r - a i d e d   d e t e c t i o n   ( C A D )   s y s t e m s   h a v e   b e e n   s h o w n   t o   i m p r o v e   t h e   d i a g n o s t i c   p e r f o r m a n c e   o f   C T   c o l o n o g r a p h y   ( C T C )   i n   t h e   d e t e c t i o n   o f   p r e m a l i g n a n t   c o l o r e c t a l   p o l y p s .   D e s p i t e   t h e   i m p r o v e m e n t ,   t h e   o v e r a l l   s y s t e m   i s   n o t   o p t i m a l .   C A D   a n n o t a t i o n s   o n   t r u e   l e s i o n s   a r e   i n c o r r e c t l y   d i s m i s s e d ,   a n d   f a l s e   p o s i t i v e s   a r e   m i s i n t e r p r e t e d   a s   t r u e   p o l y p s .   H e r e ,   w e   c o n d u c t   a n   o b s e r v e r   p e r f o r m a n c e   s t u d y   u t i l i z i n g   d i s t r i b u t e d   h u m a n   i n t e l l i g e n c e   i n   t h e   f o r m   o f   a n o n y m o u s   k n o w l e d g e   w o r k e r s   ( K W s )   t o   i n v e s t i g a t e   h u m a n   p e r f o r m a n c e   i n   c l a s s i f y i n g   p o l y p   c a n d i d a t e s   u n d e r   d i f f e r e n t   p r e s e n t a t i o n   s t r a t e g i e s .   W e   e v a l u a t e d   6 0 0   p o l y p   c a n d i d a t e s   f r o m   5 0   p a t i e n t s ,   e a c h   c a s e   h a v i n g   a t   l e a s t   o n e   p o l y p   > =   6   m m ,   f r o m   a   l a r g e   d a t a b a s e   o f   C T C   s t u d i e s .   E a c h   p o l y p   c a n d i d a t e   w a s   l a b e l e d   i n d e p e n d e n t l y   a s   a   t r u e   o r   f a l s e   p o l y p   b y   2 0   K W s   a n d   a n   e x p e r t   r a d i o l o g i s t .   W e   a s k e d   e a c h   l a b e l e r   t o   d e t e r m i n e   w h e t h e r   t h e   c a n d i d a t e   w a s   a   t r u e   p o l y p   a f t e r   l o o k i n g   a t   a   s i n g l e   3 D - r e n d e r e d   i m a g e   o f   t h e   c a n d i d a t e   a n d   a f t e r   w a t c h i n g   a   v i d e o   f l y - a r o u n d   o f   t h e   c a n d i d a t e .   W e   f o u n d   t h a t   d i s t r i b u t e d   h u m a n   i n t e l l i g e n c e   i m p r o v e d   s i g n i f i c a n t l y   w h e n   p r e s e n t e d   w i t h   t h e   a d d i t i o n a l   i n f o r m a t i o n   i n   t h e   v i d e o   f l y - a r o u n d .   W e   n o t e d   t h a t   p e r f o r m a n c e   d e g r a d e d   w i t h   i n c r e a s i n g   i n t e r p r e t a t i o n   t i m e   a n d   i n c r e a s i n g   d i f f i c u l t y ,   b u t   d i s t r i b u t e d   h u m a n   i n t e l l i g e n c e   p e r f o r m e d   b e t t e r   t h a n   o u r   C A D   c l a s s i f i e r   f o r   " e a s y "   a n d   " m o d e r a t e "   p o l y p   c a n d i d a t e s .   F u r t h e r ,   w e   o b s e r v e d   n u m e r o u s   p a r a l l e l s   b e t w e e n   t h e   e x p e r t   r a d i o l o g i s t   a n d   t h e   K W s .   B o t h   s h o w e d   s i m i l a r   i m p r o v e m e n t   i n   c l a s s i f i c a t i o n   m o v i n g   f r o m   s i n g l e - i m a g e   t o   v i d e o   i n t e r p r e t a t i o n .   A d d i t i o n a l l y ,   d i f f i c u l t y   e s t i m a t e s   o b t a i n e d   f r o m   t h e   K W s   u s i n g   a n   e x p e c t a t i o n   m a x i m i z a t i o n   a l g o r i t h m   c o r r e l a t e d   w e l l   w i t h   t h e   d i f f i c u l t y   r a t i n g   a s s i g n e d   b y   t h e   e x p e r t   r a d i o l o g i s t .   O u r   r e s u l t s   s u g g e s t   t h a t   d i s t r i b u t e d   h u m a n   i n t e l l i g e n c e   i s   a   p o w e r f u l   t o o l   t h a t   w i l l   a i d   i n   t h e   d e v e l o p m e n t   o f   C A D   f o r   C T C .   ( c )   2 0 1 2   P u b l i s h e d   b y   E l s e v i e r   B . V . 	 [ M c K e n n a ,   M a t t h e w   T . ;   W a n g ,   S h i j u n ;   N g u y e n ,   T a n   B . ;   B u r n s ,   J o s e p h   E . ;   S u m m e r s ,   R o n a l d   M . ]   N I H ,   I m a g i n g   B i o m a r k e r s   &   C o m p   A i d e d   D i a g   L a b ,   C t r   C l i n ,   B e t h e s d a ,   M D   2 0 8 9 2   U S A ;   [ B u r n s ,   J o s e p h   E . ]   U n i v   C a l i f   I r v i n e ,   M e d   C t r ,   D e p t   R a d i o l   S c i ,   O r a n g e ,   C A   9 2 8 6 8   U S A ;   [ P e t r i c k ,   N i c h o l a s ]   U S   F D A ,   C t r   D e v i c e s   &   R a d i o l   H l t h ,   S i l v e r   S p r i n g ,   M D   2 0 9 9 3   U S A 	 S u m m e r s ,   R M   ( r e p r i n t   a u t h o r ) ,   N I H ,   I m a g i n g   B i o m a r k e r s   &   C o m p   A i d e d   D i a g   L a b ,   C t r   C l i n ,   B l d g   1 0 , R o o m   1 C 2 2 4 , M S C   1 1 8 2 ,   B e t h e s d a ,   M D   2 0 8 9 2   U S A . 	 r m s @ n i h . g o v 	 	 	 N a t i o n a l   I n s t i t u t e s   o f   H e a l t h ,   C l i n i c a l   C e n t e r ;   U S   F o o d   a n d   D r u g   A d m i n i s t r a t i o n 	 T h e   i n t r a m u r a l   r e s e a r c h   p r o g r a m s   o f   t h e   N a t i o n a l   I n s t i t u t e s   o f   H e a l t h ,   C l i n i c a l   C e n t e r ,   a n d   t h e   U S   F o o d   a n d   D r u g   A d m i n i s t r a t i o n   s u p p o r t e d   t h i s   w o r k .   W e   t h a n k   P e r r y   J .   P i c k h a r d t ,   M . D . ,   J .   R i c h a r d   C h o i ,   S c D ,   M D   a n d   W i l l i a m   S c h i n d l e r ,   D O ,   f o r   s u p p l y i n g   C T C   d a t a .   T h e   m e n t i o n   o f   c o m m e r c i a l   e n t i t i e s ,   o r   c o m m e r c i a l   p r o d u c t s ,   t h e i r   s o u r c e s ,   o r   t h e i r   u s e   i n   c o n n e c t i o n   w i t h   m a t e r i a l   r e p o r t e d   h e r e i n   i s   n o t   t o   b e   c o n s t r u e d   a s   e i t h e r   a n   a c t u a l   o r   i m p l i e d   e n d o r s e m e n t   o f   s u c h   e n t i t i e s   o r   p r o d u c t s   b y   t h e   D e p a r t m e n t   o f   H e a l t h   a n d   H u m a n   S e r v i c e s . 	 B U R G E S S   A E ,   1 9 9 5 ,   M E D   P H Y S ,   V 2 2 ,   P 6 4 3 ,   D O I   1 0 . 1 1 1 8 / 1 . 5 9 7 5 7 6 ;   C o o p e r   S ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 7 5 6 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 9 3 0 4 ;   C o t t o n   P B ,   2 0 0 4 ,   J A M A - J   A M   M E D   A S S O C ,   V 2 9 1 ,   P 1 7 1 3 ,   D O I   1 0 . 1 0 0 1 / j a m a . 2 9 1 . 1 4 . 1 7 1 3 ;   D a c h m a n   A H ,   2 0 1 0 ,   R A D I O L O G Y ,   V 2 5 6 ,   P 8 2 7 ,   D O I   1 0 . 1 1 4 8 / r a d i o l . 1 0 0 9 1 8 9 0 ;   D a w i d   A . P . ,   1 9 7 9 ,   J   R O Y A L   S T A T   S O C   C ,   V 2 8 ,   P 2 0 ;   D i j k s t r a   E . W . ,   1 9 5 9 ,   N U M E R   M A T H ,   V 1 ,   P 2 6 9 ,   D O I   D O I   1 0 . 1 0 0 7 / B F 0 1 3 8 6 3 9 0 ;   G u r   D ,   2 0 0 8 ,   R A D I O L O G Y ,   V 2 4 9 ,   P 4 7 ,   D O I   1 0 . 1 1 4 8 / r a d i o l . 2 4 9 1 0 7 2 0 2 5 ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ;   J e m a l   A ,   2 0 1 0 ,   C A - C A N C E R   J   C L I N ,   V 6 0 ,   P 2 7 7 ,   D O I   [ 1 0 . 3 3 2 2 / c a a c . 2 0 0 7 3 ,   1 0 . 1 0 0 2 / c a a c . 2 0 0 7 3 ] ;   J o h n s o n   C D ,   2 0 0 8 ,   N E W   E N G L   J   M E D ,   V 3 5 9 ,   P 1 2 0 7 ,   D O I   1 0 . 1 0 5 6 / N E J M o a 0 8 0 0 9 9 6 ;   J o h n s o n   C D ,   2 0 0 3 ,   G A S T R O E N T E R O L O G Y ,   V 1 2 5 ,   P 6 8 8 ,   D O I   1 0 . 1 0 1 6 / S 0 0 1 6 - 5 0 8 5 ( 0 3 ) 0 1 0 5 8 - 8 ;   L i   J ,   2 0 0 9 ,   M E D   P H Y S ,   V 3 6 ,   P 2 0 1 ,   D O I   1 0 . 1 1 1 8 / 1 . 3 0 4 0 1 7 7 ;   M e t z   C E ,   1 9 9 8 ,   S T A T   M E D ,   V 1 7 ,   P 1 0 3 3 ,   D O I   1 0 . 1 0 0 2 / ( S I C I ) 1 0 9 7 - 0 2 5 8 ( 1 9 9 8 0 5 1 5 ) 1 7 : 9 < 1 0 3 3 : : A I D - S I M 7 8 4 > 3 . 3 . C O ; 2 - Q ;   N a p p i   J ,   2 0 0 9 ,   M E D   P H Y S ,   V 3 6 ,   P 1 8 3 0 ,   D O I   1 0 . 1 1 1 8 / 1 . 3 1 1 3 8 9 3 ;   N g u y e n   T B ,   2 0 1 2 ,   R A D I O L O G Y ,   V 2 6 2 ,   P 8 2 4 ,   D O I   1 0 . 1 1 4 8 / r a d i o l . 1 1 1 1 0 9 3 8 ;   N o d i n e   C F ,   2 0 0 2 ,   A M   J   R O E N T G E N O L ,   V 1 7 9 ,   P 9 1 7 ;   O b u c h o w s k i   N A ,   2 0 1 0 ,   A C A D   R A D I O L ,   V 1 7 ,   P 7 6 1 ,   D O I   1 0 . 1 0 1 6 / j . a c r a . 2 0 1 0 . 0 1 . 0 1 8 ;   P a r k   S H ,   2 0 0 8 ,   R A D I O L O G Y ,   V 2 4 8 ,   P 1 0 1 8 ,   D O I   1 0 . 1 1 4 8 / r a d i o l . 2 4 8 3 0 7 1 6 4 5 ;   P e t r i c k   N ,   2 0 0 8 ,   R A D I O L O G Y ,   V 2 4 6 ,   P 1 4 8 ,   D O I   1 0 . 1 1 4 8 / r a d i o l . 2 4 5 3 0 6 2 1 6 1 ;   P i c k h a r d t   P J ,   2 0 0 3 ,   N E W   E N G L   J   M E D ,   V 3 4 9 ,   P 2 1 9 1 ,   D O I   1 0 . 1 0 5 6 / N E J M o a 0 3 1 6 1 8 ;   P i c k h a r d t   P J ,   2 0 0 3 ,   A M   J   R O E N T G E N O L ,   V 1 8 1 ,   P 7 9 9 ;   R a y k a r   V C ,   2 0 1 0 ,   J   M A C H   L E A R N   R E S ,   V 1 1 ,   P 1 2 9 7 ;   R o c k e y   D C ,   2 0 0 5 ,   L A N C E T ,   V 3 6 5 ,   P 3 0 5 ;   S a u n d e r s   R . S . ,   2 0 0 6 ,   B R I T   J   R A D I O L ,   V 7 9 ,   p S 1 1 7 ;   S c h r o e d e r   W ,   2 0 0 3 ,   V I S U A L I Z A T I O N   T O O L K I ,   P 1 5 6 ;   S m i t h   R A ,   2 0 1 0 ,   C A - C A N C E R   J   C L I N ,   V 6 0 ,   P 9 9 ,   D O I   1 0 . 3 3 2 2 / c a a c . 2 0 0 6 3 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ;   S u m m e r s   R M ,   2 0 0 5 ,   G A S T R O E N T E R O L O G Y ,   V 1 2 9 ,   P 1 8 3 2 ,   D O I   1 0 . 1 0 5 3 / j . g a s t r o . 2 0 0 5 . 0 8 . 0 5 4 ;   S u z u k i   K ,   2 0 1 0 ,   I E E E   T   M E D   I M A G I N G ,   V 2 9 ,   P 1 9 0 7 ,   D O I   1 0 . 1 1 0 9 / T M I . 2 0 1 0 . 2 0 5 3 2 1 3 ;   T a y l o r   S A ,   2 0 0 9 ,   R A D I O L O G Y ,   V 2 5 3 ,   P 7 1 5 ,   D O I   1 0 . 1 1 4 8 / r a d i o l . 2 5 3 3 0 9 0 3 5 6 ;   v o n   A h n   L ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ;   v o n   A h n   L ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 1 ,   P 1 4 6 5 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 0 3 7 9 ;   W a n g   S . ,   2 0 1 0 ,   I N T   J   C O M P U T A T I O N A L ,   V 9 ,   P 1 ;   W a n g   S J ,   2 0 1 1 ,   I   S   B I O M E D   I M A G I N G ,   P 1 6 0 ;   W h i t e h i l l   J . ,   2 0 0 9 ,   A D V   N E U R   I N F O R M   P R O C ,   V 2 2 ;   Y a o   J H ,   2 0 0 4 ,   I E E E   T   M E D   I M A G I N G ,   V 2 3 ,   P 1 3 4 4 ,   D O I   1 0 . 1 1 0 9 / T M I . 2 0 0 4 . 8 2 6 9 4 1 ;   Z h u   H B ,   2 0 1 0 ,   M E D   P H Y S ,   V 3 7 ,   P 1 4 6 8 ,   D O I   1 0 . 1 1 1 8 / 1 . 3 3 0 2 8 3 3 	 3 7 	 2 	 2 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 1 3 6 1 - 8 4 1 5 	 	 	 M E D   I M A G E   A N A L 	 M e d .   I m a g e   A n a l . 	 A U G 	 2 0 1 2 	 1 6 	 6 	 	 	 	 	 1 2 8 0 	 1 2 9 2 	 	 1 0 . 1 0 1 6 / j . m e d i a . 2 0 1 2 . 0 4 . 0 0 7 	 	 1 3 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   E n g i n e e r i n g ,   B i o m e d i c a l ;   R a d i o l o g y ,   N u c l e a r   M e d i c i n e   &   M e d i c a l   I m a g i n g 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   R a d i o l o g y ,   N u c l e a r   M e d i c i n e   &   M e d i c a l   I m a g i n g 	 0 1 8 V H 	 W O S : 0 0 0 3 0 9 6 9 4 1 0 0 0 1 6 	 2 2 7 0 5 2 8 7 	 
 J 	 G i n g o l d ,   Y ;   S h a m i r ,   A ;   C o h e n - O r ,   D 	 	 	 	 G i n g o l d ,   Y o t a m ;   S h a m i r ,   A r i e l ;   C o h e n - O r ,   D a n i e l 	 	 	 M i c r o   P e r c e p t u a l   H u m a n   C o m p u t a t i o n   f o r   V i s u a l   T a s k s 	 A C M   T R A N S A C T I O N S   O N   G R A P H I C S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 A l g o r i t h m s ;   D e s i g n ;   H u m a n   F a c t o r s ;   H u m a n   c o m p u t a t i o n ;   c r o w d s o u r c i n g ;   p e r c e p t i o n ;   g r a p h i c s ;   v i s i o n ;   i m a g e s ;   d e p t h ;   n o r m a l s ;   s y m m e t r y 	 A M B I G U I T Y ;   R E L I E F 	 H u m a n   C o m p u t a t i o n   ( H C )   u t i l i z e s   h u m a n s   t o   s o l v e   p r o b l e m s   o r   c a r r y   o u t   t a s k s   t h a t   a r e   h a r d   f o r   p u r e   c o m p u t a t i o n a l   a l g o r i t h m s .   M a n y   g r a p h i c s   a n d   v i s i o n   p r o b l e m s   h a v e   s u c h   t a s k s .   P r e v i o u s   H C   a p p r o a c h e s   m a i n l y   f o c u s   o n   g e n e r a t i n g   d a t a   i n   b a t c h ,   t o   g a t h e r   b e n c h m a r k s ,   o r   p e r f o r m   s u r v e y s   d e m a n d i n g   n o n t r i v i a l   i n t e r a c t i o n s .   W e   a d v o c a t e   a   t i g h t e r   i n t e g r a t i o n   o f   h u m a n   c o m p u t a t i o n   i n t o   o n l i n e ,   i n t e r a c t i v e   a l g o r i t h m s .   W e   a i m   t o   d i s t i l l   t h e   d i f f e r e n c e s   b e t w e e n   h u m a n s   a n d   c o m p u t e r s   a n d   m a x i m i z e   t h e   a d v a n t a g e s   o f   b o t h   i n   o n e   a l g o r i t h m .   O u r   k e y   i d e a   i s   t o   d e c o m p o s e   s u c h   a   p r o b l e m   i n t o   a   m a s s i v e   n u m b e r   o f   v e r y   s i m p l e ,   c a r e f u l l y   d e s i g n e d ,   h u m a n   m i c r o - t a s k s   t h a t   a r e   b a s e d   o n   p e r c e p t i o n ,   a n d   w h o s e   a n s w e r s   c a n   b e   c o m b i n e d   a l g o r i t h m i c a l l y   t o   s o l v e   t h e   o r i g i n a l   p r o b l e m .   O u r   a p p r o a c h   i s   i n s p i r e d   b y   p r e v i o u s   w o r k   o n   m i c r o - t a s k s   a n d   p e r c e p t i o n   e x p e r i m e n t s .   W e   p r e s e n t   t h r e e   s p e c i f i c   e x a m p l e s   f o r   t h e   d e s i g n   o f   m i c r o   p e r c e p t u a l   h u m a n   c o m p u t a t i o n   a l g o r i t h m s   t o   e x t r a c t   d e p t h   l a y e r s   a n d   i m a g e   n o r m a l s   f r o m   a   s i n g l e   p h o t o g r a p h ,   a n d   t o   a u g m e n t   a n   i m a g e   w i t h   h i g h - l e v e l   s e m a n t i c   i n f o r m a t i o n   s u c h   a s   s y m m e t r y . 	 [ G i n g o l d ,   Y o t a m ]   T e l   A i v   U n i v ,   S c h   C o m p   S c i ,   T e l   A v i v ,   I s r a e l ;   [ G i n g o l d ,   Y o t a m ;   S h a m i r ,   A r i e l ]   I n t e r d i s c i p l i n a r y   C t r ,   E f i   A r a z i   S c h   C o m p   S c i ,   H e r z l i y y a ,   I s r a e l ;   [ C o h e n - O r ,   D a n i e l ]   T e l   A v i v   U n i v ,   S c h   C o m p   S c i ,   I L - 6 9 9 7 8   T e l   A v i v ,   I s r a e l 	 G i n g o l d ,   Y   ( r e p r i n t   a u t h o r ) ,   T e l   A i v   U n i v ,   S c h   C o m p   S c i ,   T e l   A v i v ,   I s r a e l . 	 y o t a m @ y o t a m g i n g o l d . c o m 	 	 	 I s r a e l i   S c i e n c e   F o u n d a t i o n   [ 3 1 5 / 0 7 ,   3 2 4 / 1 1 ] 	 T h i s   w o r k   w a s   p a r t i a l l y   s u p p o r t e d   b y   I s r a e l i   S c i e n c e   F o u n d a t i o n   g r a n t s   3 1 5 / 0 7   a n d   3 2 4 / 1 1 . 	 A C H A N T A   R . ,   2 0 1 0 ,   S U P E R P I X E L S ;   A d a r   E . ,   2 0 1 1 ,   P   C H I   W O R K S H   C R O W D S ;   A d o m a v i c i u s   G ,   2 0 0 5 ,   I E E E   T   K N O W L   D A T A   E N ,   V 1 7 ,   P 7 3 4 ,   D O I   1 0 . 1 1 0 9 / T K D E . 2 0 0 5 . 9 9 ;   A h n   L . ,   2 0 0 3 ,   P   C   A D V   C R Y P T   E U R ,   V 2 6 5 6 ,   P 2 9 4 ;   A M E R   M . ,   2 0 1 0 ,   P   I N T   C   I M   P R O C   I C I P ,   P 3 4 3 7 ;   A r m b r u s t   M ,   2 0 1 0 ,   C O M M U N   A C M ,   V 5 3 ,   P 5 0 ,   D O I   1 0 . 1 1 4 5 / 1 7 2 1 6 5 4 . 1 7 2 1 6 7 2 ;   A S S A   J . ,   2 0 0 7 ,   P   E U R   C ;   B e l h u m e u r   P N ,   1 9 9 7 ,   P R O C   C V P R   I E E E ,   P 1 0 6 0 ,   D O I   1 0 . 1 1 0 9 / C V P R . 1 9 9 7 . 6 0 9 4 6 1 ;   B E R N S T E I N   M .   S . ,   2 0 1 1 ,   P   A N N   A C M   S   U S   I N T   S ,   P 3 2 ;   B e r n s t e i n   M . S . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 3 1 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 7 8 ;   B h a t   P . ,   2 0 1 0 ,   A C M   T   G R A P H I C ,   V 2 9 ;   B i g h a m   J . P . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 3 3 3 ,   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 8 0 ;   B R A N S O N   S . ,   2 0 1 0 ,   P   E U R   C   C O M P   V I S   E C C ;   C h e n   P . ,   2 0 0 7 ,   C M U R I T R 0 7 3 6 ;   C h e n   X . ,   2 0 0 9 ,   A C M   T   G R A P H I C ,   V 2 8 ,   P 7 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 5 3 1 3 2 6 . 1 5 3 1 3 7 9 ;   C h i l t o n   L .   B . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 1 ,   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 8 8 9 ;   C O L E   F . ,   2 0 0 9 ,   A C M   T   G R A P H I C ,   V < I T > 2 8 < / I T > ,   P 3 ;   C o m a n i c i u   D ,   2 0 0 2 ,   I E E E   T   P A T T E R N   A N A L ,   V 2 4 ,   P 6 0 3 ,   D O I   1 0 . 1 1 0 9 / 3 4 . 1 0 0 0 2 3 6 ;   C o r n e l i u s   H ,   2 0 0 7 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 5 2 2 ,   P 1 5 2 ;   D u r o u   J D ,   2 0 0 8 ,   C O M P U T   V I S   I M A G E   U N D ,   V 1 0 9 ,   P 2 2 ,   D O I   1 0 . 1 0 1 6 / j . c v i u . 2 0 0 7 . 0 9 . 0 0 3 ;   F a r i d a n i   S . ,   2 0 1 1 ,   P   A A A I   W O R K S H   H U M   C O ;   G O L D B E R G   D ,   1 9 9 2 ,   C O M M U N   A C M ,   V 3 5 ,   P 6 1 ,   D O I   1 0 . 1 1 4 5 / 1 3 8 8 5 9 . 1 3 8 8 6 7 ;   G r i e r   D . A . ,   2 0 0 5 ,   C O M P U T E R S   W E R E   H U M A N ;   H a y e s   B ,   2 0 0 8 ,   C O M M U N   A C M ,   V 5 1 ,   P 9 ,   D O I   1 0 . 1 1 4 5 / 1 3 6 4 7 8 2 . 1 3 6 4 7 8 6 ;   H E A L Y   A .   F . ,   2 0 0 3 ,   H D B   P S Y C H O L ,   V 4 ;   H e e r   J ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 2 0 3 ;   H O I E M   D . ,   2 0 0 5 ,   A U T O M A T I C   P H O T O   P O P ;   H U A N G   E . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   A C M   C R O S S R O A D S ,   V 1 7 ,   P 1 6 ;   K a l o g e r a k i s   E ,   2 0 1 0 ,   A C M   T   G R A P H I C ,   V 2 9 ,   D O I   1 0 . 1 1 4 5 / 1 7 7 8 7 6 5 . 1 7 7 8 8 3 9 ;   K O E N D E R I N K   J J ,   1 9 9 2 ,   P E R C E P T   P S Y C H O P H Y S ,   V 5 2 ,   P 4 8 7 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 2 0 6 7 1 0 ;   K o e n d e r i n k   J J ,   2 0 0 1 ,   P E R C E P T I O N ,   V 3 0 ,   P 4 3 1 ,   D O I   1 0 . 1 0 6 8 / p 3 0 3 0 ;   L e v i n s h t e i n   A ,   2 0 0 9 ,   I E E E   T   P A T T E R N   A N A L ,   V 3 1 ,   P 2 2 9 0 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 0 9 . 9 6 ;   L I T T L E   G . ,   2 0 1 0 ,   P   A N N   A C M   S   U S   I N T   S ;   L i u   Y . ,   2 0 1 0 ,   F D N   T R E N D S   C O M P U T E R ,   V 5 ,   P 1 ;   M a s o n   W . ,   2 0 1 0 ,   S I G K D D   E X P L O R   N E W S L ,   V 1 1 ,   P 1 0 0 ;   M a s o n   W ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 1 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 1 2 4 - 6 ;   O h   B M ,   2 0 0 1 ,   C O M P   G R A P H ,   P 4 3 3 ;   Q u i n n   A . J . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 1 4 0 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 9 1 4 8 ;   R U S S E L   B C ,   2 0 0 8 ,   I N T   J   C O M P U T   V I S I O N ,   V 7 7 ,   P 1 ;   R u s s e l l   B C ,   2 0 0 8 ,   I N T   J   C O M P U T   V I S I O N ,   V 7 7 ,   P 1 5 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 6 3 - 0 0 7 - 0 0 9 0 - 8 ;   S a x e n a   A ,   2 0 0 9 ,   I E E E   T   P A T T E R N   A N A L ,   V 3 1 ,   P 8 2 4 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 0 8 . 1 3 2 ;   S c h m i d t   R F ,   2 0 0 9 ,   E X P   B R A I N   R E S ,   V 1 9 6 ,   P 3 ,   D O I   1 0 . 1 0 0 7 / s 0 0 2 2 1 - 0 0 9 - 1 8 5 1 - 0 ;   S H A H A F   D . ,   2 0 1 0 ,   P   N A T   C   A R T   I N T ;   S O R O K I N   A . ,   2 0 1 0 ,   P   I E E E   R S J   I N T   C   I N T ;   S P I R O   I . ,   2 0 1 0 ,   P   C O M P   V I S   P A T T   R E C ,   P 1 7 ;   S Y K O R A   D . ,   2 0 1 0 ,   C O M P U T   G R A P H   F O R U M ,   V < I T > 2 9 < / I T > ,   P 2 ;   T a l t o n   J .   O . ,   2 0 0 9 ,   A C M   T O G   S I G G   A S I A ,   V 2 8 ;   V E N T U R A   J . ,   2 0 0 9 ,   P   E U R   W O R K S H   S K E T C H ;   v o n   A h n   L . ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 3 1 9 ,   D O I   1 0 . 1 1 4 5 / 9 8 5 6 9 2 . 9 8 5 7 3 3 ;   V o n   A h n   L . ,   2 0 0 5 ,   T H E S I S   C A R N E G I E   M E L L ;   v o n   A h n   L ,   2 0 0 8 ,   C O M M U N   A C M ,   V 5 1 ,   P 5 8 ,   D O I   1 0 . 1 1 4 5 / 1 3 7 8 7 0 4 . 1 3 7 8 7 1 9 ;   W U   T . - P . ,   2 0 0 8 ,   A C M   T   G R A P H I C ,   V < I T > 2 7 < / I T > ,   P 1 1 9 ;   Y u e n   J ,   2 0 0 9 ,   I E E E   I   C O N F   C O M P   V I S ,   P 1 4 5 1 ,   D O I   1 0 . 1 1 0 9 / I C C V . 2 0 0 9 . 5 4 5 9 2 8 9 	 5 5 	 0 	 0 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 2   P E N N   P L A Z A ,   S T E   7 0 1 ,   N E W   Y O R K ,   N Y   1 0 1 2 1 - 0 7 0 1   U S A 	 0 7 3 0 - 0 3 0 1 	 	 	 A C M   T   G R A P H I C 	 A C M   T r a n s .   G r a p h . 	 A U G 	 2 0 1 2 	 3 1 	 5 	 	 	 	 	 	 	 1 1 9 	 1 0 . 1 1 4 5 / 2 2 3 1 8 1 6 . 2 2 3 1 8 1 7 	 	 1 2 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 0 0 4 C C 	 W O S : 0 0 0 3 0 8 6 5 6 7 0 0 0 0 1 	 	 
 J 	 M i z z a r o ,   S 	 	 	 	 M i z z a r o ,   S t e f a n o 	 	 	 R e a d e r s o u r c i n g u a   m a n i f e s t o 	 J O U R N A L   O F   T H E   A M E R I C A N   S O C I E T Y   F O R   I N F O R M A T I O N   S C I E N C E   A N D   T E C H N O L O G Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 s c h o l a r l y   c o m m u n i c a t i o n ;   r e f e r e e i n g ;   s c h o l a r l y   p u b l i s h i n g ;   c r o w d s o u r c i n g ;   r e a d e r s 	 	 T h i s   p o s i t i o n   p a p e r   a n a l y z e s   t h e   c u r r e n t   s i t u a t i o n   i n   s c h o l a r l y   p u b l i s h i n g   a n d   p e e r   r e v i e w   p r a c t i c e s   a n d   p r e s e n t s   t h r e e   t h e s e s :   ( a )   w e   a r e   g o i n g   t o   r u n   o u t   o f   p e e r   r e v i e w e r s ;   ( b )   i t   i s   p o s s i b l e   t o   r e p l a c e   r e f e r e e s   w i t h   r e a d e r s ,   a n   a p p r o a c h   t h a t   I   h a v e   n a m e d   R e a d e r s o u r c i n g ;   a n d   ( c )   i t   i s   p o s s i b l e   t o   a v o i d   p o t e n t i a l   w e a k n e s s e s   i n   t h e   R e a d e r s o u r c i n g   m o d e l   b y   a d o p t i n g   a n   a p p r o p r i a t e   q u a l i t y   c o n t r o l   m e c h a n i s m .   T h e   r e a d e r s o u r c i n g . o r g   s y s t e m   i s   t h e n   p r e s e n t e d   a s   a n   i n d e p e n d e n t ,   t h i r d - p a r t y ,   n o n p r o f i t ,   a n d   a c a d e m i c / s c i e n t i f i c   e n d e a v o r   a i m e d   a t   q u a l i t y   r a t i n g   o f   s c h o l a r l y   l i t e r a t u r e   a n d   s c h o l a r s ,   a n d   s o m e   p o s s i b l e   c r i t i c i s m s   a r e   d i s c u s s e d . 	 U n i v   U d i n e ,   D e p t   M a t h   &   C o m p   S c i ,   I - 3 3 1 0 0   U d i n e ,   I t a l y 	 M i z z a r o ,   S   ( r e p r i n t   a u t h o r ) ,   U n i v   U d i n e ,   D e p t   M a t h   &   C o m p   S c i ,   I - 3 3 1 0 0   U d i n e ,   I t a l y . 	 m i z z a r o @ d i m i . u n i u d . i t 	 	 	 	 	 A k s t   J ,   2 0 1 0 ,   S C I E N T I S T ,   V 2 4 ,   P 3 6 ;   A r m s   W .   Y . ,   2 0 0 2 ,   J   E L E C T   P U B L I S H I N G ,   V 8 ;   C r o n i n   B ,   2 0 0 9 ,   J   A M   S O C   I N F   S C I   T E C ,   V 6 0 ,   P 1 9 4 9 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 1 1 6 1 ;   C u s i n a t o   A ,   2 0 0 9 ,   W I C O W   0 9 ,   P 2 7 ;   F o x   J . ,   2 0 1 0 ,   B   E C O L   S O C   A M ,   V 9 1 ,   P 3 2 5 ,   D O I   1 0 . 1 8 9 0 / 0 0 1 2 - 9 6 2 3 - 9 1 . 3 . 3 2 5 ;   G i l e s   J ,   2 0 0 5 ,   N A T U R E ,   V 4 3 8 ,   P 9 0 0 ,   D O I   1 0 . 1 0 3 8 / 4 3 8 9 0 0 a ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   K e e n   A . ,   2 0 0 8 ,   C U L T   A M A T E U R   B L O G S   M ;   M e y e r   B . ,   2 0 1 0 ,   F I X I N G   P R O C E S S   C O M P U ;   M i z z a r o   S ,   2 0 1 1 ,   W O R L D   W I D E   W E B ,   V 1 4 ,   P 3 7 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 8 0 - 0 1 1 - 0 1 1 6 - 6 ;   M i z z a r o   S ,   2 0 0 3 ,   J   A M   S O C   I N F   S C I   T E C ,   V 5 4 ,   P 9 8 9 ,   D O I   1 0 . 1 0 0 2 / a s i . 1 0 2 9 6 ;   S e r v i c e   R F ,   2 0 0 2 ,   S C I E N C E ,   V 2 9 8 ,   P 3 0 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 2 9 8 . 5 5 9 1 . 3 0 ;   T e n o p i r   C . ,   2 0 0 8 ,   D   L I B   M A G A Z I N E ,   V 1 4 ;   V i n e s   T ,   2 0 1 0 ,   N A T U R E ,   V 4 6 8 ,   P 1 0 4 1 ,   D O I   1 0 . 1 0 3 8 / 4 6 8 1 0 4 1 a 	 1 4 	 0 	 0 	 W I L E Y - B L A C K W E L L 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 1 5 3 2 - 2 8 8 2 	 	 	 J   A M   S O C   I N F   S C I   T E C 	 J .   A m .   S o c .   I n f .   S c i .   T e c h n o l . 	 A U G 	 2 0 1 2 	 6 3 	 8 	 	 	 	 	 1 6 6 6 	 1 6 7 2 	 	 1 0 . 1 0 0 2 / a s i . 2 2 6 6 8 	 	 7 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 C o m p u t e r   S c i e n c e ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 9 7 8 P X 	 W O S : 0 0 0 3 0 6 7 5 8 6 0 0 0 1 4 	 	 
 J 	 T o r r - B r o w n ,   S 	 	 	 	 T o r r - B r o w n ,   S h e r y l 	 	 	 C r o w d s o u r c e d   s c i e n c e   a n d   g e n e t i c   i n s i g h t s   f o r   p e r s o n a l i z i n g   m e d i c i n e :   b e g i n n i n g   t o   d e l i v e r   t h e   g o o d s 	 P E R S O N A L I Z E D   M E D I C I N E 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 c r o w d s o u r c i n g ;   g a m i n g ;   p a t t e r n   r e c o g n i t i o n ;   s o c i a l   m e d i a 	 P L A Y E R S 	 	 S p i r a l 5   T r a n s l a t   S c i ,   M y s t i c ,   C T   0 6 3 5 5   U S A 	 T o r r - B r o w n ,   S   ( r e p r i n t   a u t h o r ) ,   S p i r a l 5   T r a n s l a t   S c i ,   9 1   S p r i n g   V a l l e y   R d ,   M y s t i c ,   C T   0 6 3 5 5   U S A . 	 s r t o r r @ g m a i l . c o m 	 	 	 	 	 [ A n o n y m o u s ] ,   2 0 1 2 ,   N A T   B I O T E C H N O L ,   V 3 0 ,   P 1 ;   C a l l a w a y   E ,   2 0 1 2 ,   N A T U R E ,   V 4 8 4 ,   P 3 0 2 ,   D O I   1 0 . 1 0 3 8 / 4 8 4 3 0 2 a ;   C o r b i n   Z ,   W H I T E H O U S E   P E T I T I O N E ;   E i b e n   C B ,   2 0 1 2 ,   N A T   B I O T E C H N O L ,   V 3 0 ,   P 1 9 0 ,   D O I   1 0 . 1 0 3 8 / n b t . 2 1 0 9 ;   K h a t i b   F ,   2 0 1 1 ,   N A T   S T R U C T   M O L   B I O L ,   V 1 8 ,   P 1 1 7 5 ,   D O I   1 0 . 1 0 3 8 / n s m b . 2 1 1 9 ;   M c G o n i g a l   J ,   W E   S P E N D   3   B I L L I O N   H ;   S h a p i r o   A D ,   G A M E R S   G E N O M I C S   C R O W ;   S h i r k y   C ,   2 0 0 8 ,   H E R E   C O M E S   E V E R Y B O D Y ,   P 1 4 3 ;   S w a n   M ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 9 8 8 ;   S w a n   M ,   2 0 1 1 ,   S S 1 2 0 5   A S S   A D V   A R T   I ;   T u n   J Y ,   2 0 1 1 ,   P L O S   G E N E T ,   V 7 ;   W e s t   L ,   2 0 1 2 ,   P L O S   O N E ,   V 7 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 3 1 9 0 6 	 1 2 	 0 	 0 	 F U T U R E   M E D I C I N E   L T D 	 L O N D O N 	 U N I T E C   H O U S E ,   3 R D   F L O O R ,   2   A L B E R T   P L A C E ,   F I N C H L E Y   C E N T R A L ,   L O N D O N ,   N 3   1 Q B ,   E N G L A N D 	 1 7 4 1 - 0 5 4 1 	 	 	 P E R S   M E D 	 P e r s .   M e d . 	 A U G 	 2 0 1 2 	 9 	 6 	 	 	 	 	 5 6 9 	 5 7 2 	 	 1 0 . 2 2 1 7 / P M E . 1 2 . 6 3 	 	 4 	 P h a r m a c o l o g y   &   P h a r m a c y 	 P h a r m a c o l o g y   &   P h a r m a c y 	 9 8 7 L Q 	 W O S : 0 0 0 3 0 7 4 1 8 9 0 0 0 0 3 	 	 
 J 	 M e r r i t t ,   A ;   S t u b b s ,   T 	 	 	 	 M e r r i t t ,   A m y ;   S t u b b s ,   T r i s t a n 	 	 	 C O M P L E M E N T I N G   T H E   L O C A L   A N D   G L O B A L :   P R O M O T I N G   S U S T A I N A B I L I T Y   A C T I O N   T H R O U G H   L I N K E D   L O C A L - L E V E L   A N D   F O R M A L   S U S T A I N A B I L I T Y   F U N D I N G   M E C H A N I S M S 	 P U B L I C   A D M I N I S T R A T I O N   A N D   D E V E L O P M E N T 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c o m p l e m e n t a r y   c u r r e n c i e s ;   c l i m a t e   f i n a n c e ;   g o v e r n a n c e ;   c r o w d s o u r c i n g ;   c o m m u n i t y   d e v e l o p m e n t ;   c o m m u n i t y   s a v i n g s   b a n k 	 B I O D I V E R S I T Y ;   I N S T R U M E N T S ;   G O V E R N A N C E 	 T h i s   a r t i c l e   e x p l o r e s   s o m e   o f   t h e   c h a l l e n g e s   a s s o c i a t e d   w i t h   f i n a n c i n g   s u s t a i n a b i l i t y   a c t i o n   a t   t h e   l o c a l   l e v e l ,   u s i n g   S o u t h   A f r i c a   a n d   t h e   U K   a s   c a s e   s t u d i e s .   F o r m a l   c l i m a t e   f i n a n c e ,   i n c l u d i n g   f l o w s   t h r o u g h   m u l t i l a t e r a l   d e v e l o p m e n t   b a n k s   a n d   p r i v a t e   s e c t o r   i n v e s t o r   m a r k e t s ,   h a s   b e e n   c r i t i c i s e d   f o r   f a i l i n g   e f f e c t i v e l y   t o   l i n k   g l o b a l   f i n a n c i a l   i n t e r e s t s   t o   c o m m u n i t y   n e e d s   a n d   p r i o r i t i e s .   W e   d i s c u s s   h o w   a   n u m b e r   o f   n e w   f i n a n c i a l   i n n o v a t i o n s ,   i n c l u d i n g   T i m e B a n k i n g ,   c o m m u n i t y   c u r r e n c i e s ,   c o m m u n i t y   s h a r e   s c h e m e s ,   a n d   p e e r - t o - p e e r   l e n d i n g   c o u l d   h e l p   t o   b r i d g e   t h i s   g a p .   I n   p a r t i c u l a r ,   w e   e x p l o r e   h o w   s u c h   f i n a n c i a l   i n n o v a t i o n s   c o u l d   b e   e m p l o y e d   t o   s u p p o r t   a   m o r e   c o m m u n i t y - d r i v e n   a l l o c a t i o n   o f   s u s t a i n a b i l i t y   f i n a n c i n g   t h a t   p r i o r i t i s e s   l o c a l   s o c i a l   a n d   e n v i r o n m e n t a l   b e n e f i t s .   W e   s u g g e s t   t h a t   g r a s s r o o t s   f i n a n c i n g   m e c h a n i s m s   h a v e   t h e   p o t e n t i a l   t o   a c c o u n t   f o r   t h e   s o c i a l   d i m e n s i o n   i n   m o b i l i s i n g   r e s o u r c e s   i n   a   g r e e n   e c o n o m y   a s   w e l l   a s   s u p p o r t i n g   c i v i l   s o c i e t y   a n d   l o c a l   g o v e r n m e n t s   t o   d e v e l o p   g r e a t e r   d e c i s i o n - m a k i n g   a r o u n d   t h e   m o b i l i s a t i o n   a n d   a l l o c a t i o n   o f   s u s t a i n a b i l i t y   r e s o u r c i n g .   F u r t h e r ,   b y   b r i n g i n g   t o g e t h e r   t h e   l o c a l   a n d   t h e   g l o b a l ,   s u s t a i n a b i l i t y   f i n a n c i n g   i n s t r u m e n t s   c o u l d   a l s o   h e l p   t o   c r e a t e   s y n e r g i e s   a n d   c o n s t r u c t i v e   p a r t n e r s h i p s   a m o n g   p u b l i c   a d m i n i s t r a t i o n s ,   m a r k e t s ,   a n d   s o c i e t y   f o r   f i n d i n g   c r e a t i v e   a n d   l o c a l l y   a p p r o p r i a t e   s o l u t i o n s   t o   p r o m o t e   s u s t a i n a b l e   d e v e l o p m e n t .   C o p y r i g h t   ( C )   2 0 1 2   J o h n   W i l e y   &   S o n s ,   L t d . 	 	 	 i n f o @ e c o l o m e t r i c s . c o . u k 	 	 	 	 	 A l s o p   R ,   2 0 0 5 ,   P O W E R ,   R I G H T S ,   A N D   P O V E R T Y :   C O N C E P T S   A N D   C O N N E C T I O N S ,   P 1 ,   D O I   1 0 . 1 5 9 6 / 9 7 8 - 0 - 8 2 1 3 - 6 3 1 0 - 2 ;   B a t e m a n   M ,   2 0 1 1 ,   M I C R O F I N A N C E   D E V   P O V ;   B h a t t   N ,   1 9 9 7 ,   P U B L I C   A D M I N   D E V E L O P ,   V 1 7 ,   P 3 7 1 ,   D O I   1 0 . 1 0 0 2 / ( S I C I ) 1 0 9 9 - 1 6 2 X ( 1 9 9 7 1 0 ) 1 7 : 4 < 3 7 1 : : A I D - P A D 9 7 1 > 3 . 0 . C O ; 2 - T ;   B l a u g e   R ,   2 0 0 6 ,   P U B L I C   V A L U E   P O L I T I C ;   B o g e r s   M ,   2 0 1 2 ,   R E A T I V I T Y   I N N O V A T I O N ,   V 2 1 ,   P 6 1 ,   D O I   [ 1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 6 9 1 . 2 0 1 1 . 0 0 6 2 2 . x ,   D O I   1 0 . 1 1 1 1 / J . 1 4 6 7 - 8 6 9 1 . 2 0 1 1 . 0 0 6 2 2 . X ] ;   B o t s m a n   R . ,   2 0 1 0 ,   W H A T S   M I N E   I S   Y O U R S ;   B o w l e s   S ,   2 0 0 2 ,   E C O N   J ,   V 1 1 2 ,   p F 4 1 9 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 8 - 0 2 9 7 . 0 0 0 7 7 ;   B o y l e   D . ,   2 0 1 1 ,   M O R E   M O N E Y   P L A T F O R M S ;   B r a b h a m   D C ,   2 0 0 9 ,   P L A N   T H E O R ,   V 8 ,   P 2 4 2 ,   D O I   1 0 . 1 1 7 7 / 1 4 7 3 0 9 5 2 0 9 1 0 4 8 2 4 ;   C a l i   M ,   2 0 0 8 ,   2 9 8   O D I ;   C o c k   J ,   2 0 1 0 ,   G R E E N   C A P I T A L I S M   E N V ;   C r a w f o r d - B r o w n   D . ,   2 0 1 0 ,   W E   B U I L D   S U S T   C O M M   W ;   D i n e z   E ,   2 0 0 9 ,   3 0   I N T   C   I N F   S Y S T   P H ;   D u n l e a v y   P . ,   2 0 0 6 ,   D I G I T A L   E R A   G O V E R N A N ;   E m e r y ,   2 0 0 6 ,   C O M M U N I T Y   D E V   J   C O M M ,   V 3 7 ,   P 1 9 ;   E r b m a n n   R ,   2 0 0 9 ,   C O L L E C T I V E   P O W E R   C H A ;   G a v e n t a   J ,   2 0 0 2 ,   I D S   B ;   G i d d e n s   A ,   2 0 0 9 ,   P O L I T I C S   C L I M A T E   C H A ;   G i l b e r t s o n   T ,   2 0 0 9 ,   C R I T I C A L   C U R R E N T S   D A ;   G o e t z   A ,   2 0 0 1 ,   1 2 7   I D S ;   G o e t z   A M ,   1 9 9 6 ,   W O R L D   D E V ,   V 2 4 ,   P 4 5 ,   D O I   1 0 . 1 0 1 6 / 0 3 0 5 - 7 5 0 X ( 9 5 ) 0 0 1 2 4 - U ;   G o o d a l l   S ,   1 9 9 4 ,   D E V   E N V   E D   C U R R I C U L U ;   G r e c o   T .   H . ,   2 0 1 0 ,   E N D   M O N E Y   F U T U R E   C I V ;   J a c o b s   C ,   2 0 0 7 ,   C O M M U N I T Y   C A P I T A L S   H ;   J e n k i n   T . ,   2 0 0 9 ,   E N D   M O N E Y   F U T U R E   C I V ,   P 1 2 ;   J o n e s   L . ,   2 0 1 0 ,   C H A R A C T E R I S A T I O N   A D A ;   J o n e s   N ,   2 0 0 9 ,   E N V I R O N   P O L I T ,   V 1 8 ,   P 5 9 5 ,   D O I   1 0 . 1 0 8 0 / 0 9 6 4 4 0 1 0 9 0 3 0 0 7 4 4 3 ;   J o s s   S ,   2 0 1 0 ,   E N V I R O N   P O L I C Y   G O V ,   V 2 0 ,   P 4 0 8 ,   D O I   1 0 . 1 0 0 2 / e e t . 5 5 9 ;   K e l l y   K ,   2 0 0 6 ,   C O M M U N I T Y   D E V   J ,   V 4 1 ,   P 1 6 0 ;   K l i n g n e r   D E ,   2 0 0 1 ,   A M   R E V   P U B L I C   A D M ,   V 3 5 ,   P 3 8 0 ;   K o s o y   N ,   2 0 1 0 ,   E C O L   E C O N ,   V 6 9 ,   P 1 2 2 8 ,   D O I   1 0 . 1 0 1 6 / j . e c o l e c o n . 2 0 0 9 . 1 1 . 0 0 2 ;   L o w e n   M . ,   2 0 1 2 ,   G R E E C E   B A R T E R I N G   S Y S ;   L u t t r e l l   C . ,   2 0 0 9 ,   3 0 8   O D I ;   M a s o n   C . ,   2 0 0 3 ,   2 0 3 0   S P I K E   C O U N T D O W N ;   M c A f e e   K ,   1 9 9 9 ,   E N V I R O N   P L A N N   D ,   V 1 7 ,   P 1 3 3 ,   D O I   1 0 . 1 0 6 8 / d 1 7 0 1 3 3 ;   M c A f r e e   K ,   2 0 1 1 ,   U N R I S D   C   1 0   1 1   O C T   2 ;   M i t l i n   D ,   2 0 0 1 ,   E N V I R O N   U R B A N ,   V 1 3 ,   P 1 5 1 ,   D O I   1 0 . 1 1 7 7 / 0 9 5 6 2 4 7 8 0 1 0 1 3 0 0 2 1 3 ;   N O R T H   P . ,   2 0 1 0 ,   L O C A L   M O N E Y   M A K E   I T ;   P a i n t e r   A ,   2 0 0 9 ,   W E   C A N   T A K E   O W N E R S H I ;   P a l m e r   J ,   2 0 1 1 ,   L O C A L   C U R R E N C I E S   G E R ;   P o e t z   M K ,   2 0 1 2 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 9 ,   P 2 4 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 1 1 . 0 0 8 9 3 . x ;   R i n g   I ,   2 0 1 0 ,   C U R R   O P I N   E N V   S U S T ,   V 2 ,   P 5 0 ,   D O I   1 0 . 1 0 1 6 / j . c o s u s t . 2 0 1 0 . 0 2 . 0 0 4 ;   R o n d i n e l l i   D A ,   2 0 0 7 ,   7   G L O B   F O R   R E I N V   G O V ;   S a n d e l   M i c h a e l ,   2 0 1 2 ,   W H A T   M O N E Y   C A N T   B U Y ;   S c h o l t e n s   B ,   2 0 1 1 ,   N A T   R E S O U R   F O R U M ,   V 3 5 ,   P 2 2 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 7 7 - 8 9 4 7 . 2 0 1 1 . 0 1 3 8 7 . x ;   S e y f a n g   G ,   2 0 0 9 ,   L O W   C A R B O N   C U R R E N C I E ;   S e y f a n g   G ,   2 0 0 2 ,   T I M E   B A N K S   E V A   U N P U B ;   S o c i a l   F i n a n c e ,   2 0 0 9 ,   R E T H   F I N   S O C   O U T C ;   S t o d d e r   J ,   2 0 0 5 ,   P   I N T   E L   E L   E N G   I E E E ;   U N R I S D ,   2 0 1 1 ,   G R E E N   E C   S U S T   D E V   B R ;   W o l f s o n   S M ,   2 0 1 2 ,   P   A M   S O C   I N F O R M   S C I ,   V 4 8 ,   P 1 ,   D O I   [ 1 0 . 1 0 0 2 / m e e t . 2 0 1 1 . 1 4 5 0 4 8 0 1 1 3 5 ,   D O I   1 0 . 1 0 0 2 / M E E T . 2 0 1 1 . 1 4 5 0 4 8 0 1 1 3 5 ] ;   W o r l d   B a n k ,   2 0 0 9 ,   D E C   M E A S   Q U A L   G O V   G O 	 5 2 	 0 	 0 	 W I L E Y - B L A C K W E L L 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 0 2 7 1 - 2 0 7 5 	 	 	 P U B L I C   A D M I N   D E V E L O P 	 P u b l i c   A d m .   D e v . 	 A U G 	 2 0 1 2 	 3 2 	 3 	 	 	 S I 	 	 2 7 8 	 2 9 1 	 	 1 0 . 1 0 0 2 / p a d . 1 6 3 0 	 	 1 4 	 P l a n n i n g   &   D e v e l o p m e n t ;   P u b l i c   A d m i n i s t r a t i o n 	 P u b l i c   A d m i n i s t r a t i o n 	 9 5 9 T A 	 W O S : 0 0 0 3 0 5 3 3 4 8 0 0 0 0 7 	 	 
 J 	 A r o n ,   J 	 	 	 	 A r o n ,   J a c o b 	 	 	 C r o w d s o u r c i n g   c a n   s e r v e   u p   t h e   s u b t i t l e s   t o   y o u r   l i f e 	 N E W   S C I E N T I S T 	 	 	 E n g l i s h 	 N e w s   I t e m 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 0 	 0 	 0 	 R E E D   B U S I N E S S   I N F O R M A T I O N   L T D 	 S U T T O N 	 Q U A D R A N T   H O U S E   T H E   Q U A D R A N T ,   S U T T O N   S M 2   5 A S ,   S U R R E Y ,   E N G L A N D 	 0 2 6 2 - 4 0 7 9 	 	 	 N E W   S C I 	 N e w   S c i . 	 J U L   2 1 	 2 0 1 2 	 2 1 5 	 2 8 7 4 	 	 	 	 	 2 1 	 2 1 	 	 	 	 1 	 M u l t i d i s c i p l i n a r y   S c i e n c e s 	 S c i e n c e   &   T e c h n o l o g y   -   O t h e r   T o p i c s 	 9 8 3 S B 	 W O S : 0 0 0 3 0 7 1 3 7 9 0 0 0 2 1 	 	 
 J 	 T r e m b a n i s ,   A C ;   F o r r e s t ,   A L ;   M i l l e r ,   D C ;   L i m ,   D S S ;   G e m h a r d t ,   M L ;   T o d d ,   W L 	 	 	 	 T r e m b a n i s ,   A r t h u r   C . ;   F o r r e s t ,   A l e x   L . ;   M i l l e r ,   D o u g l a s   C . ;   L i m ,   D a r l e n e   S .   S . ;   G e m h a r d t ,   M i c h a e l   L . ;   T o d d ,   W i l l i a m   L . 	 	 	 M u l t i p l a t f o r m   O c e a n   E x p l o r a t i o n :   I n s i g h t s   F r o m   t h e   N E E M O   S p a c e   A n a l o g   M i s s i o n 	 M A R I N E   T E C H N O L O G Y   S O C I E T Y   J O U R N A L 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 N A S A ;   C o n c h   R e e f ;   A q u a r i u s   R e e f   B a s e ;   A U V s ;   s p a c e   a n a l o g s 	 S P O N G E   X E S T O S P O N G I A - M U T A ;   F L O R I D A - K E Y S ;   C O R A L - R E E F S ;   C O N C H   R E E F ;   S T R A T I G R A P H Y ;   G R O W T H 	 S i n c e   t h e   b e g i n n i n g   o f   s p a c e   e x p l o r a t i o n ,   m e t h o d s   a n d   p r o t o c o l s   o f   e x p l o r a t i o n   h a v e   b e e n   d e v e l o p e d   u s i n g   s p a c e   a n a l o g s   o n   E a r t h   t o   r e d u c e   r e s e a r c h   c o s t s ,   d e v e l o p   s a f e   d e p l o y m e n t / r e t r i e v a l   p r o t o c o l s ,   a n d   r e a d y   a s t r o n a u t s   f o r   h o s t i l e   e n v i r o n m e n t s   i n   l e s s   t h r e a t e n i n g   s e t t i n g s .   S p a c e   a n a l o g s   a r e   r e q u i r e d   a s   m u c h   a s   e v e r   t o d a y   a s   a s t r o n a u t s   a n d   s c i e n t i s t s   d e v e l o p   n e w   t o o l s   a n d   t e c h n i q u e s   f o r   e x p l o r a t i o n ,   w h i l e   w o r k i n g   t o   a d d r e s s   e v o l v i n g   m i s s i o n   o b j e c t i v e s   f r o m   l o w - e a r t h   o r b i t   t o   d e e p - s p a c e   e x p l o r a t i o n .   T h i s   s t u d y   e x a m i n e s   c o o r d i n a t e d   h u m a n   a n d   r o b o t i c   e x p l o r a t i o n   a t   t h e   A q u a r i u s   U n d e r w a t e r   H a b i t a t   o f f   o f   t h e   c o a s t   o f   K e y   L a r g o ,   F l o r i d a ,   i n   s u p p o r t   o f   t h e   N E E M O   1 5   ( N A S A   E x t r e m e   E n v i r o n m e n t   M i s s i o n   O p e r a t i o n s )   p r o g r a m .   T h e   e x p l o r a t i o n   s c h e m e   p r e s e n t e d   i n   t h i s   w o r k   f u s e s   ( 1 )   r o b o t i c   p r e c u r s o r   m i s s i o n s   a s   a   m e a n s   o f   r e m o t e   s e n s i n g   d a t a   c o l l e c t i o n ;   ( 2 )   c r o w d s o u r c i n g   t o   p r o c e s s   i m m e n s e   a m o u n t s   o f   d a t a   t o   i d e n t i f y   k e y   t a r g e t s   o f   i n t e r e s t   t h a t   m i g h t   b e   m i s s e d   i n   t h e   t i g h t   c y c l e   o f   m i s s i o n   o p e r a t i o n s ;   a n d   ( 3 )   h u m a n   e x p l o r a t i o n   t o   e x a m i n e   l o c a t i o n s   d i r e c t l y   u p   c l o s e   a n d   c o l l e c t   p h y s i c a l   s a m p l e s   t h a t   r e q u i r e   i n v o l v e d   s a m p l i n g   t e c h n i q u e s .   A u t o n o m o u s   u n d e r w a t e r   v e h i c l e s   ( A U V s )   a n d   s i n g l e - p e r s o n   s u b m e r s i b l e s ,   c a l l e d   D e e p W o r k e r s   ( T M ) ,   w e r e   u s e d   a s   u n d e r w a t e r   a n a l o g s   o f   r o b o t i c   s y s t e m s   c u r r e n t l y   b e i n g   u s e d   a n d   h u m a n - o p e r a t e d   v e h i c l e s   ( H O V s )   p r o p o s e d   f o r   u s e   o n   a   N e a r   E a r t h   A s t e r o i d   ( N E A ) ,   t h e   M o o n ,   o r   M a r s .   I n   a d d i t i o n   t o   o p e r a t i o n a l   l e s s o n s   l e a r n e d   f o r   s p a c e   e x p l o r a t i o n   t h a t   a r e   d i r e c t l y   a p p l i c a b l e   t o   o c e a n   e x p l o r a t i o n ,   o c e a n   f l o o r   m a p p i n g   p r o v i d e s   n e w   l e v e l s   o f   d e t a i l   o f   b e n t h i c   h a b i t a t   c r i t i c a l   f o r   c o r a l   r e e f   m o n i t o r i n g   a n d   m a n a g e m e n t .   O p p o r t u n i s t i c   ( o n s i t e   a d a p t i v e )   d a t a   s a m p l i n g   a l s o   t o o k   p l a c e   b y   p l a c i n g   s e l f - r e c o r d i n g   i n s t r u m e n t a t i o n   o n t o   e a c h   o f   t h e   D e e p W o r k e r s ,   i n c r e a s i n g   t h e   c o l l e c t i o n   o f   s c i e n t i f i c   i n f o r m a t i o n   d u r i n g   t h e   s u b m e r s i b l e   m i s s i o n s   a n d   c o n t r i b u t i n g   t o   m i s s i o n   p l a n n i n g   f o r   o p t i m a l   a n d   e f f i c i e n t   u s e   o f   e x p e n s i v e   a s s e t s . 	 [ T r e m b a n i s ,   A r t h u r   C . ;   M i l l e r ,   D o u g l a s   C . ]   U n i v   D e l a w a r e ,   C o l l   E a r t h   O c e a n   &   E n v i r o n m ,   N e w a r k ,   D E   1 9 7 1 6   U S A ;   [ F o r r e s t ,   A l e x   L . ]   U n i v   C a l i f   D a v i s ,   T a h o e   E n v i r o n m   R e s   C t r ,   D a v i s ,   C A   U S A ;   [ L i m ,   D a r l e n e   S .   S . ]   N A S A ,   A m e s   R e s   C t r ,   M o f f e t t   F i e l d ,   C A   9 4 0 3 5   U S A ;   [ G e m h a r d t ,   M i c h a e l   L . ;   T o d d ,   W i l l i a m   L . ]   N A S A ,   E x p l o r a t   M i s s   &   S y s t   O f f ,   H o u s t o n ,   T X   U S A 	 T r e m b a n i s ,   A C   ( r e p r i n t   a u t h o r ) ,   U n i v   D e l a w a r e ,   C o l l   E a r t h   O c e a n   &   E n v i r o n m ,   N e w a r k ,   D E   1 9 7 1 6   U S A . 	 a r t @ u d e l . e d u 	 F o r r e s t ,   A l e x a n d e r / C - 3 7 6 5 - 2 0 1 4 	 F o r r e s t ,   A l e x a n d e r / 0 0 0 0 - 0 0 0 2 - 7 8 5 3 - 9 7 6 5 	 N A S A   t h r o u g h   t h e   N E E M O   P r o j e c t   [ N N X 0 8 A R 7 0 6 ,   G E O L 3 7 2 1 3 3 1 1 0 0 0 ] 	 T h e   a u t h o r s   w o u l d   l i k e   t o   t h a n k   t h e   c r e w   o f   t h e   N O A A   A q u a r i u s   R e e f   B a s e   w i t h   s p e c i a l   a p p r e c i a t i o n   t o   O t t o   R u t t e n ,   S a u l   R o s s e r ,   a n d   R y a n   L a P e t e .   P r o j e c t   f u n d i n g   p r o v i d e d   b y   N A S A   t h r o u g h   t h e   N E E M O   P r o j e c t   ( a w a r d s   N N X 0 8 A R 7 0 6   a n d   G E O L 3 7 2 1 3 3 1 1 0 0 0 ) .   S p e c i a l   t h a n k s   a l s o   g o   t o   t h e   P L R P ,   w h i c h   w a s   o u r   i n i t i a t i o n   i n t o   t h e   u s e   o f   A U V s   a s   a n a l o g s   f o r   s p a c e   e x p l o r a t i o n .   M e m b e r s   o f   t h e   N A S A   I R G   ( D a v i d   L e e s ,   T a m a r   C o h e n ,   a n d   M a t t h e w   D e a n s )   a r e   p a r t i c u l a r l y   t h a n k e d   f o r   d e v e l o p i n g   a n d   p r o v i d i n g   o p e r a t i o n a l   s u p p o r t   f o r   x G D S .   T h e   a u t h o r s   w i s h   t o   a c k n o w l e d g e   t h e   I n t e g r a t i o n   a n d   A p p l i c a t i o n   N e t w o r k ,   U n i v e r s i t y   o f   M a r y l a n d   C e n t e r   f o r   E n v i r o n m e n t a l   S c i e n c e   ( h t t p : / / i a n . u m c e s . e d u / i m a g e l i b r a r y / ) ,   f o r   u s e   o f   s o m e   o f   t h e   r o y a l t y - f r e e   v e c t o r   i m a g e s   o f   r e e f   f l o r a ,   f a u n a ,   S C U B A   d i v e r ,   a n d   t h e   A q u a r i u s   U n d e r w a t e r   H a b i t a t .   T h a n k s   t o   N u y t c o ,   L t d . ,   f o r   p r o v i d i n g   t h e   g r a p h i c   o f   t h e   D e e p   W o r k e r   s u b m e r s i b l e .   T h a n k s   t o   a l l   t h o s e   w h o   c o n t r i b u t e d   t h e i r   t i m e   a n d   e f f o r t   t o   t h i s   p r o j e c t ,   i n c l u d i n g   M a r k   P a t t e r s o n   ( V i r g i n i a   I n s t i t u t e   o f   M a r i n e   S c i e n c e ) ,   M a r g a r i t a   M a r i n o v a   a n d   P a u l   A b e l l   ( N A S A ) ,   H o w a r d   M e n d l o v i t z   a n d   C h r i s   M a r t e n s   ( U n i v e r s i t y   o f   N o r t h   C a r o l i n a ) ,   A l l y s o n   B r a d y   ( U n i v e r s i t y   o f   C a l g a r y ) ,   a n d   E m m a   H i c k e r s o n   a n d   G . P .   S c h m a h l   ( N O A A ' s   O f f i c e   o f   N a t i o n a l   M a r i n e   S a n c t u a r i e s )   f o r   g i v i n g   f e e d b a c k   o n   u n d e r w a t e r   r o b o t i c s ,   s p a c e   e x p l o r a t i o n ,   a n d   r e e f   s c i e n c e .   T h a n k s   a l s o   t o   P r o f .   G e o f f   S c h l a d o w   f o r   c o m m e n t s   a n d   s u p p o r t   d u r i n g   t h i s   w o r k   a n d   V a l   S c h m i d t ,   N i c o l e   R a i n e a u l t ,   H i l a r y   S t e v e n s ,   B r y a n   K e l l e r ,   J o h n   G u t s c h e ,   a n d   L y l e   D e   L a   R o s a   f o r   l o g i s t i c a l   a s s i s t a n c e .   A d d i t i o n a l   p r o j e c t   t e c h n i c a l   s u p p o r t   h a s   c o m e   f r o m   U n i v e r s i t y   o f   N e w   H a m p s h i r e   C e n t e r   f o r   C o a s t a l   a n d   O c e a n   M a p p i n g / J o i n t   H y d r o g r a p h i c   C e n t e r ,   T e l e d y n e - G a v i a ,   N u y t c o   L t d . ,   G e o A c o u s t i c s ,   Q u e s t e r   T a n g e n t ,   Y e l l o w   S p r i n g   I n s t r u m e n t ,   a n d   C h e s a p e a k e   T e c h n o l o g y ,   I n c . 	 A b e r c r o m b y   A . F . J . ,   2 0 1 0 ,   2 0 1 0 2 1 6 1 3 6   N A S A ;   B e l l   K . L . C . ,   2 0 1 2 ,   O C E A N O G R A P H Y   S ,   V 2 5 ,   P 6 8 ;   B e l l i n g h a m   J G ,   2 0 0 7 ,   S C I E N C E ,   V 3 1 8 ,   P 1 0 9 8 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 4 6 2 3 0 ;   B r i d g e   T C L ,   2 0 1 1 ,   C O R A L   R E E F S ,   V 3 0 ,   P 1 4 3 ,   D O I   1 0 . 1 0 0 7 / s 0 0 3 3 8 - 0 1 0 - 0 6 7 7 - 3 ;   C U N N I N G H A M   K J ,   1 9 9 8 ,   G E O L   S O C   A M   B U L L ,   V 1 1 0 ,   P 2 3 1 ;   E d m u n d s   P J ,   2 0 0 4 ,   M A R   E C O L   P R O G   S E R ,   V 2 7 8 ,   P 1 1 5 ,   D O I   1 0 . 3 3 5 4 / m e p s 2 7 8 1 1 5 ;   F o n g   T . W . ,   2 0 0 8 ,   F I E L D   T E S T I N G   U T I L I T ;   F o r r e s t   A . L . ,   2 0 1 2 ,   J   O C E A N   T E C H N O L ,   V 7 ,   P 6 9 ;   F o r r e s t   A . L . ,   2 0 1 0 ,   P   I E E E   O C E A N S   1   3   S E ;   F o r r e s t   A L ,   2 0 1 0 ,   P L A N E T   S P A C E   S C I ,   V 5 8 ,   P 7 0 6 ,   D O I   1 0 . 1 0 1 6 / j . p s s . 2 0 0 9 . 0 8 . 0 0 7 ;   G a r r y   W B ,   2 0 1 1 ,   G E O L   S O C   A M   S P E C   P A P ,   V 4 8 3 ,   p X I ;   H i c k e y   T D ,   2 0 1 0 ,   J   C O A S T A L   R E S ,   V 2 6 ,   P 6 0 5 ,   D O I   1 0 . 2 1 1 2 / J C O A S T R E S - D - 0 9 - 0 0 0 5 2 . 1 ;   H i n e   B . ,   1 9 9 4 ,   P   R O V   9 4   M A Y   1 9 9 4 ;   H u e s o   R ,   2 0 0 6 ,   N A T U R E ,   V 4 4 2 ,   P 4 2 8 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 4 9 3 3 ;   K r a m e r   P h i l i p   A . ,   2 0 0 3 ,   A t o l l   R e s e a r c h   B u l l e t i n ,   V 4 9 6 ,   P 1 ;   K u n z   C ,   2 0 0 9 ,   J   F I E L D   R O B O T ,   V 2 6 ,   P 4 1 1 ,   D O I   1 0 . 1 0 0 2 / r o b . 2 0 2 8 8 ;   L e e   S Y ,   2 0 1 3 ,   A C T A   A S T R O N A U T ,   V 9 0 ,   P 2 6 8 ,   D O I   1 0 . 1 0 1 6 / j . a c t a a s t r o . 2 0 1 2 . 0 1 . 0 0 2 ;   L e i c h t e r   J J ,   2 0 0 5 ,   J   P H Y S   O C E A N O G R ,   V 3 5 ,   P 1 9 4 5 ,   D O I   1 0 . 1 1 7 5 / J P O 2 8 0 8 . 1 ;   L e i c h t e r   J J ,   1 9 9 6 ,   L I M N O L   O C E A N O G R ,   V 4 1 ,   P 1 4 9 0 ;   L e i c h t e r   J J ,   2 0 0 3 ,   L I M N O L   O C E A N O G R ,   V 4 8 ,   P 1 3 9 4 ;   L i d z   B H ,   2 0 0 6 ,   J   C O A S T A L   R E S ,   V 2 2 ,   P 2 6 0 ,   D O I   1 0 . 2 1 1 2 / 0 5 A - 0 0 2 3 . 1 ;   L i d z   B . H . ,   1 9 9 7 ,   M I S C E L L A N E O U S   I N V E S T ;   L i m   D S S ,   2 0 1 1 ,   G E O L   S O C   A M   S P E C   P A P ,   V 4 8 3 ,   P 8 5 ,   D O I   1 0 . 1 1 3 0 / 2 0 1 1 . 2 4 8 3 ( 0 7 ) ;   L i m   D S S ,   2 0 1 0 ,   P L A N E T   S P A C E   S C I ,   V 5 8 ,   P 9 2 0 ,   D O I   1 0 . 1 0 1 6 / j . p s s . 2 0 1 0 . 0 2 . 0 1 4 ;   M c M u r r a y   S E ,   2 0 1 0 ,   E C O L O G Y ,   V 9 1 ,   P 5 6 0 ,   D O I   1 0 . 1 8 9 0 / 0 8 - 2 0 6 0 . 1 ;   M c M u r r a y   S E ,   2 0 0 8 ,   M A R   B I O L ,   V 1 5 5 ,   P 1 5 9 ,   D O I   1 0 . 1 0 0 7 / s 0 0 2 2 7 - 0 0 8 - 1 0 1 4 - z ;   M o n i s m i t h   S G ,   2 0 0 7 ,   A N N U   R E V   F L U I D   M E C H ,   V 3 9 ,   P 3 7 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v . f l u i d . 3 8 . 0 5 0 3 0 4 . 0 9 2 1 2 5 ;   N A S A ,   2 0 1 0 ,   E X P L   N O W   R E P   N A S A   E X ;   P e r k i n s   R . D . ,   1 9 7 7 ,   M E M   G E O L   S O C   A M ,   P 1 3 1 ;   P i k e   W . J . ,   2 0 1 1 ,   T H E S I S   U   B R I T   C O L U M B ;   R e a g a n   M . ,   2 0 0 5 ,   P   9   B I E N N   C   A E R   D I V ;   S h i n n   E . A . ,   1 9 9 3 ,   G E O L O G Y   H U M A N   A C T I V I ;   S m i t h   T ,   2 0 0 7 ,   J   G E O P H Y S   R E S - B I O G E O ,   V 1 1 2 ,   D O I   1 0 . 1 0 2 9 / 2 0 0 6 J G 0 0 0 3 1 5 ;   S o u t h w e l l   M W ,   2 0 0 8 ,   L I M N O L   O C E A N O G R ,   V 5 3 ,   P 9 8 6 ,   D O I   1 0 . 4 3 1 9 / l o . 2 0 0 8 . 5 3 . 3 . 0 9 8 6 ;   S q u y r e s   S W ,   2 0 0 9 ,   S C I E N C E ,   V 3 2 4 ,   P 1 0 5 8 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 7 0 3 5 5 ;   T r e m b a n i s   A . C . ,   2 0 1 1 ,   C O A S T   E S T   R E S   F D N   B I ;   v o n   A h n   L . ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 3 1 9 ,   D O I   1 0 . 1 1 4 5 / 9 8 5 6 9 2 . 9 8 5 7 3 3 	 3 7 	 0 	 0 	 M A R I N E   T E C H N O L O G Y   S O C   I N C 	 C O L U M B I A 	 5 5 6 5   S T E R R E T T   P L A C E ,   S T E   1 0 8 ,   C O L U M B I A ,   M D   2 1 0 4 4   U S A 	 0 0 2 5 - 3 3 2 4 	 1 9 4 8 - 1 2 0 9 	 	 M A R   T E C H N O L   S O C   J 	 M a r .   T e c h n o l .   S o c .   J . 	 J U L - A U G 	 2 0 1 2 	 4 6 	 4 	 	 	 	 	 7 	 1 9 	 	 	 	 1 3 	 E n g i n e e r i n g ,   O c e a n ;   O c e a n o g r a p h y 	 E n g i n e e r i n g ;   O c e a n o g r a p h y 	 0 1 3 V Q 	 W O S : 0 0 0 3 0 9 3 3 4 4 0 0 0 0 2 	 	 
 J 	 S t e f a n e a s ,   P ;   V a n d o u l a k i s ,   I M 	 	 	 	 S t e f a n e a s ,   P e t r o s ;   V a n d o u l a k i s ,   I o a n n i s   M . 	 	 	 T h e   W e b   a s   A   T o o l   F o r   P r o v i n g 	 M E T A P H I L O S O P H Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 p r o o f ;   m a t h e m a t i c a l   p r o o f ;   m a t h e m a t i c a l   p r a c t i c e ;   W e b ;   c o m m u n i c a t i o n   m e d i a ;   v i r t u a l   w o r l d ;   c r o w d s o u r c i n g ;   p r o o f - e v e n t ;   J o s e p h   A m a d e e   G o g u e n ;   T i m o t h y   G o w e r s 	 	 T h e   W e b   m a y   c r i t i c a l l y   t r a n s f o r m   t h e   w a y   w e   u n d e r s t a n d   t h e   a c t i v i t y   o f   p r o v i n g .   T h e   W e b   a s   a   c o l l a b o r a t i v e   m e d i u m   a l l o w s   t h e   a c t i v e   p a r t i c i p a t i o n   o f   p e o p l e   w i t h   d i f f e r e n t   b a c k g r o u n d s ,   i n t e r e s t s ,   v i e w p o i n t s ,   a n d   s t y l e s .   M a t h e m a t i c a l   f o r m a l   p r o o f s   a r e   i n a d e q u a t e   f o r   c a p t u r i n g   W e b - b a s e d   p r o o f s .   T h i s   a r t i c l e   c l a i m s   t h a t   W e b   p r o v i n g s   c a n   b e   s t u d i e d   a s   a   p a r t i c u l a r   t y p e   o f   G o g u e n ' s   p r o o f - e v e n t s .   W e b - b a s e d   p r o o f - e v e n t s   h a v e   a   s o c i a l   c o m p o n e n t ,   c o m m u n i c a t i o n   m e d i u m ,   p r o v e r - i n t e r p r e t e r   i n t e r a c t i o n ,   i n t e r p r e t a t i o n   p r o c e s s ,   u n d e r s t a n d i n g   a n d   v a l i d a t i o n ,   h i s t o r i c a l   c o m p o n e n t ,   a n d   s t y l e s .   T o   d e m o n s t r a t e   i t s   c l a i m ,   t h e   a r t i c l e   d i s c u s s e s   t h e   K u m o   a n d   P o l y m a t h   p r o j e c t s ,   b o t h   o f   w h i c h   e m p l o y   W e b - b a s e d   c o m m u n i c a t i o n   a s   p a r t   o f   p r o v i n g .   W e b   p r o v i n g   i s   a   n o v e l   t y p e   o f   p r o v i n g   a c t i v i t y   t h a t   m a y   h a v e   a   s e r i o u s   i m p a c t   o n   t h e   c h a n g e   i n   m a t h e m a t i c a l   p r a c t i c e s ,   d e s p i t e   t h e   f a c t   t h a t   i t   i s   n o t   c u r r e n t l y   a   u n i v e r s a l l y   a c c e p t a b l e   m e t h o d o l o g y . 	 [ S t e f a n e a s ,   P e t r o s ]   N a t l   T e c h   U n i v   A t h e n s ,   P o l y t e c h   P o l i s   Z o g r a f o u ,   D e p t   M a t h ,   G R - 1 5 7 8 0   Z o g r a f o s ,   G r e e c e ;   [ V a n d o u l a k i s ,   I o a n n i s   M . ]   H e l l e n   O p e n   U n i v ,   G R - 1 5 7 7 3   Z o g r a f o s ,   G r e e c e 	 S t e f a n e a s ,   P   ( r e p r i n t   a u t h o r ) ,   N a t l   T e c h   U n i v   A t h e n s ,   P o l y t e c h   P o l i s   Z o g r a f o u ,   D e p t   M a t h ,   9   H e r o o n   P o l y t e c h   S t ,   G R - 1 5 7 8 0   Z o g r a f o s ,   G r e e c e . 	 p e t r o s @ m a t h . n t u a . g r ;   i . v a n d o u l a k i s @ g m a i l . c o m 	 	 	 	 	 A r i s t o t l e ,   1 9 9 7 ,   P O E T I C S ;   B r a b h a m   D .   C . ,   2 0 0 8 ,   I N T   J   R E S   N E W   M E D I A ,   V 1 4 ,   P 7 5 ,   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   D E N N I S   A R ,   1 9 9 3 ,   J   A P P L   P S Y C H O L ,   V 7 8 ,   P 5 3 1 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 1 - 9 0 1 0 . 7 8 . 4 . 5 3 1 ;   D i a m o n d   C . ,   1 9 7 6 ,   W I T T G E N S T E I N S   L E C T   F ;   F o r s t e r   E .   S . ,   1 9 5 5 ,   L O E B   C L A S S I C A L   L I B ;   G e n t z e n   G ,   1 9 6 9 ,   C O L L E C T E D   P A P E R S   G E R ;   G o g u e n   J .   A . ,   2 0 0 4 ,   S T Y L E   M E A N I N G   L A N G U A ,   P 4 9 ;   G o g u e n   J o s e p h   A m a d e e ,   2 0 0 1 ,   W H A T   I S   P R O O F   I N F O R M ;   G o g u e n   J o s e p h   A m a d e e ,   2 0 0 5 ,   D E V   F U T U R E   I N T E R A C T I ,   P 1 1 6 ;   G o g u e n   J . ,   1 9 9 9 ,   F o r m a l   A s p e c t s   o f   C o m p u t i n g ,   V 1 1 ,   D O I   1 0 . 1 0 0 7 / s 0 0 1 6 5 0 0 5 0 0 5 1 ;   G o w e r s   T . ,   2 0 0 9 ,   I S   M A S S I V E L Y   C O L L A B O ;   G o w e r s   T ,   2 0 0 9 ,   N A T U R E ,   V 4 6 1 ,   P 8 7 9 ,   D O I   1 0 . 1 0 3 8 / 4 6 1 8 7 9 a ;   G o w e r s   T i m o t h y   W i l l i a m ,   2 0 0 9 ,   T R I C K I   N O W   F U L L Y   L I V ;   G o w e r s   T i m o t h y   W i l l i a m ,   2 0 0 9 ,   P R O B L E M   S O L V E D   P R O B A ;   H a l e s   A .   W . ,   1 9 6 3 ,   T   A M   M A T H   S O C ,   V 1 0 6 ,   P 2 2 2 ,   D O I   1 0 . 2 3 0 7 / 1 9 9 3 7 6 4 ;   H i l b e r t   D a v i d ,   1 9 3 5 ,   G E S A M M E L T E   A B H A N D L U N ,   V I I I ,   P 1 4 6 ;   L a b o v   W . ,   1 9 7 2 ,   L A N G U A G E   I N N E R   C I T Y ,   P 3 5 4 ;   L a k o f f   G . ,   1 9 8 0 ,   M E T A P H O R S   W E   L I V E ;   L i n   K a i ,   2 0 0 0 ,   C A F E   I N D   S T R E N G T H   A L ,   P 6 1 ,   D O I   1 0 . 1 0 1 6 / B 9 7 8 - 0 4 4 4 5 0 5 5 6 - 9 / 5 0 0 6 3 - 0 ;   L i n d e   C h a r l o t t e ,   1 9 8 1 ,   S T Y L E   V A R I A B L E S   E N G L ,   P 8 4 ;   M o r i   A k i r a ,   1 9 9 7 ,   P   U S   I N T   T H E O R   P R O V ,   P 2 4 ;   N i e l s e n   M . ,   2 0 1 1 ,   R E I N V E N T I N G   D I S C O V E R ;   N i e l s e n   M i c h a e l ,   2 0 0 9 ,   P O L Y M A T H   P R O J E C T   S C O ;   O s b o r n   A . F . ,   1 9 6 3 ,   A P P L   I M A G I N A T I O N   P R I ;   P o l y m a t h ,   2 0 1 0 ,   E N S I T Y   H A L E S   J E W E T T ;   P o l y m a t h ,   2 0 0 9 ,   N E W   P R O O F   D E N S I T Y   H A ;   P o l y m a t h ,   2 0 1 0 ,   D E T E R M I N I S T I C   M E T H O D ;   R e h m e y e r   J u l i e ,   2 0 0 9 ,   M A T H   C O L L A B O R A T I O N ;   S t e f a n e a s   P . ,   2 0 1 1 ,   1 4   C   L O G   M E T H   P H I L   S ,   P 1 3 1 ;   S t e f a n e a s   P . ,   2 0 1 1 ,   2   I N T   S   W E B   P H I L   C O O ;   T a o   T e r e n c e ,   2 0 0 9 ,   T R I C K I   N O W   L I V E ;   T r e d e n n i c k   H u g h ,   1 9 6 0 ,   L O E B   C L A S S I C A L   L I B ;   U s p e n s k y   V .   A . ,   1 9 8 9 ,   G O D E L S   I N C O M P L E T E N E S ;   V a n   B e n d e g e m   J e a n   P a u l ,   2 0 1 1 ,   1 4   C   L O G   M E T H   P H I L   S ,   P 1 4 ;   V a n d o u l a k i s   I .   M . ,   2 0 0 9 ,   2 8   I N T   C   H I S T   S C I   T E ;   V a n d o u l a k i s   I .   M . ,   1 9 9 8 ,   O R I E N S   O C C I D E N S   C A H I ,   V 2 ,   P 1 4 1 ;   V a n d o u l a k i s   I .   M . ,   2 0 0 9 ,   S T U D Y   H I S T   M A T H   R I M S ,   V 1 6 2 5 ,   P 1 2 ;   V a n d o u l a k i s   I .   M . ,   P R O O F ;   V a n d o u l a k i s   I .   M . ,   2 0 1 0 ,   O R I E N S U O C C I D E N S   C A H I ,   V 7 ,   P 1 1 3 ;   V a n d o u l a k i s   I .   M . ,   1 9 3 1 ,   P   S   M E M 	 4 0 	 0 	 0 	 W I L E Y - B L A C K W E L L 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 0 0 2 6 - 1 0 6 8 	 	 	 M E T A P H I L O S O P H Y 	 M e t a p h i l o s o p h y 	 J U L 	 2 0 1 2 	 4 3 	 4 	 	 	 S I 	 	 4 8 0 	 4 9 8 	 	 1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 9 7 3 . 2 0 1 2 . 0 1 7 5 8 . x 	 	 1 9 	 P h i l o s o p h y 	 P h i l o s o p h y 	 9 7 4 B M 	 W O S : 0 0 0 3 0 6 4 0 4 8 0 0 0 0 8 	 	 
 J 	 L a r s o n ,   M ;   S o l e y m a n i ,   M ;   E s k e v i c h ,   M ;   S e r d y u k o v ,   P ;   O r d e l m a n ,   R ;   J o n e s ,   G 	 	 	 	 L a r s o n ,   M a r t h a ;   S o l e y m a n i ,   M o h a m m a d ;   E s k e v i c h ,   M a r i a ;   S e r d y u k o v ,   P a v e l ;   O r d e l m a n ,   R o e l a n d ;   J o n e s ,   G a r e t h 	 	 	 T h e   C o m m u n i t y   a n d   t h e   C r o w d :   M u l t i m e d i a   B e n c h m a r k   D a t a s e t   D e v e l o p m e n t 	 I E E E   M U L T I M E D I A 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 S P E E C H 	 T h e   M e d i a E v a l   M u l t i m e d i a   B e n c h m a r k   l e v e r a g e d   c o m m u n i t y   c o o p e r a t i o n   a n d   c r o w d s o u r c i n g   t o   d e v e l o p   a   l a r g e   I n t e r n e t   v i d e o   d a t a s e t   f o r   i t s   G e n r e   T a g g i n g   a n d   R i c h   S p e e c h   R e t r i e v a l   t a s k s . 	 [ L a r s o n ,   M a r t h a ]   D e l f t   U n i v   T e c h n o l ,   M u l t i m e d i a   I n f o r m a t   R e t r i e v a l   L a b ,   N L - 2 6 0 0   A A   D e l f t ,   N e t h e r l a n d s ;   [ S o l e y m a n i ,   M o h a m m a d ]   U n i v   L o n d o n   I m p e r i a l   C o l l   S c i   T e c h n o l   &   M e d ,   I n t e l l i g e n t   B e h a v   U n d e r s t a n d i n g   G r p ,   L o n d o n   S W 7   2 A Z ,   E n g l a n d ;   [ J o n e s ,   G a r e t h ]   D u b l i n   C i t y   U n i v ,   S c h   C o m p ,   D u b l i n   9 ,   I r e l a n d ;   [ O r d e l m a n ,   R o e l a n d ]   U n i v   T w e n t e ,   M u l t i m e d i a   R e t r i e v a l   H u m a n   M e d i a   I n t e r a c t   l a b ,   E n s c h e d e ,   N e t h e r l a n d s ;   [ J o n e s ,   G a r e t h ]   D u b l i n   C i t y   U n i v ,   C N G L ,   D u b l i n   9 ,   I r e l a n d 	 L a r s o n ,   M   ( r e p r i n t   a u t h o r ) ,   D e l f t   U n i v   T e c h n o l ,   M u l t i m e d i a   I n f o r m a t   R e t r i e v a l   L a b ,   N L - 2 6 0 0   A A   D e l f t ,   N e t h e r l a n d s . 	 m . a . l a r s o n @ t u d e l f t . n l ;   m . s o l e y m a n i @ i m p e r i a l . a c . u k ;   m e s k e v i c h @ c o m p u t i n g . d c u . i e ;   p a v s e r @ y a n d e x - t e a m . r u ;   r o e l a n d . o r d e l m a n @ u t w e n t e . n l ;   G a r e t h . J o n e s @ c o m p u t i n g . d c u . i e 	 L a r s o n ,   M a r t h a / E - 9 9 8 3 - 2 0 1 4 	 	 	 	 A l o n s o   O m a r ,   2 0 0 8 ,   S I G I R   F o r u m ,   V 4 2 ,   D O I   1 0 . 1 1 4 5 / 1 4 8 0 5 0 6 . 1 4 8 0 5 0 8 ;   B i e l   J . - I . ,   2 0 1 1 ,   P   5   I N T   A A A I   C   W E B L ,   P 4 4 6 ;   C l e v e r d o n   C .   W . ,   1 9 6 2 ,   R E P O R T   T E S T I N G   A N A L ;   I o n e s c u   B ,   2 0 1 2 ,   L E C T   N O T E S   C O M P U T   S C ,   V 7 1 3 1 ,   P 5 1 ;   K e l m   P ,   2 0 0 9 ,   2 0 0 9   1 0 T H   I N T E R N A T I O N A L   W O R K S H O P   O N   I M A G E   A N A L Y S I S   F O R   M U L T I M E D I A   I N T E R A C T I V E   S E R V I C E S ,   P 2 5 ,   D O I   1 0 . 1 1 0 9 / W I A M I S . 2 0 0 9 . 5 0 3 1 4 2 3 ;   K o s s i n e t s   G ,   2 0 0 6 ,   S O C   N E T W O R K S ,   V 2 8 ,   P 2 4 7 ,   D O I   1 0 . 1 0 1 6 / j . s o c n e t . 2 0 0 5 . 0 7 . 0 0 2 ;   L a m e l   L ,   2 0 0 8 ,   L E C T   N O T E S   A R T I F   I N T ,   V 5 2 2 1 ,   P 4 ;   L a r s o n   M . ,   2 0 1 1 ,   M E D I A E V A L   B E N C H M   2 0 1 ;   L a r s o n   M . ,   2 0 1 1 ,   P   1   A C M   I N T   C   M U L T   R ,   P 5 1 ;   N o w a k   S ,   2 0 1 0 ,   P   I N T   C   M U L T   I N F   R E T ,   P 5 5 7 ,   D O I   1 0 . 1 1 4 5 / 1 7 4 3 3 8 4 . 1 7 4 3 4 7 8 ;   O v e r   P . ,   2 0 0 9 ,   P   A C M   M M   0 9   W O R K S H   W ,   P 2 5 ,   D O I   1 0 . 1 1 4 5 / 1 6 3 1 1 3 5 . 1 6 3 1 1 4 1 ;   R a m z a n   N . ,   2 0 1 0 ,   P   A C M   I N T   C   M U L T   I N F ,   P 4 8 7 ,   D O I   1 0 . 1 1 4 5 / 1 7 4 3 3 8 4 . 1 7 4 3 4 7 0 ;   R o w e   B . R . ,   2 0 1 0 ,   E C   I M P A C T   A S S E S S M E N T ;   S m e a t o n   A .   F . ,   2 0 0 6 ,   P   8   A C M   I N T   W O R K S H   M ,   P 3 2 1 ,   D O I   1 0 . 1 1 4 5 / 1 1 7 8 6 7 7 . 1 1 7 8 7 2 2 ;   S o l e y m a n i   M . ,   2 0 1 0 ,   P   S I G I R   2 0 1 0   W O R K S H ;   S t o l c k e   A ,   2 0 0 0 ,   C O M P U T   L I N G U I S T ,   V 2 6 ,   P 3 3 9 ,   D O I   1 0 . 1 1 6 2 / 0 8 9 1 2 0 1 0 0 5 6 1 7 3 7 ;   T h o r n l e y   C V ,   2 0 1 1 ,   J   A M   S O C   I N F   S C I   T E C ,   V 6 2 ,   P 6 1 3 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 1 4 9 4 ;   v o n   A h n   L . ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 3 1 9 ,   D O I   1 0 . 1 1 4 5 / 9 8 5 6 9 2 . 9 8 5 7 3 3 	 1 8 	 0 	 0 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 3 1 4   U S A 	 1 0 7 0 - 9 8 6 X 	 	 	 I E E E   M U L T I M E D I A 	 I E E E   M u l t i m e d i a 	 J U L - S E P 	 2 0 1 2 	 1 9 	 3 	 	 	 	 	 1 5 	 2 3 	 	 	 	 9 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 9 8 0 G E 	 W O S : 0 0 0 3 0 6 8 8 0 8 0 0 0 0 4 	 	 
 J 	 A f u a h ,   A ;   T u c c i ,   C L 	 	 	 	 A f u a h ,   A l l a n ;   T u c c i ,   C h r i s t o p h e r   L . 	 	 	 C R O W D S O U R C I N G   A S   A   S O L U T I O N   T O   D I S T A N T   S E A R C H 	 A C A D E M Y   O F   M A N A G E M E N T   R E V I E W 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 O P E N   S O U R C E   S O F T W A R E ;   S U S T A I N A B L E   C O M P E T I T I V E   A D V A N T A G E ;   V I R T U A L   C U S T O M E R   E N V I R O N M E N T S ;   P R O D U C T   D E V E L O P M E N T ;   I N F O R M A T I O N - T E C H N O L O G Y ;   F I R M   B O U N D A R I E S ;   A B S O R P T I V E - C A P A C I T Y ;   C E N T R I P E T A L   F O R C E S ;   U S E R   C O M M U N I T I E S ;   C A U S A L   A M B I G U I T Y 	 W e   a r g u e   t h a t   u n d e r   c e r t a i n   c i r c u m s t a n c e s   c r o w d s o u r c i n g   t r a n s f o r m s   d i s t a n t   s e a r c h   i n t o   l o c a l   s e a r c h ,   i m p r o v i n g   t h e   e f f i c i e n c y   a n d   e f f e c t i v e n e s s   o f   p r o b l e m   s o l v i n g .   U n d e r   s u c h   c i r c u m s t a n c e s   a   f i r m   m a y   c h o o s e   t o   c r o w d s o u r c e   p r o b l e m   s o l v i n g   r a t h e r   t h a n   s o l v e   t h e   p r o b l e m   i n t e r n a l l y   o r   c o n t r a c t   i t   t o   a   d e s i g n a t e d   s u p p l i e r .   T h e s e   c i r c u m s t a n c e s   d e p e n d   o n   t h e   c h a r a c t e r i s t i c s   o f   t h e   p r o b l e m ,   t h e   k n o w l e d g e   r e q u i r e d   f o r   t h e   s o l u t i o n ,   t h e   c r o w d ,   a n d   t h e   s o l u t i o n s   t o   b e   e v a l u a t e d . 	 [ A f u a h ,   A l l a n ]   U n i v   M i c h i g a n ,   S t e p h e n   M   R o s s   S c h   B u s i n e s s ,   A n n   A r b o r ,   M I   4 8 1 0 9   U S A ;   [ T u c c i ,   C h r i s t o p h e r   L . ]   E c o l e   P o l y t e c h   F e d   L a u s a n n e ,   L a u s a n n e ,   S w i t z e r l a n d 	 A f u a h ,   A   ( r e p r i n t   a u t h o r ) ,   U n i v   M i c h i g a n ,   S t e p h e n   M   R o s s   S c h   B u s i n e s s ,   A n n   A r b o r ,   M I   4 8 1 0 9   U S A . 	 a f u a h @ u m i c h . e d u ;   c h r i s t o p h e r . t u c c i @ e p f l . c h 	 	 	 	 	 A f u a h   A ,   2 0 0 3 ,   A C A D   M A N A G E   R E V ,   V 2 8 ,   P 3 4 ;   a f u a h   A . ,   2 0 0 2 ,   I N T E R N E T   B U S I N E S S   M O ;   A f u a h   A ,   2 0 0 1 ,   A C A D   M A N A G E   J ,   V 4 4 ,   P 1 2 1 1 ,   D O I   1 0 . 2 3 0 7 / 3 0 6 9 3 9 7 ;   A K E R L O F   G A ,   1 9 7 0 ,   Q   J   E C O N ,   V 8 4 ,   P 4 8 8 ,   D O I   1 0 . 2 3 0 7 / 1 8 7 9 4 3 1 ;   A L C H I A N   A A ,   1 9 7 2 ,   A M   E C O N   R E V ,   V 6 2 ,   P 7 7 7 ;   A l m i r a l l   E ,   2 0 1 0 ,   A C A D   M A N A G E   R E V ,   V 3 5 ,   P 2 7 ;   A n d r i o p o u l o s   C ,   2 0 0 9 ,   O R G A N   S C I ,   V 2 0 ,   P 6 9 6 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 8 0 . 0 4 0 6 ;   [ A n o n y m o u s ] ,   2 0 0 8 ,   E C O N O M I S T               0 9 0 4 ,   P 1 0 ;   A r g y r e s   N ,   2 0 1 0 ,   O R G A N   S C I ,   V 2 1 ,   P 8 4 2 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 9 0 . 0 4 9 3 ;   A r g y r e s   N S ,   2 0 0 7 ,   O R G A N   S C I ,   V 1 8 ,   P 3 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 6 0 . 0 2 2 0 ;   A r r o w   K ,   1 9 6 2 ,   R A T E   D I R E C T I O N   I N V E N ,   P 6 0 9 ;   A t u a h e n e - G i m a   K ,   2 0 0 3 ,   A C A D   M A N A G E   J ,   V 4 6 ,   P 3 5 9 ;   B a g o z z i   R P ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 1 0 9 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 4 5 ;   B a l d w i n   C Y ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 1 1 1 6 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 4 6 ;   B a l d w i n   C Y ,   2 0 0 0 ,   D E S I G N   R U L E S ,   V 1 ;   B e r m a n   S L ,   2 0 0 2 ,   A C A D   M A N A G E   J ,   V 4 5 ,   P 1 3 ,   D O I   1 0 . 2 3 0 7 / 3 0 6 9 2 8 2 ;   B r e w s   P J ,   2 0 0 4 ,   S T R A T E G I C   M A N A G E   J ,   V 2 5 ,   P 4 2 9 ,   D O I   1 0 . 1 0 0 2 / s m j . 3 8 6 ;   C h e s b r o u g h   H . ,   2 0 0 1 ,   M A N A G I N G   I N D   K N O W L E D ,   P 2 0 2 ;   C O H E N   W M ,   1 9 9 0 ,   A D M I N   S C I   Q U A R T ,   V 3 5 ,   P 1 2 8 ,   D O I   1 0 . 2 3 0 7 / 2 3 9 3 5 5 3 ;   C o n n e r   K R ,   1 9 9 6 ,   O R G A N   S C I ,   V 7 ,   P 4 7 7 ,   D O I   1 0 . 1 2 8 7 / o r s c . 7 . 5 . 4 7 7 ;   C y e r t   R .   M . ,   1 9 6 3 ,   B E H A V   T H E O R Y   F I R M ;   D a n e   E ,   2 0 1 0 ,   A C A D   M A N A G E   R E V ,   V 3 5 ,   P 5 7 9 ;   D e w a n   S ,   2 0 1 1 ,   I N F O R M   S Y S T   R E S ,   V 2 2 ,   P 3 6 9 ,   D O I   1 0 . 1 2 8 7 / i s r e . 1 0 9 0 . 0 2 6 1 ;   D i n g   W W ,   2 0 1 0 ,   M A N A G E   S C I ,   V 5 6 ,   P 1 4 3 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 0 0 . 1 1 9 5 ;   D o s i   G ,   2 0 0 7 ,   O R G A N   S C I ,   V 1 8 ,   P 4 9 1 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 7 0 . 0 2 7 9 ;   E t h i r a j   S K ,   2 0 0 8 ,   M A N A G E   S C I ,   V 5 4 ,   P 9 3 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 7 0 . 0 7 7 5 ;   E t h i r a j   S K ,   2 0 0 4 ,   A D M I N   S C I   Q U A R T ,   V 4 9 ,   P 4 0 4 ;   F l e m i n g   L ,   2 0 0 4 ,   S T R A T E G I C   M A N A G E   J ,   V 2 5 ,   P 9 0 9 ,   D O I   1 0 . 1 0 0 2 / s m j . 3 8 4 ;   G a l u n i c   D C ,   1 9 9 8 ,   S T R A T E G I C   M A N A G E   J ,   V 1 9 ,   P 1 1 9 3 ,   D O I   1 0 . 1 0 0 2 / ( S I C I ) 1 0 9 7 - 0 2 6 6 ( 1 9 9 8 1 2 0 ) 1 9 : 1 2 < 1 1 9 3 : : A I D - S M J 5 > 3 . 0 . C O ; 2 - F ;   G a n c o   M ,   2 0 0 9 ,   A C A D   M A N A G E   R E V ,   V 3 4 ,   P 2 2 8 ;   G h o s h a l   S ,   1 9 9 6 ,   A C A D   M A N A G E   R E V ,   V 2 1 ,   P 1 3 ,   D O I   1 0 . 2 3 0 7 / 2 5 8 6 2 7 ;   G r a n t   R M ,   1 9 9 6 ,   S T R A T E G I C   M A N A G E   J ,   V 1 7 ,   P 1 0 9 ;   G r u b e r   M . ,   O R G   S C I   I N   P R E S S ;   H E N D E R S O N   R M ,   1 9 9 0 ,   A D M I N   S C I   Q U A R T ,   V 3 5 ,   P 9 ,   D O I   1 0 . 2 3 0 7 / 2 3 9 3 5 4 9 ;   H i l l   C W L ,   2 0 0 3 ,   A C A D   M A N A G E   R E V ,   V 2 8 ,   P 2 5 7 ;   H i t t   L M ,   1 9 9 9 ,   I N F O R M   S Y S T   R E S ,   V 1 0 ,   P 1 3 4 ,   D O I   1 0 . 1 2 8 7 / i s r e . 1 0 . 2 . 1 3 4 ;   H o e t k e r   G ,   2 0 0 6 ,   S T R A T E G I C   M A N A G E   J ,   V 2 7 ,   P 5 0 1 ,   D O I   1 0 . 1 0 0 2 / s m j . 5 2 8 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   J e p p e s e n   L B ,   2 0 1 0 ,   O R G A N   S C I ,   V 2 1 ,   P 1 0 1 6 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 9 0 . 0 4 9 1 ;   J e p p e s e n   L B ,   2 0 0 6 ,   O R G A N   S C I ,   V 1 7 ,   P 4 5 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 5 0 . 0 1 5 6 ;   K a n e   G C ,   2 0 0 7 ,   O R G A N   S C I ,   V 1 8 ,   P 7 9 6 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 7 0 . 0 2 8 6 ;   K a p l a n   S ,   2 0 0 8 ,   R E S   P O L I C Y ,   V 3 7 ,   P 7 9 0 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 8 . 0 2 . 0 0 2 ;   K a t i l a   R ,   2 0 0 2 ,   A C A D   M A N A G E   J ,   V 4 5 ,   P 9 9 5 ,   D O I   1 0 . 2 3 0 7 / 3 0 6 9 3 2 6 ;   K a t i l a   R ,   2 0 0 2 ,   A C A D   M A N A G E   J ,   V 4 5 ,   P 1 1 8 3 ,   D O I   1 0 . 2 3 0 7 / 3 0 6 9 4 3 3 ;   K a u f f m a n   S . A . ,   1 9 9 3 ,   O R I G I N S   O R D E R   S E L F   O ;   K i n g   A W ,   2 0 0 7 ,   A C A D   M A N A G E   R E V ,   V 3 2 ,   P 1 5 6 ;   K n u d s e n   T ,   2 0 0 7 ,   O R G A N   S C I ,   V 1 8 ,   P 3 9 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 6 0 . 0 2 1 6 ;   K o g u t   B ,   1 9 9 6 ,   O R G A N   S C I ,   V 7 ,   P 5 0 2 ,   D O I   1 0 . 1 2 8 7 / o r s c . 7 . 5 . 5 0 2 ;   K O G U T   B ,   1 9 9 2 ,   O R G A N   S C I ,   V 3 ,   P 3 8 3 ,   D O I   1 0 . 1 2 8 7 / o r s c . 3 . 3 . 3 8 3 ;   L e i b l e i n   M J ,   2 0 0 3 ,   S T R A T E G I C   M A N A G E   J ,   V 2 4 ,   P 8 3 9 ,   D O I   1 0 . 1 0 0 2 / s m j . 3 4 0 ;   L e i b l e i n   M J ,   2 0 0 2 ,   S T R A T E G I C   M A N A G E   J ,   V 2 3 ,   P 8 1 7 ,   D O I   1 0 . 1 0 0 2 / s m j . 2 5 9 ;   L e n o x   M J ,   2 0 0 7 ,   M A N A G E   S C I ,   V 5 3 ,   P 5 9 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 6 7 9 ;   L E O N A R D B A R T O N   D ,   1 9 9 2 ,   S T R A T E G I C   M A N A G E   J ,   V 1 3 ,   P 1 1 1 ,   D O I   1 0 . 1 0 0 2 / s m j . 4 2 5 0 1 3 1 0 0 9 ;   L e r n e r   J ,   2 0 0 2 ,   J   I N D   E C O N ,   V 5 0 ,   P 1 9 7 ;   L e v i n t h a l   D A ,   1 9 9 9 ,   O R G A N   S C I ,   V 1 0 ,   P 3 4 2 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 . 3 . 3 4 2 ;   L e v i n t h a l   D A ,   1 9 9 7 ,   M A N A G E   S C I ,   V 4 3 ,   P 9 3 4 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 3 . 7 . 9 3 4 ;   L i e b e s k i n d   J P ,   1 9 9 6 ,   S T R A T E G I C   M A N A G E   J ,   V 1 7 ,   P 9 3 ;   L I P P M A N   S A ,   1 9 8 2 ,   B E L L   J   E C O N ,   V 1 3 ,   P 4 1 8 ,   D O I   1 0 . 2 3 0 7 / 3 0 0 3 4 6 4 ;   M a r c h   J . ,   1 9 5 8 ,   O R G A N I Z A T I O N S ;   M a r c h   J G ,   1 9 9 1 ,   O R G A N   S C I ,   V 2 ,   P 7 1 ,   D O I   1 0 . 1 2 8 7 / o r s c . 2 . 1 . 7 1 ;   N A M B I S A N   S ,   2 0 0 2 ,   A C A D   M A N A G E   R E V ,   V 2 7 ,   P 3 9 2 ,   D O I   D O I   1 0 . 2 3 0 7 / 4 1 3 4 3 8 6 ;   N a m b i s a n   S ,   2 0 1 0 ,   O R G A N   S C I ,   V 2 1 ,   P 5 5 4 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 9 0 . 0 4 6 0 ;   N a m b i s a n   S ,   2 0 0 9 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 6 ,   P 3 8 8 ;   N E L S O N   P ,   1 9 7 0 ,   J   P O L I T   E C O N ,   V 7 8 ,   P 3 1 1 ,   D O I   1 0 . 1 0 8 6 / 2 5 9 6 3 0 ;   N E L S O N   R R ,   1 9 9 1 ,   S T R A T E G I C   M A N A G E   J ,   V 1 2 ,   P 6 1 ,   D O I   1 0 . 1 0 0 2 / s m j . 4 2 5 0 1 2 1 0 0 6 ;   N e l s o n   R .   R . ,   1 9 8 2 ,   E V O L U T I O N A R Y   T H E O R Y ;   N e l s o n   R R ,   2 0 0 2 ,   J   E C O N   P E R S P E C T ,   V 1 6 ,   P 2 3 ,   D O I   1 0 . 1 2 5 7 / 0 8 9 5 3 3 0 0 2 7 2 4 7 ;   N o n a k a   I . ,   1 9 9 4 ,   O R G A N   S C I ,   V 5 ,   P 4 7 7 ;   P i l   F K ,   2 0 0 6 ,   A C A D   M A N A G E   R E V ,   V 3 1 ,   P 9 9 5 ;   P o l a n y i   M ,   1 9 6 7 ,   T A C I T   D I M E N S I O N ;   R E E D   R ,   1 9 9 0 ,   A C A D   M A N A G E   R E V ,   V 1 5 ,   P 8 8 ,   D O I   1 0 . 2 3 0 7 / 2 5 8 1 0 7 ;   R i v k i n   J W ,   2 0 0 0 ,   M A N A G E   S C I ,   V 4 6 ,   P 8 2 4 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 6 . 6 . 8 2 4 . 1 1 9 4 0 ;   R o s e n k o p f   L ,   2 0 0 1 ,   S T R A T E G I C   M A N A G E   J ,   V 2 2 ,   P 2 8 7 ,   D O I   1 0 . 1 0 0 2 / s m j . 1 6 0 ;   S c h i l l i n g   M A ,   2 0 0 0 ,   A C A D   M A N A G E   R E V ,   V 2 5 ,   P 3 1 2 ,   D O I   1 0 . 2 3 0 7 / 2 5 9 0 1 6 ;   S h a h   S K ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 1 0 0 0 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 5 3 ;   S h e r e m a t a   W A ,   2 0 0 0 ,   A C A D   M A N A G E   R E V ,   V 2 5 ,   P 3 8 9 ,   D O I   1 0 . 2 3 0 7 / 2 5 9 0 2 0 ;   S i g g e l k o w   N ,   2 0 0 5 ,   O R G A N   S C I ,   V 1 6 ,   P 1 0 1 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 5 0 . 0 1 1 6 ;   S i m o n   H A ,   1 9 5 5 ,   Q   J   E C O N ,   V 6 9 ,   P 9 9 ,   D O I   1 0 . 2 3 0 7 / 1 8 8 4 8 5 2 ;   S t a u d e n m a y e r   N ,   2 0 0 5 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 2 ,   P 3 0 3 ,   D O I   1 0 . 1 1 1 1 / j . 0 7 3 7 - 6 7 8 2 . 2 0 0 5 . 0 0 1 2 8 . x ;   S t u a r t   T E ,   1 9 9 6 ,   S T R A T E G I C   M A N A G E   J ,   V 1 7 ,   P 2 1 ;   T a p s c o t t   D . ,   2 0 0 6 ,   W I K I N O M I C S   M A S S   C O L L ;   T i s c h l e r   L . ,   2 0 0 2 ,   F A S T   C O ;   T i w a n a   A ,   2 0 0 8 ,   S T R A T E G   M A N A G E   J ,   V 2 9 ,   P 7 6 9 ,   D O I   1 0 . 1 0 0 2 / s m j . 6 7 3 ;   T r i p s a s   M ,   2 0 0 0 ,   S T R A T E G I C   M A N A G E   J ,   V 2 1 ,   P 1 1 4 7 ,   D O I   1 0 . 1 0 0 2 / 1 0 9 7 - 0 2 6 6 ( 2 0 0 0 1 0 / 1 1 ) 2 1 : 1 0 / 1 1 < 1 1 4 7 : : A I D - S M J 1 2 8 > 3 . 3 . C O ; 2 - I ;   T u s h m a n   M L ,   1 9 9 6 ,   C A L I F   M A N A G E   R E V ,   V 3 8 ,   P 8 ;   T U S H M A N   M L ,   1 9 8 6 ,   A D M I N   S C I   Q U A R T ,   V 3 1 ,   P 4 3 9 ,   D O I   1 0 . 2 3 0 7 / 2 3 9 2 8 3 2 ;   V i l l a r r o e l   J .   A . ,   2 0 1 0 ,   M O T I V A T I N G   F I R M   S P O N ;   V i l l a r r o e l   J .   A . ,   2 0 1 1 ,   L E A R N I N G   P E R F O R M A N C E ;   v o n   H i p p e l   E r i c ,   2 0 0 5 ,   D E M O C R A T I Z I N G   I N N O V A ;   V O N H I P P E L   E ,   1 9 9 4 ,   M A N A G E   S C I ,   V 4 0 ,   P 4 2 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 0 . 4 . 4 2 9 ;   v o n   K r o g h   G ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 9 7 5 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 6 0 ;   W A L S H   J P ,   1 9 9 5 ,   O R G A N   S C I ,   V 6 ,   P 2 8 0 ,   D O I   1 0 . 1 2 8 7 / o r s c . 6 . 3 . 2 8 0 ;   W i l l i a m s o n   O . ,   1 9 8 5 ,   E C   I   C A P I T A L I S M ;   W i l l i a m s o n   O E ,   2 0 0 2 ,   J   E C O N   P E R S P E C T ,   V 1 6 ,   P 1 7 1 ,   D O I   1 0 . 1 2 5 7 / 0 8 9 5 3 3 0 0 2 7 6 0 2 7 8 7 7 6 ;   W i n t e r   S .   G . ,   1 9 8 7 ,   C O M P E T I T I V E   C H A L L E N G ,   P 1 5 9 ;   W i n t e r   S G ,   2 0 0 7 ,   O R G A N   S C I ,   V 1 8 ,   P 4 0 3 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 7 0 . 0 2 7 3 ;   W i n t e r   S G ,   2 0 0 0 ,   S T R A T E G I C   M A N A G E   J ,   V 2 1 ,   P 9 8 1 ,   D O I   1 0 . 1 0 0 2 / 1 0 9 7 - 0 2 6 6 ( 2 0 0 0 1 0 / 1 1 ) 2 1 : 1 0 / 1 1 < 9 8 1 : : A I D - S M J 1 2 5 > 3 . 0 . C O ; 2 - 4 ;   W R I G H T   S E W A L L ,   1 9 3 2 ,   P R O C   S I X T H   I N T E R N A T   C O N G R   G E N E T I C S   I T H A C A   N E W   Y O R K ,   V 1 ,   P 3 5 6 ;   Z a h r a   S A ,   2 0 0 2 ,   A C A D   M A N A G E   R E V ,   V 2 7 ,   P 1 8 5 ,   D O I   1 0 . 2 3 0 7 / 4 1 3 4 3 5 1 	 1 0 0 	 3 4 	 3 4 	 A C A D   M A N A G E M E N T 	 B R I A R C L I F F   M A N O R 	 P A C E   U N I V ,   P O   B O X   3 0 2 0 ,   2 3 5   E L M   R D ,   B R I A R C L I F F   M A N O R ,   N Y   1 0 5 1 0 - 8 0 2 0   U S A 	 0 3 6 3 - 7 4 2 5 	 1 9 3 0 - 3 8 0 7 	 	 A C A D   M A N A G E   R E V 	 A c a d .   M a n a g e .   R e v . 	 J U L 	 2 0 1 2 	 3 7 	 3 	 	 	 	 	 3 5 5 	 3 7 5 	 	 1 0 . 5 4 6 5 / a m r . 2 0 1 0 . 0 1 4 6 	 	 2 1 	 B u s i n e s s ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 9 5 8 W Y 	 W O S : 0 0 0 3 0 5 2 7 2 9 0 0 0 0 3 	 	 
 J 	 J e l i a z k o v a ,   N 	 	 	 	 J e l i a z k o v a ,   N i n a 	 	 	 W e b   t o o l s   f o r   p r e d i c t i v e   t o x i c o l o g y   m o d e l   b u i l d i n g 	 E X P E R T   O P I N I O N   O N   D R U G   M E T A B O L I S M   &   T O X I C O L O G Y 	 	 	 E n g l i s h 	 R e v i e w 	 	 	 	 	 	 m o d e l   b u i l d i n g ;   p r e d i c t i v e   t o x i c o l o g y ;   Q S A R ;   w e b   a p p l i c a t i o n s ;   w e b   s e r v i c e s 	 W O R L D - W I D E - W E B ;   E U R O P E A N - B I O I N F O R M A T I C S - I N S T I T U T E ;   S E R V I C E   I N F R A S T R U C T U R E ;   A P P L I C A B I L I T Y   D O M A I N ;   S M A L L   M O L E C U L E S ;   D R U G   D I S C O V E R Y ;   C H E M I S T R Y ;   Q S A R ;   D A T A B A S E ;   C O M P O U N D 	 I n t r o d u c t i o n :   T h e   d e v e l o p m e n t   a n d   u s e   o f   w e b   t o o l s   i n   c h e m i s t r y   h a s   a c c u m u l a t e d   m o r e   t h a n   1 5   y e a r s   o f   h i s t o r y   a l r e a d y .   P o w e r e d   b y   t h e   a d v a n c e s   i n   t h e   I n t e r n e t   t e c h n o l o g i e s ,   t h e   c u r r e n t   g e n e r a t i o n   o f   w e b   s y s t e m s   a r e   s t a r t i n g   t o   e x p a n d   i n t o   a r e a s ,   t r a d i t i o n a l   f o r   d e s k t o p   a p p l i c a t i o n s .   T h e   w e b   p l a t f o r m s   i n t e g r a t e   d a t a   s t o r a g e ,   c h e m i n f o r m a t i c s   a n d   d a t a   a n a l y s i s   t o o l s .   T h e   e a s e   o f   u s e   a n d   t h e   c o l l a b o r a t i v e   p o t e n t i a l   o f   t h e   w e b   i s   c o m p e l l i n g ,   d e s p i t e   t h e   c h a l l e n g e s .   A r e a s   c o v e r e d :   T h e   t o p i c   o f   t h i s   r e v i e w   i s   a   s e t   o f   r e c e n t l y   p u b l i s h e d   w e b   t o o l s   t h a t   f a c i l i t a t e   p r e d i c t i v e   t o x i c o l o g y   m o d e l   b u i l d i n g .   T h e   f o c u s   i s   o n   s o f t w a r e   p l a t f o r m s ,   o f f e r i n g   w e b   a c c e s s   t o   c h e m i c a l   s t r u c t u r e - b a s e d   m e t h o d s ,   a l t h o u g h   s o m e   o f   t h e   f r a m e w o r k s   c o u l d   a l s o   p r o v i d e   b i o i n f o r m a t i c s   o r   h y b r i d   d a t a   a n a l y s i s   f u n c t i o n a l i t i e s .   A   n u m b e r   o f   h i s t o r i c a l   a n d   c u r r e n t   d e v e l o p m e n t s   a r e   c i t e d .   I n   o r d e r   t o   p r o v i d e   c o m p a r a b l e   a s s e s s m e n t ,   t h e   f o l l o w i n g   c h a r a c t e r i s t i c s   a r e   c o n s i d e r e d :   s u p p o r t   f o r   w o r k f l o w s ,   d e s c r i p t o r   c a l c u l a t i o n s ,   v i s u a l i z a t i o n ,   m o d e l i n g   a l g o r i t h m s ,   d a t a   m a n a g e m e n t   a n d   d a t a   s h a r i n g   c a p a b i l i t i e s ,   a v a i l a b i l i t y   o f   G U I   o r   p r o g r a m m a t i c   a c c e s s   a n d   i m p l e m e n t a t i o n   d e t a i l s .   E x p e r t   o p i n i o n :   T h e   s u c c e s s   o f   t h e   W e b   i s   l a r g e l y   d u e   t o   i t s   h i g h l y   d e c e n t r a l i z e d ,   y e t   s u f f i c i e n t l y   i n t e r o p e r a b l e   m o d e l   f o r   i n f o r m a t i o n   a c c e s s .   T h e   e x p e c t e d   f u t u r e   c o n v e r g e n c e   b e t w e e n   c h e m i n f o r m a t i c s   a n d   b i o i n f o r m a t i c s   d a t a b a s e s   p r o v i d e s   n e w   c h a l l e n g e s   t o w a r d   m a n a g e m e n t   a n d   a n a l y s i s   o f   l a r g e   d a t a   s e t s .   T h e   w e b   t o o l s   i n   p r e d i c t i v e   t o x i c o l o g y   w i l l   l i k e l y   c o n t i n u e   t o   e v o l v e   t o w a r d   t h e   r i g h t   m i x   o f   f l e x i b i l i t y ,   p e r f o r m a n c e ,   s c a l a b i l i t y ,   i n t e r o p e r a b i l i t y ,   s e t s   o f   u n i q u e   f e a t u r e s   o f f e r e d ,   f r i e n d l y   u s e r   i n t e r f a c e s ,   p r o g r a m m a t i c   a c c e s s   f o r   a d v a n c e d   u s e r s ,   p l a t f o r m   i n d e p e n d e n c e ,   r e s u l t s   r e p r o d u c i b i l i t y ,   c u r a t i o n   a n d   c r o w d s o u r c i n g   u t i l i t i e s ,   c o l l a b o r a t i v e   s h a r i n g   a n d   s e c u r e   a c c e s s . 	 I d e a C o n s u l t   L t d ,   S o f i a   1 0 0 0 ,   B u l g a r i a 	 J e l i a z k o v a ,   N   ( r e p r i n t   a u t h o r ) ,   I d e a C o n s u l t   L t d ,   4   A   K a n c h e v   S t r ,   S o f i a   1 0 0 0 ,   B u l g a r i a . 	 j e l i a z k o v a . n i n a @ g m a i l . c o m 	 	 	 I d e a   C o n s u l t   L t d . ;   E U   [ H E A L T H - 2 0 0 7 - 1 . 3 - 3 / P R O J E C T   H E A L T H - F 5 - 2 0 0 8 - 2 0 0 7 8 7   O P E N T O X ,   E N V - 2 0 0 7 . 3 . 3 . 1 . 1 / P R O J E C T   2 1 2 6 6 8   C A D A S T E R ] 	 T h i s   w o r k   i s   s u p p o r t e d   b y   I d e a   C o n s u l t   L t d .   T h e   a u t h o r   a l s o   r e c e i v e s   s u p p o r t   i n   t h e   f o r m   o f   E U - F P 7   g r a n t s   ( E U   F P 7   H E A L T H - 2 0 0 7 - 1 . 3 - 3 / P R O J E C T   H E A L T H - F 5 - 2 0 0 8 - 2 0 0 7 8 7   O P E N T O X   a n d   E U   F P 7   E N V - 2 0 0 7 . 3 . 3 . 1 . 1 / P R O J E C T   2 1 2 6 6 8   C A D A S T E R ) . 	 A d a m s   S ,   2 0 1 1 ,   J   C H E M I N F O R M A T I C S ,   V 3 ,   D O I   1 0 . 1 1 8 6 / 1 7 5 8 - 2 9 4 6 - 3 - 3 8 ;   [ A n o n y m o u s ] ,   O P   S O U R C   P R O B L   S O L V ;   [ A n o n y m o u s ] ,   3 7 S I G N A L S ;   [ A n o n y m o u s ] ,   P I P   P I L ;   B a c k m a n   T W H ,   2 0 1 1 ,   N U C L E I C   A C I D S   R E S ,   V 3 9 ,   p W 4 8 6 ,   D O I   1 0 . 1 0 9 3 / n a r / g k r 3 2 0 ;   O ' B o y l e   N M ,   2 0 1 1 ,   J   C H E M I N F O R M A T I C S ,   V 3 ,   D O I   1 0 . 1 1 8 6 / 1 7 5 8 - 2 9 4 6 - 3 - 3 3 ;   B e m b e n e k   S c o t t   D ,   2 0 0 4 ,   M e t h o d s   M o l   B i o l ,   V 2 7 5 ,   P 6 5 ;   B h a g a t   J ,   2 0 1 0 ,   N U C L E I C   A C I D S   R E S ,   V 3 8 ,   p W 6 8 9 ,   D O I   1 0 . 1 0 9 3 / n a r / g k q 3 9 4 ;   B o l s e r   D M ,   2 0 1 2 ,   N U C L E I C   A C I D S   R E S ,   V 4 0 ,   p D 1 2 5 0 ,   D O I   1 0 . 1 0 9 3 / n a r / g k r 1 0 9 9 ;   B r e i m a n   L ,   2 0 0 1 ,   M A C H   L E A R N ,   V 4 5 ,   P 5 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 1 0 9 3 3 4 0 4 3 2 4 ;   B r o w n   N ,   2 0 0 6 ,   C U R R   O P I N   D R U G   D I S C ,   V 9 ,   P 4 1 9 ;   B u c h w a l d   F ,   2 0 1 1 ,   M O L   I N F O R M ,   V 3 0 ,   P 2 0 5 ,   D O I   1 0 . 1 0 0 2 / m i n f . 2 0 1 0 0 0 1 5 4 ;   B u n i n   B A ,   2 0 0 7 ,   C H E M I N F O R M A T I C S   T H E O ;   C a o   Y ,   2 0 0 8 ,   B I O I N F O R M A T I C S ,   V 2 4 ,   P 1 7 3 3 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t n 3 0 7 ;   C h e m A x o n ,   2 0 1 0 ,   J C H E M ;   C h e m A x o n ,   J C H E M ;   C o h e n - B o u l a k i a   S ,   2 0 1 1 ,   S I G M O D   R E C ,   V 4 0 ,   P 6 ,   D O I   1 0 . 1 1 4 5 / 2 0 3 4 8 6 3 . 2 0 3 4 8 6 5 ;   C r i s t i a n i n i   N . ,   2 0 0 0 ,   I N T R O   S U P P O R T   V E C T O R ;   C u r c i n   V . ,   2 0 0 8 ,   2 0 0 8   C A I R   I N T   B I O M   E ,   P 1 ;   D a v i e s   K ,   U T I L I T Y   C L O U D   C O M P U T ;   D I S F A R M   -   D e p a r t m e n t   o f   P h a r m a c e u t i c a l   S c i e n c e s   P i e t r o   P r a t e s i ,   V E G A   O N   L I N ;   D o n g   X ,   2 0 0 7 ,   J   C H E M   I N F   M O D E L ,   V 4 7 ,   P 1 3 0 3 ,   D O I   1 0 . 1 0 2 1 / c i 6 0 0 4 3 4 9 ;   E d u S o f t ,   S O F T W   P A C K   M O L   T O P   A ;   E r t l   P ,   1 9 9 8 ,   J   M O L   G R A P H   M O D E L ,   V 1 6 ,   P 1 1 ,   D O I   1 0 . 1 0 1 6 / S 1 0 9 3 - 3 2 6 3 ( 9 8 ) 0 0 0 1 2 - 6 ;   E r t l   P ,   2 0 0 7 ,   C U R R   T O P   M E D   C H E M ,   V 7 ,   P 1 4 9 1 ,   D O I   1 0 . 2 1 7 4 / 1 5 6 8 0 2 6 0 7 7 8 2 1 9 4 7 0 7 ;   E r t l   P ,   1 9 9 8 ,   C H I M I A ,   V 5 2 ,   P 6 7 3 ;   E u r o p e a n   C h e m i c a l   A g e n c y   ( E C H A ) ,   G U I D   I N F   R E Q   C H E M   S A ;   F i l i m o n o v   D ,   1 9 9 9 ,   J   C H E M   I N F   C O M P   S C I ,   V 3 9 ,   P 6 6 6 ,   D O I   1 0 . 1 0 2 1 / c i 9 8 0 3 3 5 o ;   F r e y   J G ,   2 0 1 1 ,   E X P E R T   O P I N   D R U G   D I S ,   V 6 ,   P 8 8 5 ,   D O I   1 0 . 1 5 1 7 / 1 7 4 6 0 4 4 1 . 2 0 1 1 . 5 9 8 9 2 4 ;   F u s a r o   V A ,   2 0 1 1 ,   P L O S   C O M P U T   B I O L ,   V 7 ,   P 6 ;   G a l p e r i n   M Y ,   2 0 1 2 ,   N U C L E I C   A C I D S   R E S ,   V 4 0 ,   p D 1 ,   D O I   1 0 . 1 0 9 3 / n a r / g k r 1 1 9 6 ;   G o b l e   C A ,   2 0 1 0 ,   N U C L E I C   A C I D S   R E S ,   V 3 8 ,   p W 6 7 7 ,   D O I   1 0 . 1 0 9 3 / n a r / g k q 4 2 9 ;   G o b l e   C A ,   2 0 0 8 ,   E D U C A U S E   R E V ,   P 4 3 ;   G r o u p   D . M . ,   P R E D   M O D   M A R K   L A N G   P ;   G u h a   R ,   2 0 0 8 ,   J   C H E M   I N F   M O D E L ,   V 4 8 ,   P 4 5 6 ,   D O I   1 0 . 1 0 2 1 / c i 7 0 0 1 8 8 u ;   P h i l l i p s   A . ,   1 9 8 5 ,   S I G K D D   E X P L O R A T I O N S ,   V 3 1 ,   P 3 2 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 6 5 6 2 7 4 . 1 6 5 6 2 7 8 ;   H a n s c h   C ,   2 0 0 2 ,   C H E M   R E V ,   V 1 0 2 ,   P 7 8 3 ,   D O I   1 0 . 1 0 2 1 / c r 0 1 0 2 0 0 9 ;   H a r d y   B ,   2 0 1 0 ,   J   C H E M I N F O R M A T I C S ,   V 2 ,   D O I   1 0 . 1 1 8 6 / 1 7 5 8 - 2 9 4 6 - 2 - 7 ;   H a r t e   N ,   2 0 0 4 ,   N U C L E I C   A C I D S   R E S ,   V 3 2 ,   p W 3 ,   D O I   1 0 . 1 0 9 3 / n a r / g k h 4 0 5 ;   H e l m a   C ,   2 0 0 6 ,   M O L   D I V E R S ,   V 1 0 ,   P 1 4 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 3 0 - 0 0 5 - 9 0 0 1 - 5 ;   H o h m a n   M ,   2 0 0 9 ,   D R U G   D I S C O V   T O D A Y ,   V 1 4 ,   P 2 6 1 ,   D O I   1 0 . 1 0 1 6 / j . d r u d i s . 2 0 0 8 . 1 1 . 0 1 5 ;   i C h e m L a b s ,   C H E M D O O D L E ;   [ I d e a c o n s u l t   L t d   A M B I T ] ,   A M B I T ;   I h l e n f e l d t   W D ,   2 0 0 2 ,   J   C H E M   I N F   C O M P   S C I ,   V 4 2 ,   P 4 6 ,   D O I   1 0 . 1 0 2 1 / c i 0 1 0 0 5 6 s ;   I h l e n f e l d t   W D ,   1 9 9 7 ,   J   M O L   M O D E L ,   V 3 ,   P 3 8 6 ,   D O I   1 0 . 1 0 0 7 / s 0 0 8 9 4 0 0 5 0 0 5 6 ;   J a h n   K ,   2 0 0 5 ,   P   3   I N T   W O R K S H   M I N   G ,   P 7 7 ;   J a w o r s k a   J ,   2 0 0 5 ,   A T L A - A L T E R N   L A B   A N I M ,   V 3 3 ,   P 4 4 5 ;   J a w o r s k a   J ,   2 0 0 7 ,   S A R   Q S A R   E N V I R O N   R E S ,   V 1 8 ,   P 1 9 5 ,   D O I   1 0 . 1 0 8 0 / 1 0 6 2 9 3 6 0 7 0 1 3 0 6 0 5 0 ;   J e l i a z k o v a   N ,   2 0 1 1 ,   J   C H E M I N F O R M A T I C S ,   V 3 ,   D O I   1 0 . 1 1 8 6 / 1 7 5 8 - 2 9 4 6 - 3 - 1 8 ;   J e l i a z k o v a   N ,   2 0 1 1 ,   M O L   I N F O R M ,   V 3 0 ,   P 7 0 7 ,   D O I   1 0 . 1 0 0 2 / m i n f . 2 0 1 1 0 0 0 2 8 ;   J R C ,   Q S A R   M O D   R E P   F O R M   I N ;   J R C ,   Q S A R   R E P   F O R M ;   K a l a   M ,   2 0 1 0 ,   B I O I N F O R M A T I C S ,   V 2 6 ,   P 5 4 0 ;   K e p l e r   s c i e n t i f i c   w o r k f l o w   s y s t e m ,   S C I   W O R K F L   S Y S T ;   K u h n   T ,   2 0 1 0 ,   B M C   B I O I N F O R M A T I C S ,   V 1 1 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 1 - 2 1 0 5 - 1 1 - 1 5 9 ;   L a b a r g a   A ,   2 0 0 7 ,   N U C L E I C   A C I D S   R E S ,   V 3 5 ,   p W 6 ,   D O I   1 0 . 1 0 9 3 / n a r / g k m 2 9 1 ;   L a g u n i n   A A ,   2 0 0 7 ,   S A R   Q S A R   E N V I R O N   R E S ,   V 1 8 ,   P 2 8 5 ,   D O I   1 0 . 1 0 8 0 / 1 0 6 2 9 3 6 0 7 0 1 3 0 4 2 5 3 ;   L e e   A C ,   2 0 0 8 ,   J   C H E M   I N F   M O D E L ,   V 4 8 ,   P 2 0 4 2 ,   D O I   [ 1 0 . 1 0 2 1 / c i 8 0 0 1 8 1 5 ,   1 0 . 1 0 2 1 / 6 8 0 0 1 8 1 5 ] ;   L i   C ,   2 0 1 0 ,   B R I E F   B I O I N F O R M ,   V 1 1 ,   P 2 7 0 ,   D O I   1 0 . 1 0 9 3 / b i b / b b p 0 5 6 ;   L i n   A ,   Q U A S A R   D E S C R I P T O R S ;   L i p i n s k i   C . A . ,   1 9 9 7 ,   D R U G   D I S C O V   T O D A Y ,   V 4 6 ,   P 3 ;   M a u n z   A ,   2 0 1 0 ,   M A C H   L E A R N ,   V 8 3 ,   P 1 9 3 ;   M e t a M o l e c u l a r ,   C H E M   W R I T ;   M o l e c u l a r   N e t w o r k s ,   O N L   D E M   S E R V ;   M o l e c u l a r N e t w o r k s ,   A D R I A N A   C O D ;   M o l P l e x ,   A U T   Q S A R ;   N C I / C A D D   G r o u p ,   C H E M   I D   R E S ;   O ' B o y l e   N M ,   2 0 1 1 ,   J   C H E M I N F O R M A T I C S ,   V 3 ,   D O I   1 0 . 1 1 8 6 / 1 7 5 8 - 2 9 4 6 - 3 - 3 7 ;   O p e n T o x ,   D O W N L ;   P r a k a s h   O ,   2 0 0 6 ,   J   C H E M   I N F   M O D E L ,   V 4 6 ,   P 1 7 ,   D O I   1 0 . 1 0 2 1 / c i 0 5 0 1 1 5 s ;   P r o g r a m m a b l e W e b ,   M A S H   A P I S   W E B   P L A T F ;   Q D B ,   Q S A R   D A T A B A N K ;   R i c h a r d s o n   L ,   2 0 0 7 ,   R E S T F U L ;   M u r r a y R u s t   P ,   1 9 9 7 ,   C H E M   S O C   R E V ,   V 2 6 ,   P 1 ,   D O I   1 0 . 1 0 3 9 / c s 9 9 7 2 6 0 0 0 0 1 ;   S c h u l t h e i s s   S J ,   2 0 1 1 ,   P L O S   O N E ,   V 6 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 2 4 9 1 4 ;   S o m m e r   S ,   2 0 0 7 ,   J   C H E M   I N F   M O D E L ,   V 4 7 ,   P 2 0 3 5 ,   D O I   1 0 . 1 0 2 1 / c i 6 0 0 5 6 0 m ;   S p j u t h   O ,   2 0 1 0 ,   J   C H E M I N F O R M A T I C S ,   V 2 ,   D O I   1 0 . 1 1 8 6 / 1 7 5 8 - 2 9 4 6 - 2 - 5 ;   S t e i n b e c k   C ,   2 0 0 3 ,   J   C H E M   I N F   C O M P   S C I ,   V 4 3 ,   P 4 9 3 ,   D O I   1 0 . 1 0 2 1 / c i 0 2 5 5 8 4 y ;   S u s h k o   I ,   2 0 1 1 ,   J   C O M P U T   A I D   M O L   D E S ,   V 2 5 ,   P 5 3 3 ,   D O I   1 0 . 1 0 0 7 / s 1 0 8 2 2 - 0 1 1 - 9 4 4 0 - 2 ;   S w a i n   M ,   2 0 1 2 ,   J   C H E M   I N F   M O D E L ,   V 5 2 ,   P 6 1 3 ,   D O I   1 0 . 1 0 2 1 / c i 3 0 0 0 4 6 g ;   S y m y x ,   2 0 0 5 ,   M A C C S   S T R U C T   K E Y S ;   T a l e t e ,   D R A G   6   U S   M A N ;   T e t k o   I V ,   2 0 0 9 ,   C H E M   B I O D I V E R S ,   V 6 ,   P 1 8 3 7 ,   D O I   1 0 . 1 0 0 2 / c b d v . 2 0 0 9 0 0 0 7 5 ;   T e t k o   I V ,   2 0 0 8 ,   J   C H E M   I N F   M O D E L ,   V 4 8 ,   P 1 7 3 3 ,   D O I   1 0 . 1 0 2 1 / c i 8 0 0 1 5 1 m ;   T e t k o   I V ,   2 0 0 5 ,   J   C O M P U T   A I D   M O L   D E S ,   V 1 9 ,   P 4 5 3 ,   D O I   1 0 . 1 0 0 7 / s 1 0 8 2 2 - 0 0 5 - 8 6 9 4 - y ;   T h a n g a s a m y   I ,   2 0 1 1 ,   O P E N A M ;   T o x t r e e ,   T O X   H A Z   E S T   D E C   T R E E ;   T r o p s h a   A ,   2 0 1 0 ,   M O L   I N F O R M ,   V 2 9 ,   P 4 7 6 ,   D O I   1 0 . 1 0 0 2 / m i n f . 2 0 1 0 0 0 0 6 1 ;   T r u s z k o w s k i   A ,   2 0 1 1 ,   J   C H E M I N F O R M A T I C S ,   V 3 ,   p P 5 ;   V E G A - Q S A R ,   V I R T   M O D   E V   P R O P   C H E ;   W 3 C ,   S P A R Q L   P R O T   R D F   Q U E R ;   W a l k e r   J D ,   2 0 0 3 ,   Q S A R S   P O L L U T I O N   P R E V ;   W a l k e r   T ,   2 0 1 0 ,   B I O I N F O R M A T I C S   O X F O R ,   V 2 6 ,   P 1 ;   W a s s i n k   I ,   2 0 0 9 ,   2 0 0 9   I E E E   C O N G R E S S   O N   S E R V I C E S   ( S E R V I C E S - 1   2 0 0 9 ) ,   V O L S   1   A N D   2 ,   P 3 1 4 ,   D O I   1 0 . 1 1 0 9 / S E R V I C E S - I . 2 0 0 9 . 4 8 ;   W e g n e r   J ,   2 0 0 3 ,   J   C H E M   I N F   C O M P   S C I ,   V 4 4 ,   P 9 3 1 ;   W i l l i a m s   A J ,   2 0 0 8 ,   C U R R   O P I N   D R U G   D I S C ,   V 1 1 ,   P 3 9 3 ;   W i l l i g h a g e n   E g o n   L ,   2 0 1 1 ,   B M C   R e s   N o t e s ,   V 4 ,   P 4 8 7 ,   D O I   1 0 . 1 1 8 6 / 1 7 5 6 - 0 5 0 0 - 4 - 4 8 7 ;   Y a n   X . ,   2 0 0 2 ,   P   2 0 0 2   I E E E   I N T   C   D A ,   P 7 2 1 ;   Z h u   Q ,   2 0 1 0 ,   J   C H E M I N F O R M A T I C S ,   V 2 ,   D O I   1 0 . 1 1 8 6 / 1 7 5 8 - 2 9 4 6 - 2 - 6 	 9 9 	 0 	 0 	 I N F O R M A   H E A L T H C A R E 	 L O N D O N 	 T E L E P H O N E   H O U S E ,   6 9 - 7 7   P A U L   S T R E E T ,   L O N D O N   E C 2 A   4 L Q ,   E N G L A N D 	 1 7 4 2 - 5 2 5 5 	 	 	 E X P E R T   O P I N   D R U G   M E T 	 E x p e r t   O p i n .   D r u g   M e t a b .   T o x i c o l . 	 J U L 	 2 0 1 2 	 8 	 7 	 	 	 	 	 7 9 1 	 8 0 1 	 	 1 0 . 1 5 1 7 / 1 7 4 2 5 2 5 5 . 2 0 1 2 . 6 8 5 1 5 8 	 	 1 1 	 B i o c h e m i s t r y   &   M o l e c u l a r   B i o l o g y ;   P h a r m a c o l o g y   &   P h a r m a c y 	 B i o c h e m i s t r y   &   M o l e c u l a r   B i o l o g y ;   P h a r m a c o l o g y   &   P h a r m a c y 	 9 5 9 C B 	 W O S : 0 0 0 3 0 5 2 8 6 6 0 0 0 0 2 	 2 2 5 7 7 9 5 3 	 
 J 	 P a r r y ,   D T ;   T s a i ,   T C 	 	 	 	 P a r r y ,   D a v i d   T . ;   T s a i ,   T s u n g - C h u n 	 	 	 C r o w d s o u r c i n g   t e c h n i q u e s   t o   c r e a t e   a   f u z z y   s u b s e t   o f   S N O M E D   C T   f o r   s e m a n t i c   t a g g i n g   o f   m e d i c a l   d o c u m e n t s 	 S O F T   C O M P U T I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 F u z z y   l o g i c ;   S e m a n t i c   w e b ;   O n t o l o g i e s 	 W E B 	 O n t o l o g i e s   a n d   o t h e r   s c h e m e s   a r e   u s e f u l   f o r   a l l o w i n g   s e m a n t i c   t a g g i n g   o f   d o c u m e n t s   f o r   m a n y   a p p l i c a t i o n s   o n   t h e   s e m a n t i c   w e b .   R e p r e s e n t i n g   u n c e r t a i n t y   o n   t h e   s e m a n t i c   w e b   i s   b e c o m i n g   i n c r e a s i n g l y   c o m m o n ,   u s i n g   o n t o l o g i e s   a n d   o t h e r   t e c h n i q u e s .   O n t o l o g y   a n d   d e c l a r a t i v e   t o o l s   a l l o w   d o c u m e n t s   u s i n g   c o n c e p t s   c o n t a i n e d   i n   t h e s e   o n t o l o g i e s   t o   b e   r e a s o n e d   a b o u t   u s i n g   c o m p u t e r   s y s t e m s .   V e r y   l a r g e   o n t o l o g i e s   a n d   v o c a b u l a r i e s   h a v e   b e e n   c r e a t e d ;   h o w e v e r ,   u s e r s   m a y   f i n d   i t   d i f f i c u l t   t o   s e l e c t   t h e   c o r r e c t   c o n c e p t   o r   t e r m   w h e n   t h e r e   a r e   l a r g e   n u m b e r s   o f   i t e m s   t h a t   o n   f a c e   v a l u e   a p p e a r   t o   r e p r e s e n t   t h e   s a m e   i d e a .   C r e a t i n g   s u b s e t s   o f   o n t o l o g i e s   i s   a   p o p u l a r   a p p r o a c h   t o   s o l v e   t h i s   p r o b l e m   b u t   t h i s   m a y   n o t   f i t   w e l l   w i t h   t h e   n e e d   t o   d e a l   w i t h   c o m p l e x   d o m a i n s .   H o w e v e r ,   c r o w d s o u r c i n g   t e c h n i q u e s ,   w h i c h   h a r n e s s   t h e   p o w e r   o f   l a r g e   g r o u p s ,   m a y   b e   m o r e   e f f e c t i v e   t h a n   d o c u m e n t   a n a l y s i s   o r   e x p e r t   o p i n i o n .   I n   c r o w d s o u r c i n g ,   l a r g e   n u m b e r s   o f   p e o p l e   c o l l a b o r a t e   b y   p e r f o r m i n g   r e l a t i v e l y   s i m p l e   t a s k s   u s u a l l y   u s i n g   a p p l i c a t i o n s   d i s t r i b u t e d   v i a   t h e   W o r l d   W i d e   W e b .   T h i s   a p p r o a c h   i s   b e i n g   t e s t e d   i n   t h e   m e d i c a l   d o m a i n   u s i n g   a   v e r y   l a r g e   c l i n i c a l   v o c a b u l a r y ,   S N O M E D   C T . 	 [ P a r r y ,   D a v i d   T . ;   T s a i ,   T s u n g - C h u n ]   A u c k l a n d   U n i v   T e c h n o l ,   S c h   C o m p   &   M a t h   S c i ,   A u c k l a n d ,   N e w   Z e a l a n d 	 P a r r y ,   D T   ( r e p r i n t   a u t h o r ) ,   A u c k l a n d   U n i v   T e c h n o l ,   S c h   C o m p   &   M a t h   S c i ,   A u c k l a n d ,   N e w   Z e a l a n d . 	 d a v e . p a r r y @ a u t . a c . n z ;   c h u n 6 6 8 8 @ g m a i l . c o m 	 	 	 	 	 A c a m p o r a   G ,   2 0 1 0 ,   A C M   T   A U T O N   A D A P   S Y S ,   V 5 ,   D O I   1 0 . 1 1 4 5 / 1 7 4 0 6 0 0 . 1 7 4 0 6 0 4 ;   A n d e r s o n   D P ,   2 0 0 2 ,   C O M M U N   A C M ,   V 4 5 ,   P 5 6 ,   D O I   1 0 . 1 1 4 5 / 5 8 1 5 7 1 . 5 8 1 5 7 3 ;   A n i k e t   K ,   2 0 0 8 ,   P   2 6   A N N   S I G C H I   C   H U ;   C a l e g a r i   S ,   2 0 0 6 ,   L E C T   N O T E S   C O M P U T   S C ,   P 4 0 4 ;   D o l i n   R H ,   2 0 0 1 ,   J   A M   M E D   I N F O R M   A S S N ,   V 8 ,   P 5 5 2 ;   H u b e r m a n   B A ,   2 0 0 8 ,   C O M P U T E R ,   V 4 1 ,   P 1 0 3 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 8 . 4 5 0 ;   H u f f   S M ,   1 9 9 8 ,   J   A M   M E D   I N F O R M   A S S N ,   V 5 ,   P 2 7 6 ;   J C H   M i c h a e l   F .   C h i a n g ,   2 0 0 6 ,   A M I A   A N N   S   P   2 0 0 6 ,   V 2 0 0 6 ,   P 1 3 1 ;   K a l r a   D i p a k ,   2 0 0 5 ,   S t u d   H e a l t h   T e c h n o l   I n f o r m ,   V 1 1 5 ,   P 1 5 3 ;   O ' r e i l l y   T . ,   2 0 0 7 ,   C O M M U N I C A T I O N S   S T R A T ,   P 1 7 ;   O ' M a l l e y   K J ,   2 0 0 5 ,   H E A L T H   S E R V   R E S ,   V 4 0 ,   P 1 6 2 0 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 7 5 - 6 7 7 3 . 2 0 0 5 . 0 0 4 4 4 . x ;   O N E I L   M ,   1 9 9 5 ,   M E T H O D   I N F O R M   M E D ,   V 3 4 ,   P 1 8 7 ;   P a r r y   D ,   2 0 0 4 ,   2 0 0 4   I E E E   I N T   C   I N F ,   P 5 8 2 ;   P a t r i c k   J ,   2 0 0 8 ,   H L T H   C A R E   I N F O R M   R E V ;   P e l e g   M ,   2 0 0 6 ,   I M I A   Y B   M E D   I N F O R M ,   P 7 2 ;   P e t e r   G G ,   2 0 0 5 ,   C O M M U N   A C M ,   V 4 8 ,   P 6 8 ,   D O I   [ 1 0 . 1 1 4 5 / 1 0 8 9 1 0 7 . 1 0 8 9 1 4 1 ,   D O I   1 0 . 1 1 4 5 / 1 0 8 9 1 0 7 . 1 0 8 9 1 4 1 ] ;   R i v a d e n e i r a   A . ,   2 0 0 7 ,   P   S I G C H I   C   H U M   F A C T ;   S a n c h e z   E ,   2 0 0 6 ,   L E C T   N O T E S   C O M P U T   S C ,   P 6 9 1 ;   S h a d b o l t   N ,   2 0 0 6 ,   I E E E   I N T E L L   S Y S T ,   V 2 1 ,   P 9 6 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 0 6 . 6 2 ;   S i n g h   P . ,   2 0 0 2 ,   L E C T   N O T E S   C O M P U T   S C ,   P 1 2 2 3 ;   S i o r p a e s   K ,   2 0 0 9 ,   W O R L D   W I D E   W E B ,   V 1 3 ,   P 3 3 ;   S p a c k m a n   K e n t   A ,   2 0 0 5 ,   A M I A   A n n u   S y m p   P r o c ,   P 7 1 4 ;   S t o i l o s   G ,   2 0 0 6 ,   I E E E   I N T E L L   S Y S T ,   V 2 1 ,   P 8 4 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 0 6 . 1 0 5 ;   T h o   Q T ,   2 0 0 6 ,   I E E E   T   K N O W L   D A T A   E N ,   V 1 8 ,   P 8 4 2 ,   D O I   1 0 . 1 1 0 9 / T K D E . 2 0 0 6 . 8 7 ;   T h o m a s   M L ,   2 0 0 3 ,   S P I E ,   P 1 0 9 ;   U .   S .   N a t i o n a l   L i b r a r y   o f   M e d i c i n e ,   2 0 0 1 ,   M E D   S U B J   H E A D ;   v o n   A h n   L ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 1 ,   P 1 4 6 5 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 0 3 7 9 ;   W i d y a n t o r o   D H ,   2 0 0 1 ,   J O I N T   9 T H   I F S A   W O R L D   C O N G R E S S   A N D   2 0 T H   N A F I P S   I N T E R N A T I O N A L   C O N F E R E N C E ,   P R O C E E D I N G S ,   V O L S .   1 - 5 ,   P 6 1 0 ;   W o l l e r s h e i m   D ,   2 0 0 2 ,   D A T   E N G   A P P L   S   2 0 0 2 ,   P 2 7 6 ;   W o r l d   H e a l t h   O r g a n i z a t i o n ,   2 0 0 1 ,   I C D   1 0   I N T   S T A T   C L A S ;   Y a n b e   Y ,   2 0 0 7 ,   P R O C E E D I N G S   O F   T H E   7 T H   A C M / I E E   J O I N T   C O N F E R E N C E   O N   D I G I T A L   L I B R A R I E S ,   P 1 0 7 ,   D O I   1 0 . 1 1 4 5 / 1 2 5 5 1 7 5 . 1 2 5 5 1 9 8 ;   Z A D E H   L A ,   1 9 6 5 ,   I N F O R M   C O N T R O L ,   V 8 ,   P 3 3 8 ,   D O I   1 0 . 1 0 1 6 / S 0 0 1 9 - 9 9 5 8 ( 6 5 ) 9 0 2 4 1 - X ;   Z I M M E R M A N N   H ,   1 9 8 0 ,   I E E E   T   C O M M U N ,   V 2 8 ,   P 4 2 5 ,   D O I   1 0 . 1 1 0 9 / T C O M . 1 9 8 0 . 1 0 9 4 7 0 2 	 3 3 	 2 	 2 	 S P R I N G E R 	 N E W   Y O R K 	 2 3 3   S P R I N G   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 3   U S A 	 1 4 3 2 - 7 6 4 3 	 	 	 S O F T   C O M P U T 	 S o f t   C o m p u t . 	 J U L 	 2 0 1 2 	 1 6 	 7 	 	 	 S I 	 	 1 1 1 9 	 1 1 2 7 	 	 1 0 . 1 0 0 7 / s 0 0 5 0 0 - 0 1 1 - 0 7 8 7 - z 	 	 9 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s 	 C o m p u t e r   S c i e n c e 	 9 5 8 O B 	 W O S : 0 0 0 3 0 5 2 4 7 8 0 0 0 0 3 	 	 
 J 	 E l l i o t t ,   H 	 	 	 	 E l l i o t t ,   H a n n a h 	 	 	 I m p u l s e   S h o p p i n g 	 F O R B E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 F a n c y   h a s   f o r g e d   a   n e w   u p s c a l e   s a l e s   m o d e l   b a s e d   o n   c r o w d s o u r c i n g - a n d   s u r p r i s e . 	 	 	 	 	 	 	 	 	 0 	 0 	 0 	 F O R B E S   I N C 	 N E W   Y O R K 	 6 0   F I F T H   A V E ,   N E W   Y O R K ,   N Y   1 0 0 1 1   U S A 	 0 0 1 5 - 6 9 1 4 	 	 	 F O R B E S 	 F o r b e s 	 J U N   2 5 	 2 0 1 2 	 1 8 9 	 1 1 	 	 	 S I 	 	 6 6 	 + 	 	 	 	 2 	 B u s i n e s s ,   F i n a n c e 	 B u s i n e s s   &   E c o n o m i c s 	 9 5 6 Q J 	 W O S : 0 0 0 3 0 5 1 0 3 9 0 0 0 0 9 	 	 
 J 	 R i j c k e n ,   T ;   S t i j n e n ,   J ;   S l o o t j e s ,   N 	 	 	 	 R i j c k e n ,   T i e s ;   S t i j n e n ,   J a n ;   S l o o t j e s ,   N a d i n e 	 	 	 " S i m D e l t a " - I n q u i r y   i n t o   a n   I n t e r n e t - B a s e d   I n t e r a c t i v e   M o d e l   f o r   W a t e r   I n f r a s t r u c t u r e   D e v e l o p m e n t   i n   T h e   N e t h e r l a n d s 	 W A T E R 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 w a t e r   i n f r a s t r u c t u r e   p l a n n i n g ;   f l o o d   r i s k   m a n a g e m e n t ;   a d a p t i v e   w a t e r   m a n a g e m e n t ;   p o l i c y   a n a l y s i s ;   d e c i s i o n   s u p p o r t ;   s e r i o u s   g a m i n g ;   c l i m a t e   c h a n g e ;   u n c e r t a i n t y ;   c r o w d s o u r c i n g 	 	 T h e   D u t c h   D e l t a   P r o g r a m   i s   c u r r e n t l y   d e v e l o p i n g   n e w   g o v e r n m e n t   p o l i c i e s   f o r   f l o o d   p r o t e c t i o n   a n d   f r e s h   w a t e r   s u p p l y .   D e c i s i o n   s u p p o r t   i n s t r u m e n t s   h a v e   t o   a d d r e s s   t h e   p r o g r a m ' s   t e c h n i c a l   a n d   p o l i t i c a l   c o m p l e x i t y .   T h e   w a t e r   s y s t e m   f u n c t i o n s   a r e   h i g h l y   i n t e r w o v e n   a n d   w o u l d   b e n e f i t   f r o m   a n   i n t e g r a t e d   a p p r o a c h   o n   a   n a t i o n a l   l e v e l ,   w i t h   d e c i s i o n s   s u p p o r t e d   b y   a   s c i e n t i f i c   S y s t e m s   A n a l y s i s .   P o l i t i c a l l y ,   t h e r e   i s   a   t e n d e n c y   t o w a r d s   b r o a d   p a r t i c i p a t i o n   a n d   d e c e n t r a l i z a t i o n ,   a n d   d e c i s i o n - m a k i n g   i s   t y p i c a l l y   s u p p o r t e d   b y   C o n f l i c t   R e s o l u t i o n   m e t h o d s .   T o   c o n n e c t   t h e s e   t w o   s i d e s   o f   t h e   D e l t a   P r o g r a m ' s   t a s k ,   a n   o u t l i n e   i s   p r e s e n t e d   o f   a n   i n t e r n e t   c o m m u n i t y - b a s e d   i n t e r a c t i v e   i n s t r u m e n t ,   p r e l i m i n a r i l y   n a m e d   S i m D e l t a .   O n - l i n e   i n t e r a c t i v e   m a p s   a n d   e l e m e n t s   o f   s e r i o u s   g a m i n g   i n t u i t i v e l y   p r o v i d e   l o c a l   D e l t a   P r o g r a m   p a r t i c i p a n t s   i n s i g h t   i n t o   t h e   i n t e r a c t i o n   b e t w e e n   s c e n a r i o s ,   p r o b l e m s ,   a n d   s o l u t i o n s .   S i m D e l t a   u s e s   t h e   i n t e r n e t   t o   m o r e   f r e q u e n t l y   a n d   e f f i c i e n t l y   p r e s e n t   c o n c e p t u a l   d e s i g n s   b y   a r c h i t e c t s   a n d   e n g i n e e r s   t o   t h e   D e l t a   P r o g r a m   s t a k e h o l d e r s ,   r e c o r d   t h e i r   p r e f e r e n c e s ,   a n d   " c r o w d s o u r c e "   c o r r e c t i o n s ,   i m p r o v e m e n t s   a n d   n e w   i d e a s . 	 [ R i j c k e n ,   T i e s ]   D e l f t   U n i v   T e c h n o l ,   N L - 2 6 2 8   C N   D e l f t ,   N e t h e r l a n d s ;   [ S t i j n e n ,   J a n ]   H K V   C o n s u l t a n t s ,   N L - 8 2 3 2   J N   L e l y s t a d ,   N e t h e r l a n d s ;   [ S l o o t j e s ,   N a d i n e ]   D e l t a r e s ,   N L - 2 6 2 9   H D   D e l f t ,   N e t h e r l a n d s 	 R i j c k e n ,   T   ( r e p r i n t   a u t h o r ) ,   D e l f t   U n i v   T e c h n o l ,   S t e v i n w e g   1 ,   N L - 2 6 2 8   C N   D e l f t ,   N e t h e r l a n d s . 	 t . r i j c k e n @ t u d e l f t . n l ;   j . s t i j n e n @ h k v . n l ;   n a d i n e . s l o o t j e s @ d e l t a r e s . n l 	 	 	 	 	 A e r t s   J .   C . ,   2 0 0 8 ,   E C O L   S O C ,   V 1 3 ,   P 1 ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   P O R T   R O T T   P O R T   V I S   2 ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   W O R K   D E L T   A C T   T O D   P R ;   B e c k   U ,   2 0 0 3 ,   T H E O R   C U L T   S O C ,   V 2 0 ,   P 1 ,   D O I   1 0 . 1 1 7 7 / 0 2 6 3 2 7 6 4 0 3 0 2 0 0 0 2 0 0 1 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C R O W D S O U R C I N G ;   B r a b h a m   D C ,   2 0 0 9 ,   P L A N   T H E O R ,   V 8 ,   P 2 4 2 ,   D O I   1 0 . 1 1 7 7 / 1 4 7 3 0 9 5 2 0 9 1 0 4 8 2 4 ;   C o l l i n s   H . ,   2 0 0 7 ,   R E T H I N K I N G   E X P E R T I S E ;   D e   H o o g   M ,   2 0 1 0 ,   S T E D E N B O U W   M U L T I F U N C ;   D e   J o n g   M . ,   2 0 1 0 ,   E F F E C T E N   A F S L U I T B A A R ;   D e   V r i e s   A . ,   2 0 1 0 ,   K E N N I S   I S   M A C H T   O N Z E ,   P 2 8 ;   D e l t a   C o m m i s s i o n ,   2 0 0 8 ,   W O R K   T O G   W A T   L I V   L A N ;   D e l t a   P r o g r a m m a ,   2 0 1 1 ,   D E L T   F U N C T   S P E C   K W A L ;   D e l t a   P r o g r a m m e ,   2 0 1 0 ,   W O R K   D E L T   I N V   S A F   A T ;   D e l t a r e s ;   N e t w e r k   D e l t a t e c h n o l o g i e ;   R i j k s w a t e r s t a a t   W I N N ,   2 0 0 9 ,   I N S P   I N N   D E L T ;   E b r e g t   J . ,   2 0 0 5 ,   K O S T E N   B A T E N A N A L Y S   2 ;   H a a s n o o t   M . ,   2 0 0 9 ,   S U S T A I N   D E V ,   V 1 9 ,   P 3 6 9 ;   H a a s n o o t   M . ,   2 0 1 1 ,   W H I T E   P A P E R   U N C E R T A I ;   H o l l i n g   C .   S . ,   1 9 7 8 ,   A D A P T I V E   E N V   A S S E S S M ;   J o n k e r e n   O . ,   2 0 0 9 ,   I M P A C T   L O W   H I G H   W A T E ;   J o n k m a n   S .   N . ,   2 0 0 7 ,   T H E S I S   D E L F T   U   T E C H N ;   J o n k m a n   S . N . ,   2 0 1 1 ,   K E T E N E F F E C T E N   J A P A N ,   P 1 2 ;   K a n n i n g   W . ,   2 0 0 8 ,   U N C E R T A I N T Y   I N D   P R A C ;   K e e n e y   R . L . ,   1 9 9 6 ,   V A L U E   F O C U S E D   T H I N K I ;   K u i j k e n   W ,   2 0 1 1 ,   A N A L   A D V I E S   B O R G I N G ;   K w a d i j k   J C J ,   2 0 1 0 ,   W I R E S   C L I M   C H A N G E ,   V 1 ,   P 7 2 9 ,   D O I   1 0 . 1 0 0 2 / w c c . 6 4 ;   L a m b e r i g t s   P . ,   2 0 1 1 ,   V E R G E L I J K I N G S S Y S T E M A ;   L E E   D B ,   1 9 7 3 ,   J   A M   I   P L A N N E R S ,   V 3 9 ,   P 1 6 3 ,   D O I   1 0 . 1 0 8 0 / 0 1 9 4 4 3 6 7 3 0 8 9 7 7 8 5 1 ;   L e e   K . ,   1 9 9 9 ,   C O N S E R V   E C O L ,   V 3 ,   P 3 ;   L I N D B L O M   C E ,   1 9 5 9 ,   P U B L I C   A D M I N   R E V ,   V 1 9 ,   P 7 9 ,   D O I   1 0 . 2 3 0 7 / 9 7 3 6 7 7 ;   L u n d   J . R . ,   2 0 0 8 ,   A P P R O A C H E S   P L A   U N P U B ;   L u y e r   G . ,   2 0 0 4 ,   T H E S I S   S T   J O O S T   A C A D ;   M a j o n e   G . ,   1 9 9 2 ,   E V I D E N C E   A R G U M E N T   P E ;   M a r c h a n d   M . ,   2 0 1 0 ,   A C H T E R G R O N D D O C U M E N T ;   M a y e r   I . ,   2 0 0 9 ,   S I M U L A T I O N   G A M I N G ,   V 4 0 ,   P 8 2 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 0 4 6 8 7 8 1 0 9 3 4 6 4 5 6 ;   M e y e r   V . J . ,   2 0 1 1 ,   U R B A N   R E G I O N S   D E L T A ,   P 3 7 ;   M i e d e m a   F . ,   2 0 1 1 ,   I E D E R E E N   K A N   E X P E R T ,   P 2 1 ;   M i j k s e n a a r   P . ,   1 9 9 7 ,   V I S U A L   F U N C T I O N   I N T R ;   M i n i s t r y   o f   H o u s i n g   S p a t i a l   P l a n n i n g   a n d   t h e   E n v i r o n m e n t ,   2 0 0 4 ,   N O T   R U I M T ;   O ' R e i l l y   T . ,   2 0 0 7 ,   C O M M U N I C A T I O N S   S T R A T ,   V 6 5 ,   P 1 7 ;   O i n a s - K u k k o n e n   H . ,   2 0 1 0 ,   J   A S S   I N F   S Y S ,   V 1 1 ,   P 6 2 ;   P r o j e c t b u r e a u   V N K 2 ,   2 0 1 1 ,   V E I L   N E D   K A A R T   M E T H ;   R a h m a n   S .   A . ,   2 0 0 8 ,   C O P I N G   U N C E R T A I N T I E S ;   R e e d e r   T ,   2 0 1 1 ,   S H O R T   T E R M   D E C I S I O N ,   P 2 9 ;   R i d i n g s   C ,   2 0 1 0 ,   J   A S S O C   I N F   S Y S T ,   V 1 1 ,   P 9 5 ;   R i j c k e n   T . ,   2 0 1 0 ,   R H I N E   E S T U A R Y   C L O S E A ;   R i j k s w a t e r s t a a t ,   2 0 0 5 ,   V E I L   N E D   K A A R T   H O O F D ;   S t a l e n b e r g   B . ,   2 0 1 0 ,   T H E S I S   D E L F T   U   T E C H N ;   S t i v e   M J F ,   2 0 1 1 ,   P   I   C I V I L   E N G - C I V   E N ,   V 1 6 4 ,   P 1 1 4 ,   D O I   1 0 . 1 6 8 0 / c i e n . 2 0 1 1 . 1 6 4 . 3 . 1 1 4 ;   S u r o w i e c k i   J a m e s ,   2 0 0 5 ,   W I S D O M   C R O W D S ;   T e c h n i c a l   A d v i s o r y   C o m m i t t e e   o n   W a t e r   D e f e n c e s ,   1 9 9 8 ,   F U N D   W A T   D E F ;   T i n b e r g e n   J . ,   1 9 6 1 ,   R A P P O R T   D E L T A C O M M I   6 ;   T u f t e   E d w a r d   R . ,   2 0 0 1 ,   V I S U A L   D I S P L A Y   Q U A N T ;   U l p h   A ,   2 0 0 6 ,   T H E O R Y   P R A C T I C E   E C   A ;   V a n   d e r   M o s t   H . ,   2 0 1 1 ,   S A M E N V A T T I N G   A N A L   S L ;   v a n   O v e r l o o p   P .   J ,   2 0 0 9 ,   O P E R A T I O N A L   W A T E R   M A ;   V A N D A N T Z I G   D ,   1 9 5 6 ,   E C O N O M E T R I C A ,   V 2 4 ,   P 2 7 6 ,   D O I   1 0 . 2 3 0 7 / 1 9 1 1 6 3 2 ;   V a n   G e l d e r   P H A J M ,   2 0 0 8 ,   J   H Y D R A U L   R E S ,   V 4 6 ,   P 2 8 0 ;   V e e r b e e k   W . ,   2 0 1 0 ,   F L O O D   R I S K   U N E M B A N K E ;   V r i j l i n g   J .   K . ,   2 0 1 0 ,   I N T E G R A L   S U S T A I N A B L E ;   W a l k e r   W .   E . ,   2 0 0 0 ,   J   M U L T I C R I T E R I A   D E C I ,   V 9 ,   P 1 1 ,   D O I   1 0 . 1 0 0 2 / 1 0 9 9 - 1 3 6 0 ( 2 0 0 0 0 1 / 0 5 ) 9 : 1 / 3 < 1 1 : : A I D - M C D A 2 6 4 > 3 . 0 . C O ; 2 - 3 ;   W A L K E R   W E ,   1 9 9 4 ,   O P E R   R E S ,   V 4 2 ,   P 8 2 3 ,   D O I   1 0 . 1 2 8 7 / o p r e . 4 2 . 5 . 8 2 3 ;   W a l k e r   W . E . ,   2 0 1 1 ,   P O L I C Y   A N A L   1 9 6 2   2 0 1 ;   Z e t h o f   M . ,   2 0 1 1 ,   T H E S I S   D E L F T   U   T E C H N ;   Z h o u   Q . ,   2 0 1 2 ,   W A T E R   G O V E R   I N   P R E S S 	 6 4 	 1 	 1 	 M D P I   A G 	 B A S E L 	 P O S T F A C H ,   C H - 4 0 0 5   B A S E L ,   S W I T Z E R L A N D 	 2 0 7 3 - 4 4 4 1 	 	 	 W A T E R - S U I 	 W a t e r 	 J U N 	 2 0 1 2 	 4 	 2 	 	 	 	 	 2 9 5 	 3 2 0 	 	 1 0 . 3 3 9 0 / w 4 0 2 0 2 9 5 	 	 2 6 	 W a t e r   R e s o u r c e s 	 W a t e r   R e s o u r c e s 	 0 5 3 F E 	 W O S : 0 0 0 3 1 2 2 5 5 6 0 0 0 0 2 	 	 
 J 	 B a k e r ,   C F 	 	 	 	 B a k e r ,   C o l l i n   F . 	 	 	 F r a m e N e t ,   c u r r e n t   c o l l a b o r a t i o n s   a n d   f u t u r e   g o a l s 	 L A N G U A G E   R E S O U R C E S   A N D   E V A L U A T I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 F r a m e N e t ;   F r a m e   s e m a n t i c s ;   L e x i c a l   s e m a n t i c s   i n t e r o p e r a b i l i t y ;   W o r d N e t ;   L e x i c o n ;   C o r p u s ;   S e m a n t i c   r o l e ;   T h e m a t i c   r o l e ;   L e x i c a l   r e s o u r c e ;   C r o w d s o u r c i n g 	 G R A M M A T I C A L   C O N S T R U C T I O N S 	 T h i s   p a p e r   w i l l   f o c u s   o n   r e c e n t   a n d   n e a r - t e r m   f u t u r e   d e v e l o p m e n t s   a t   F r a m e N e t   ( F N )   a n d   t h e   i n t e r o p e r a b i l i t y   i s s u e s   t h e y   r a i s e .   W e   b e g i n   b y   d i s c u s s i n g   t h e   c u r r e n t   s t a t e   o f   t h e   B e r k e l e y   F N   d a t a b a s e   i n c l u d i n g   m a j o r   c h a n g e s   i n   t h e   d a t a   f o r m a t   f o r   t h e   l a t e s t   d a t a   r e l e a s e .   W e   t h e n   b r i e f l y   r e v i e w   t w o   r e c e n t   l o c a l   p r o j e c t s ,   " R a p i d   V a n g u a r d i n g " ,   w h i c h   h a s   c r e a t e d   a   n e w   i n t e r f a c e   f o r   t h e   f r a m e   a n d   l e x i c a l   u n i t   d e f i n i t i o n   p r o c e s s   b a s e d   o n   t h e   W o r d   S k e t c h   E n g i n e   o f   K i l g a r r i f f   e t   a l .   ( 2 0 0 4 ) ,   a n d   " B e y o n d   t h e   C o r e " ,   w h i c h   h a s   d e v e l o p e d   t o o l s   f o r   a n n o t a t i n g   c o n s t r u c t i o n s ,   a n d   c r e a t e d   a   s a m p l e   " c o n s t r u c t i o n "   o f   e s p e c i a l l y   " i n t e r e s t i n g "   c o n s t r u c t i o n s   w h i c h   a r e   n e i t h e r   s i m p l y   l e x i c a l   n o r   e a s y   f o r   t h e   s t a n d a r d   p a r s e r s   t o   p a r s e .   W e   a l s o   c o v e r   t w o   c u r r e n t   c o l l a b o r a t i o n s ,   F N ' s   p a r t   i n   t h e   d e v e l o p m e n t   o f   t h e   m a n u a l l y   a n n o t a t e d   s u b c o r p u s   o f   t h e   A m e r i c a n   N a t i o n a l   C o r p u s ,   a n d   a   p i l o t   s t u d y   o n   a l i g n i n g   W o r d N e t   a n d   F r a m e N e t ,   t o   e x p l o i t   t h e   c o m p l e m e n t a r y   s t r e n g t h s   o f   t h e s e   q u i t e   d i f f e r e n t   r e s o u r c e s .   W e   d i s c u s s   F N - r e l a t e d   r e s e a r c h   o n   S p a n i s h ,   J a p a n e s e ,   G e r m a n   ( S A L S A ) ,   C h i n e s e   a n d   o t h e r   l a n g u a g e s ,   a n d   t h e   l a n g u a g e - i n d e p e n d e n c e   o f   f r a m e s ,   a l o n g   w i t h   i n t e r e s t i n g   F N - r e l a t e d   w o r k   b y   o t h e r s ,   a n d   a   s k e t c h   o f   a   l a r g e   g r o u p   o f   i m a g e - s c h e m a t i c   f r a m e s   w h i c h   a r e   n o w   b e i n g   a d d e d   t o   F N .   W e   c l o s e   w i t h   s o m e   i d e a s   a b o u t   h o w   F r a m e N e t   c a n   b e   o p e n e d   u p ,   t o   a l l o w   b r o a d e r   p a r t i c i p a t i o n   i n   t h e   d e v e l o p m e n t   p r o c e s s   w i t h o u t   l o s i n g   p r e c i s i o n   a n d   c o h e r e n c e ,   i n c l u d i n g   a   s m a l l - s c a l e   s t u d y   o n   a c q u i r i n g   d a t a   f o r   F N   u s i n g   A m a z o n ' s   M e c h a n i c a l   T u r k   c r o w d - s o u r c i n g   s y s t e m . 	 I n t   C o m p   S c i   I n s t ,   F r a m e N e t   P r o j e c t ,   B e r k e l e y ,   C A   9 4 7 0 4   U S A 	 B a k e r ,   C F   ( r e p r i n t   a u t h o r ) ,   I n t   C o m p   S c i   I n s t ,   F r a m e N e t   P r o j e c t ,   1 9 4 7   C t r   S t , S u i t e   6 0 0 ,   B e r k e l e y ,   C A   9 4 7 0 4   U S A . 	 c o l l i n b @ i c s i . b e r k e l e y . e d u 	 	 	 N a t i o n a l   S c i e n c e   F o u n d a t i o n   [ 9 6 1 8 8 3 8 ,   0 0 8 6 1 3 2 ,   I I S - 0 3 2 5 6 4 6 ,   0 5 3 5 2 9 7 ,   0 7 0 5 1 5 5 ,   0 7 3 9 4 2 6 ,   0 7 0 8 9 5 2 ] ;   N S F   E A G E R   [ N S F   0 9 4 7 8 4 1 ] ;   D A C   u n d e r   a n   A r m y   S B I R   P h a s e   I I   [ A 0 9 - 0 9 3 ] ;   S i e m e n s   C o r p o r a t e   R e s e a r c h 	 I n   a d d i t i o n   t o   g r a n t   n o t e d   a b o v e ,   w e   a r e   i n d e b t e d   a b o v e   a l l   t o   t h e   N a t i o n a l   S c i e n c e   F o u n d a t i o n   f o r   a   s e r i e s   o f   g r a n t s   t h a t   h a v e   s u p p o r t e d   F r a m e N e t :   f i r s t   u n d e r   g r a n t   I R I   # 9 6 1 8 8 3 8 ,   M a r c h   1 9 9 7   -   F e b r u a r y   2 0 0 0 ,   " T o o l s   f o r   l e x i c o n - b u i l d i n g " ;   t h e n   u n d e r   g r a n t   I T R / H C I   # 0 0 8 6 1 3 2 ,   S e p t e m b e r   2 0 0 0   -   A u g u s t   2 0 0 3 ,   e n t i t l e d   " F r a m e N e t + + :   A n   O n - L i n e   L e x i c a l   S e m a n t i c   R e s o u r c e   a n d   i t s   A p p l i c a t i o n   t o   S p e e c h   a n d   L a n g u a g e   T e c h n o l o g y " ;   a n d   a   s m a l l   b u t   m u c h   a p p r e c i a t e d   s u p p l e m e n t   i n   2 0 0 4 .   I n   a d d i t i o n   t o   t h e   b a s i c   s u p p o r t   f o r   b u i l d i n g   t h e   F r a m e N e t   l e x i c a l   d a t a b a s e ,   t h e   p r o j e c t   h a s   a l s o   r e c e i v e d   s o m e   N S F   f u n d i n g   i n   t h e   f o r m   o f   a   s u b c o n t r a c t   f r o m   g r a n t   I I S - 0 3 2 5 6 4 6   ( D a n   J u r a f s k y ,   P I )   e n t i t l e d   " D o m a i n - I n d e p e n d e n t   S e m a n t i c   I n t e r p r e t a t i o n "   f o r   p r o v i d i n g   f u l l - t e x t   F r a m e N e t - s t y l e   a n n o t a t i o n   o f   t e x t s   a l s o   a n n o t a t e d   i n   t h e   P r o p B a n k   p r o j e c t .   M o r e   r e c e n t l y ,   w e   h a v e   b e e n   f o r t u n a t e   t o   r e c e i v e   s e v e r a l   N S F   g r a n t s   t a r g e t e d   a t   m o r e   s p e c i f i c   t a s k s :   o u r   w o r k   o n   R a p i d   V a n g u a r d i n g   i s   m a d e   p o s s i b l e   b y   # 0 5 3 5 2 9 7   " I I S :   R a p i d   D e v e l o p m e n t   o f   a   F r a m e   S e m a n t i c   L e x i c o n " ,   t h e   p r e l i m i n a r y   s t u d y   o n   a l i g n i n g   W o r d N e t   a n d   F r a m e N e t   b y   # 0 7 0 5 1 5 5   " R I :   C o l l a b o r a t i v e   P r o p o s a l :   C o m p l e m e n t a r y   L e x i c a l   R e s o u r c e s :   T o w a r d s   a n   A l i g n m e n t   o f   W o r d N e t   a n d   F r a m e N e t " ,   a n d   t h e   c o n s t r u c t i o n   a n n o t a t i o n   b y   # 0 7 3 9 4 2 6   S G E R :   " B e y o n d   t h e   C o r e :   A   P i l o t   P r o j e c t   o n   C a t a l o g u i n g   G r a m m a t i c a l   C o n s t r u c t i o n s   a n d   M u l t i w o r d   E x p r e s s i o n s   i n   E n g l i s h " .   O u r   c o l l a b o r a t i o n   i n   t h e   A N C   M A S C   a n n o t a t i o n   i s   f u n d e d   b y   a n   I C S I   s u b c o n t r a c t   f r o m   a n   N S F   g r a n t   t o   P r o f .   N a n c y   I d e   a t   V a s s a r ,   # 0 7 0 8 9 5 2 ,   " C R I :   C R D   A   R i c h l y   A n n o t a t e d   R e s o u r c e   f o r   L a n g u a g e   P r o c e s s i n g   a n d   L i n g u i s t i c s   R e s e a r c h " .   T h e   t e s t i n g   o f   c r o w d s o u r c i n g   w a s   m a d e   p o s s i b l e   b y   a n   N S F   E A G E R   g r a n t   ( N S F   0 9 4 7 8 4 1 ) .   T h e   c o l l a b o r a t i o n   w i t h   D A C   i s   a   s u b c o n t r a c t   u n d e r   a n   A r m y   S B I R   P h a s e   I I   T o p i c   N u m b e r   A 0 9 - 0 9 3 ,   " M e t a d a t a   D a t a b a s e s " .   T h e   c o l l a b o r a t i o n   w i t h   S i e m e n s   i s   f u n d e d   b y   a   g r a n t   f r o m   S i e m e n s   C o r p o r a t e   R e s e a r c h   t o   U C   B e r k e l e y   " F r a m e N e t   f o r   M e d i c a l   S e m a n t i c s " . 	 B a u m g a r t n e r   P ,   2 0 0 4 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 2 2 9 ,   P 5 9 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 3 0 2 2 7 - 8 _ 4 9 ;   B o a s   H .   C . ,   2 0 0 9 ,   M U L T I L I N G U A L   F R A M N E T ,   D O I   [ 1 0 . 1 5 1 5 / 9 7 8 3 1 1 0 2 1 2 9 7 6 ,   D O I   1 0 . 1 5 1 5 / 9 7 8 3 1 1 0 2 1 2 9 7 6 ] ;   B o r i n   L a r s ,   2 0 1 0 ,   M E E T S   P R E S E N T   S W E D I S ;   B u r c h a r d t   A ,   2 0 0 9 ,   N A T   L A N G   E N G ,   V 1 5 ,   P 5 2 7 ,   D O I   1 0 . 1 0 1 7 / S 1 3 5 1 3 2 4 9 0 9 9 9 0 1 3 1 ;   C a l l i s o n - B u r c h   C h r i s ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ;   C h a m b e r l a i n   J . ,   2 0 0 8 ,   P   I S E M A N T I C S ;   C h e n   B . ,   2 0 0 4 ,   H L T   N A A C L   P   B O S T ;   D a s   D . ,   2 0 1 0 ,   P   N   A M   C H A P T   A S S   C O M ;   d e   M e l o   G . ,   2 0 1 2 ,   P   8   I N T   C   L A N G   R E S   E ;   E l l s w o r t h   M i c h a e l ,   2 0 0 6 ,   4   I N T   C   C O N S T R   G R A M M ;   E r k   K . ,   2 0 0 6 ,   P   5   I N T   C   L A N G   R E S   E ;   E r k   K . ,   2 0 0 3 ,   P   W O R K S H   P R O S P   A D V   S ;   F e r r a n d e z   O s c a r ,   2 0 1 0 ,   P   7   C   I N T   L A N G   R E S   E ,   P 3 1 0 ;   F i l l m o r e   C h a r l e s   J . ,   1 9 8 2 ,   L I N G U I S T I C S   M O R N I N G ,   P 1 1 1 ;   F i l l m o r e   C h a r l e s   J . ,   1 9 6 8 ,   U N I V E R S A L S   L I N G U I S T I ;   F I L L M O R E   C J ,   1 9 8 8 ,   L A N G U A G E ,   V 6 4 ,   P 5 0 1 ,   D O I   1 0 . 2 3 0 7 / 4 1 4 5 3 1 ;   G a n g e m i   A . ,   2 0 1 0 ,   S T U D I E S   L N P ,   P 3 6 ;   H a s e g a w a   Y ,   2 0 1 0 ,   C O N S T R   A P P R O A C H   L A N G ,   V 1 0 ,   P 1 6 9 ;   H o n g   J . ,   2 0 1 1 ,   P   5   L I N G   A N N   W O R K S H ,   P 3 0 ;   I d e   N . ,   2 0 0 2 ,   P   3   L A N G   R E S   E V   C   L R ,   P 8 3 9 ;   I d e   N . ,   2 0 1 0 ,   P   A C L   2 0 1 0   C   S H O R T   P ,   P 6 8 ;   J o h a n s s o n   R . ,   2 0 0 7 ,   P   4   I N T   W O R K S H   S E M   E ,   P 2 2 7 ,   D O I   1 0 . 3 1 1 5 / 1 6 2 1 4 7 4 . 1 6 2 1 5 2 2 ;   J o h a n s s o n   R . ,   2 0 0 6 ,   P   C O L   A C L   2 0 0 6   S Y D N ;   K a y   P ,   1 9 9 9 ,   L A N G U A G E ,   V 7 5 ,   P 1 ,   D O I   1 0 . 2 3 0 7 / 4 1 7 4 7 2 ;   K i l g a r r i f f   A . ,   2 0 0 4 ,   P   E U R A L E X   2 0 0 4   F R A N C ;   L i   R . ,   2 0 1 0 ,   C O L   2 0 1 0   P O S T ,   P 6 7 4 ;   L o n n e k e r - R o d m a n   B ,   2 0 0 9 ,   N A T   L A N G   E N G ,   V 1 5 ,   P 4 1 5 ,   D O I   1 0 . 1 0 1 7 / S 1 3 5 1 3 2 4 9 0 9 0 0 5 1 1 7 ;   L o n n e k e r - R o d m a n   B . ,   2 0 0 8 ,   N E W ,   P 1 4 7 ;   O h a r a   K y o k o   H i r o s e ,   2 0 0 6 ,   4   I N T   C   C O N S T R   G R A M M ;   P a d o   S . ,   2 0 0 7 ,   T H E S I S   S A A R L A N D   U ,   V 2 1 ;   P a l m e r   M ,   2 0 0 5 ,   C O M P U T   L I N G U I S T ,   V 3 1 ,   P 7 1 ,   D O I   1 0 . 1 1 6 2 / 0 8 9 1 2 0 1 0 5 3 6 3 0 2 6 4 ;   P a s s o n n e a u   R .   J . ,   2 0 1 2 ,   P   8   I N T   C   L A N G   R E S   E ;   P e t r u c k   M R L ,   2 0 0 9 ,   T R E N D S   L I N G U I S T - S T U D ,   V 2 0 0 ,   P 1 8 3 ;   P o w e r   R . ,   2 0 1 2 ,   J   C O M P U T A T I O N A L   L I N G ,   V 3 8 ,   P 1 ;   S c h e f f c z y k   J . ,   2 0 0 6 ,   O N T O L O G Y   L E X I C O N   N A T ,   P 5 3 ;   S h e n   D . ,   2 0 0 7 ,   P   2 0 0 7   J O I N T   C   E M P   M ,   P 1 2 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   T o n e l l i   S a r a ,   2 0 0 9 ,   P   1 3   C   C O M P   N A T   L A N G ,   P 2 1 9 ,   D O I   1 0 . 3 1 1 5 / 1 5 9 6 3 7 4 . 1 5 9 6 4 0 8 ;   W e b s t e r   J ,   2 0 0 8 ,   P   1   I N T   C   G L O B   I N T   L 	 3 9 	 0 	 0 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 1 5 7 4 - 0 2 0 X 	 	 	 L A N G   R E S O U R   E V A L 	 L a n g .   R e s o u r .   E v a l . 	 J U N 	 2 0 1 2 	 4 6 	 2 	 	 	 S I 	 	 2 6 9 	 2 8 6 	 	 1 0 . 1 0 0 7 / s 1 0 5 7 9 - 0 1 2 - 9 1 9 1 - 2 	 	 1 8 	 C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s 	 C o m p u t e r   S c i e n c e 	 0 1 1 A A 	 W O S : 0 0 0 3 0 9 1 3 4 5 0 0 0 0 7 	 	 
 J 	 V a n   H o u t a n ,   K S ;   K i t t i n g e r ,   J N ;   L a w r e n c e ,   A L ;   Y o s h i n a g a ,   C ;   B o r n ,   V R ;   F o x ,   A 	 	 	 	 V a n   H o u t a n ,   K y l e   S . ;   K i t t i n g e r ,   J o h n   N . ;   L a w r e n c e ,   A m a n d a   L . ;   Y o s h i n a g a ,   C h a d ;   B o r n ,   V .   R a y ;   F o x ,   A d a m 	 	 	 H a w k s b i l l   S e a   T u r t l e s   i n   t h e   N o r t h w e s t e r n   H a w a i i a n   I s l a n d s 	 C H E L O N I A N   C O N S E R V A T I O N   A N D   B I O L O G Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 C L I M A T E - C H A N G E ;   M A R I N E ;   E C O S Y S T E M S ;   A B U N D A N C E ;   I M P A C T S ;   D E C L I N E ;   S T A T E S ;   R E E F S 	 T h i s   s t u d y   r e p o r t s   o b s e r v a t i o n s   o f   H a w k s b i l l   s e a   t u r t l e s   ( E r e t m o c h e l y s   i m b r i c a t a )   i n   t h e   N o r t h w e s t e r n   H a w a i i a n   I s l a n d s ,   a   r e m o t e   a n d   p r o t e c t e d   e x p a n s e   o f   c o r a l   a t o l l s   c o n s i d e r e d   o u t s i d e   t h e   s p e c i e s   r a n g e .   S i n c e   n o   d i r e c t   m o n i t o r i n g   e f f o r t s   e x i s t ,   w e   s y n t h e s i z e d   r e c o r d s   f r o m   h i s t o r i c a l   a c c o u n t s ,   o p p o r t u n i s t i c   s i g h t i n g s ,   a n d   i n t e r n e t   c r o w d s o u r c i n g .   W e   f o u n d   6   d e f i n i t i v e   h a w k s b i l l   o b s e r v a t i o n s   a n d   3   a d d i t i o n a l   p o t e n t i a l   n e s t i n g   r e c o r d s ,   d o c u m e n t i n g   t h a t   h a w k s b i l l s   c u r r e n t l y   r e s i d e   i n   t h e   N o r t h w e s t e r n   H a w a i i a n   I s l a n d s   a n d   s u g g e s t i n g   t h a t   t h e y   o c c u r r e d   t h e r e   i n   g r e a t e r   n u m b e r s   h i s t o r i c a l l y . 	 [ V a n   H o u t a n ,   K y l e   S . ;   L a w r e n c e ,   A m a n d a   L . ;   Y o s h i n a g a ,   C h a d ]   N O A A   F i s h e r i e s ,   P a c i f i c   I s l   F i s h e r i e s   S c i   C t r ,   H o n o l u l u ,   H I   9 6 8 2 2   U S A ;   [ V a n   H o u t a n ,   K y l e   S . ]   D u k e   U n i v ,   N i c h o l a s   S c h   E n v i r o n m   &   E a r t h   S c i ,   D u r h a m ,   N C   2 7 7 0 8   U S A ;   [ K i t t i n g e r ,   J o h n   N . ]   S t a n f o r d   U n i v ,   C t r   O c e a n   S o l u t ,   M o n t e r e y ,   C A   9 3 9 4 0   U S A ;   [ B o r n ,   V .   R a y ]   U S   F i s h   &   W i l d l i f e   S e r v ,   H o n o l u l u ,   H I   9 6 8 1 3   U S A ;   [ F o x ,   A d a m ]   U n i v   H a w a i i   M a n o a ,   J o i n t   I n s t   M a r i n e   &   A t m o s p h e r   R e s ,   H o n o l u l u ,   H I   9 6 8 2 2   U S A 	 V a n   H o u t a n ,   K S   ( r e p r i n t   a u t h o r ) ,   N O A A   F i s h e r i e s ,   P a c i f i c   I s l   F i s h e r i e s   S c i   C t r ,   1 6 0 1   K a p i o l a n i   B l v d ,   H o n o l u l u ,   H I   9 6 8 2 2   U S A . 	 k y l e . v a n h o u t a n @ g m a i l . c o m 	 	 	 P I F S C 	 S .   P i m m ,   T .   J o n e s ,   J .   S e m i n o f f ,   K .   M a i s o n ,   I .   K e l l y ;   W .   S e i t z ,   F .   P a r r i s h ,   C .   K i n g ,   S .   H a r g r o v e ,   a n d   3   a n o n y m o u s   r e v i e w e r s   p r o v i d e d   h e l p f u l   c o m m e n t s   o n   t h e   m a n u s c r i p t .   S .   L o a r i e   a n d   K .   U e d a   d i r e c t   t h e   i N a t u r a l i s t   w e b   d a t a b a s e   a n d   a d v i s e d   d e v e l o p m e n t   o f   t h e   c r o w d s o u r c i n g   p r o j e c t .   A .   L a w r e n c e   w a s   s u p p o r t e d   t h r o u g h   a   f e l l o w s h i p   w i t h   t h e   P I F S C   S u m m e r   I n t e r n s h i p   P r o g r a m . 	 A M E R S O N   J R   A .   B . ,   1 9 7 1 ,   A T O L L   R E S   B ,   V 1 5 0 ,   P 1 ;   A m e r s o n   J r   A . B . ,   1 9 7 4 ,   A T O L L   R E S   B ,   V 1 7 4 ,   P 1 ;   B a l a z s   G . H . ,   1 9 8 0 ,   N O A A   T e c h n i c a l   M e m o r a n d u m   N M F S   S W F C ,   P 1 ;   B a l a z s   G H ,   2 0 0 4 ,   M A R   B I O L ,   V 1 4 5 ,   P 1 0 4 3 ,   D O I   1 0 . 1 0 0 7 / s 0 0 2 2 7 - 0 0 4 - 1 3 8 7 - 6 ;   B o w e n   B W ,   2 0 0 7 ,   M O L   E C O L ,   V 1 6 ,   P 4 8 8 6 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 9 4 X . 2 0 0 7 . 0 3 5 4 2 . x ;   B r y a n   W A ,   1 9 1 5 ,   N A T U R A L   H I S T   H A W A I I ;   B u d e n   D W ,   2 0 1 1 ,   P A C   S C I ,   V 6 5 ,   P 4 9 7 ,   D O I   1 0 . 2 9 8 4 / 6 5 . 4 . 4 9 7 ;   C l a p p   R . B . ,   1 9 7 5 ,   A t o l l   R e s   B u l l ,   V N o .   1 8 6 ,   P 1 ;   D A M O N   S . C ,   1 8 7 2 ,   F R I E N D ,   V 2 1 ,   P 5 ;   D O N O H U E   M . J ,   2 0 0 3 ,   M A K A I ,   V 2 0 0 3 ,   P 2 ;   E l s c h n e r   C . ,   1 9 1 5 ,   L E E W A R D   I S L A N D S   H A W A ;   E l y   C .   A . ,   1 9 7 3 ,   A T O L L   R E S   B ,   V 1 7 1 ,   P 1 ;   F u s s y   A ,   2 0 0 7 ,   T O X I C O N ,   V 4 9 ,   P 8 2 7 ,   D O I   1 0 . 1 0 1 6 / j . t o x i c o n . 2 0 0 6 . 1 2 . 0 0 2 ;   G r o o m b r i d g e   B . ,   1 9 8 9 ,   G R E E N   T U R T L E   H A W K S B I ;   H a w k e s   L u c y   A . ,   2 0 0 9 ,   E n d a n g e r e d   S p e c i e s   R e s e a r c h ,   V 7 ,   P 1 3 7 ,   D O I   1 0 . 3 3 5 4 / e s r 0 0 1 9 8 ;   H o e g h - G u l d b e r g   O ,   2 0 0 7 ,   S C I E N C E ,   V 3 1 8 ,   P 1 7 3 7 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 5 2 5 0 9 ;   H U T C H I N S O N   A . ,   2 0 0 8 ,   3   S W O T ,   V I I I ,   P 1 1 ;   J a c k s o n   J B C ,   1 9 9 7 ,   C O R A L   R E E F S ,   V 1 6 ,   p S 2 3 ,   D O I   1 0 . 1 0 0 7 / s 0 0 3 3 8 0 0 5 0 2 3 8 ;   J a c k s o n   J B C ,   2 0 0 1 ,   S C I E N C E ,   V 2 9 3 ,   P 6 2 9 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 2 9 2 . 5 5 1 7 . 6 2 9 ;   J o h n s t o n   D .   W . ,   2 0 0 7 ,   E n d a n g e r e d   S p e c i e s   R e s e a r c h ,   V 3 ,   P 2 4 9 ,   D O I   1 0 . 3 3 5 4 / e s r 0 0 0 4 9 ;   K i t t i n g e r   J N ,   2 0 1 1 ,   P L O S   O N E ,   V 6 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 2 5 4 6 0 ;   L e w i s o n   R L ,   2 0 0 4 ,   T R E N D S   E C O L   E V O L ,   V 1 9 ,   P 5 9 8 ,   D O I   1 0 . 1 0 1 6 / j . t r e e . 2 0 0 4 . 0 9 . 0 0 4 ;   L i l e s   M i c h a e l   J . ,   2 0 1 1 ,   E n d a n g e r e d   S p e c i e s   R e s e a r c h ,   V 1 4 ,   P 2 3 ,   D O I   1 0 . 3 3 5 4 / e s r 0 0 3 3 8 ;   L i m p u s   C . J . ,   2 0 0 8 ,   A U S T R   H A W K S B I L L   T U R T ;   L o t z e   H K ,   2 0 0 6 ,   S C I E N C E ,   V 3 1 2 ,   P 1 8 0 6 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 2 8 0 3 5 ;   M c C l e n a c h a n   L ,   2 0 0 6 ,   F R O N T   E C O L   E N V I R O N ,   V 4 ,   P 2 9 0 ,   D O I   1 0 . 1 8 9 0 / 1 5 4 0 - 9 2 9 5 ( 2 0 0 6 ) 4 [ 2 9 0 : C I O H S T ] 2 . 0 . C O ; 2 ;   M o n t e - L u n a   P ,   2 0 1 2 ,   J   E X P T   M A R I N E   B I O L   E ,   V 4 1 2 ,   P 1 0 3 ;   M o r r e l l   B . ,   1 8 3 2 ,   N A R R A T I V E   4   V O Y A G E S ;   M o r t i m e r   J A ,   2 0 0 8 ,   E R E T M O C H E L Y S   I M B R I C A ;   N i e t h a m m e r   K e n n e t h   R . ,   1 9 9 7 ,   P a c i f i c   S c i e n c e ,   V 5 1 ,   P 3 6 ;   P a n d o l f i   J M ,   2 0 0 3 ,   S C I E N C E ,   V 3 0 1 ,   P 9 5 5 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 0 8 5 7 0 6 ;   P a r k e r   D M ,   2 0 0 9 ,   P A C   S C I ,   V 6 3 ,   P 3 7 1 ,   D O I   1 0 . 2 9 8 4 / 0 4 9 . 0 6 3 . 0 3 0 6 ;   R i c e   S u s a n   M . ,   2 0 0 8 ,   M a r i n e   T u r t l e   N e w s l e t t e r ,   P 1 ;   S a e n z - A r r o y o   A ,   2 0 0 6 ,   F I S H   F I S H ,   V 7 ,   P 1 2 8 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 2 9 7 9 . 2 0 0 6 . 0 0 2 1 4 . x ;   S E I T Z   W . A . ,   2 0 1 2 ,   2 0   Y E A R S   C O N S E R V A T I O ;   S e l k o e   K A ,   2 0 0 9 ,   C O R A L   R E E F S ,   V 2 8 ,   P 6 3 5 ,   D O I   1 0 . 1 0 0 7 / s 0 0 3 3 8 - 0 0 9 - 0 4 9 0 - z ;   U D V A R D Y   M . D . F ,   1 9 9 6 ,   A T O L L   R E S   B ,   V 4 3 2 ,   P 1 ;   v a n   D i j k   P .   P . ,   2 0 0 4 ,   S H E L L E D   O U T   S N A P S H O T ;   V a n   H o u t a n   K S ,   2 0 1 0 ,   P L O S   O N E ,   V 5 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 1 2 9 0 0 ;   V a n   H o u t a n   K S ,   2 0 1 1 ,   P L O S   O N E ,   V 6 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 1 9 0 4 3 ;   W a l l a c e   B P ,   2 0 1 0 ,   P L O S   O N E ,   V 5 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 1 5 4 6 5 ;   W A R D   G . R ,   1 9 6 6 ,   A M   A C T I V I T I E S   P A C I F I ,   V 1 - V I I ;   W u l f f   J L ,   2 0 0 6 ,   B I O L   C O N S E R V ,   V 1 2 7 ,   P 1 6 7 ,   D O I   1 0 . 1 0 1 6 / j . b i o c o n . 2 0 0 5 . 0 8 . 0 0 7 	 4 3 	 3 	 4 	 C H E L O N I A N   R E S E A R C H   F O U N D A T I O N 	 L U N E N B U R G 	 1 6 8   G O O D R I C H   S T . ,   L U N E N B U R G ,   M A   U S A 	 1 0 7 1 - 8 4 4 3 	 	 	 C H E L O N I A N   C O N S E R V   B I 	 C h e l o n i a n   C o n s e r v .   B i o l . 	 J U N 	 2 0 1 2 	 1 1 	 1 	 	 	 	 	 1 1 7 	 1 2 1 	 	 	 	 5 	 Z o o l o g y 	 Z o o l o g y 	 9 7 5 H F 	 W O S : 0 0 0 3 0 6 5 0 0 6 0 0 0 1 4 	 	 
 J 	 S h a o ,   B J ;   S h i ,   L ;   X u ,   B ;   L i u ,   L 	 	 	 	 S h a o ,   B i n g j i a ;   S h i ,   L e i ;   X u ,   B o ;   L i u ,   L i 	 	 	 F a c t o r s   a f f e c t i n g   p a r t i c i p a t i o n   o f   s o l v e r s   i n   c r o w d s o u r c i n g :   a n   e m p i r i c a l   s t u d y   f r o m   C h i n a 	 E L E C T R O N I C   M A R K E T S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   I n n o v a t i o n   c o n t e s t ;   S o l v e r s ;   C o m p e t i t i o n   s i t u a t i o n ;   C o n t e s t   a t t r i b u t e s 	 P R O D U C T   D E V E L O P M E N T ;   T O U R N A M E N T S ;   I N N O V A T I O N 	 C r o w d s o u r c i n g   c o m p r i s e s   a   v a r i e t y   o f   c r e a t i v e   c o n t e s t s ,   a n d   i t s   s u c c e s s   i s   c l o s e l y   r e l a t e d   t o   t h e   q u a n t i t y   a n d   q u a l i t y   o f   s o l v e r s .   T h e   r e s e a r c h   m o d e l   o f   f a c t o r s   i n f l u e n c i n g   t h e   q u a n t i t y   a n d   q u a l i t y   o f   s o l v e r s   w i t h   r e s p e c t   t o   c o n t e s t   a r r a n g e m e n t   a t t r i b u t e s   a n d   m a r k e t   c o m p e t i t i o n   s i t u a t i o n   h a s   b e e n   d e v e l o p e d   i n   t h i s   p a p e r ,   a n d   t h e   m o d e l   h a s   b e e n   t e s t e d   w i t h   d a t a   f r o m   a   c r o w d s o u r c i n g   w e b s i t e   i n   C h i n a .   T h e   r e s u l t s   s h o w   t h a t   h i g h e r   a w a r d s ,   e a s i e r   t a s k s ,   l o n g e r   d u r a t i o n   a n d   l o w e r   c o m p e t i t i o n   i n t e n s i t y   l e a d   t o   a   h i g h e r   n u m b e r   o f   s o l v e r s .   H i g h e r   a w a r d s ,   l o n g e r   d u r a t i o n   a n d   h i g h e r   d i f f i c u l t y   l e v e l   o f   t a s k s   l e a d   t o   h i g h e r   a b i l i t y   l e v e l   o f   w i n n e r s ,   b u t   c o m p e t i t i o n   i n t e n s i t y   a n d   m a r k e t   p r i c e   f o r   o t h e r   c o m p e t i n g   p r o j e c t s   d o   n o t   s h o w   s i g n i f i c a n t   c o r r e l a t i o n   w i t h   t h e   a b i l i t y   l e v e l   o f   w i n n e r s . 	 [ X u ,   B o ]   F u d a n   U n i v ,   S h a n g h a i   2 0 0 4 3 3 ,   P e o p l e s   R   C h i n a ;   [ S h a o ,   B i n g j i a ;   S h i ,   L e i ]   C h o n g q i n g   U n i v ,   S c h   E c o n   &   B u s i n e s s   A d m ,   C h o n g q i n g   6 3 0 0 4 4 ,   P e o p l e s   R   C h i n a ;   [ L i u ,   L i ]   S i c h u a n   N o r m a l   U n i v ,   F u n d a m e n t a l   E d u c   C o l l ,   C h e n g d u ,   S i c h u a n   P r o v i n c ,   P e o p l e s   R   C h i n a 	 X u ,   B   ( r e p r i n t   a u t h o r ) ,   F u d a n   U n i v ,   S h a n g h a i   2 0 0 4 3 3 ,   P e o p l e s   R   C h i n a . 	 s h a o b i n g j i a @ c q u . e d u . c n ;   b x u @ f u d a n . e d u . c n 	 	 	 	 	 A l l i o n   R .   J . ,   2 0 0 3 ,   S T R A T E G Y   L E A D E R S H I P ,   V 3 2 ,   P 4 ;   B a l a c h a n d r a   R ,   1 9 9 7 ,   I E E E   T   E N G   M A N A G E ,   V 4 4 ,   P 2 7 6 ,   D O I   1 0 . 1 1 0 9 / 1 7 . 6 1 8 1 6 9 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B R O W N   S L ,   1 9 9 5 ,   A C A D   M A N A G E   R E V ,   V 2 0 ,   P 3 4 3 ,   D O I   1 0 . 2 3 0 7 / 2 5 8 8 5 0 ;   C h e s b r o u g h   H . ,   2 0 0 3 ,   O P E N   I N N O V A T I O N   N E W ;   C U S U M A N O   M A ,   1 9 9 2 ,   R E S   P O L I C Y ,   V 2 1 ,   P 2 6 5 ,   D O I   1 0 . 1 0 1 6 / 0 0 4 8 - 7 3 3 3 ( 9 2 ) 9 0 0 2 0 - 5 ;   F r e y   B . ,   1 9 9 7 ,   N O T   J U S T   M O N E Y   E C   T H ;   F u l l e r t o n   R L ,   1 9 9 9 ,   J   P O L I T   E C O N ,   V 1 0 7 ,   P 5 7 3 ,   D O I   1 0 . 1 0 8 6 / 2 5 0 0 7 2 ;   G r i f f i n   A ,   1 9 9 7 ,   J   M A R K E T I N G   R E S ,   V 3 4 ,   P 2 4 ,   D O I   1 0 . 2 3 0 7 / 3 1 5 2 0 6 2 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   V 6 ,   P 2 2 7 ;   i R e s e a r c h ,   2 0 1 0 ,   1 1   C H I N   W I T K   I N D ,   V 1 1 ,   P 2 0 1 0 ;   K r i s h n a n   V ,   2 0 0 1 ,   M A N A G E   S C I ,   V 4 7 ,   P 1 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 7 . 1 . 1 . 1 0 6 6 8 ;   L a k h a n i   K .   R . ,   2 0 0 7 ,   I N N O V A T I O N S   T E C H N O L O ,   V 2 3 ,   P 9 7 ;   L a u r s e n   K . ,   2 0 0 5 ,   S T R A T E G I C   M A N A G E M E N T ,   V 2 5 ,   P 4 6 7 ;   L A Z E A R   E P ,   1 9 8 1 ,   J   P O L I T   E C O N ,   V 8 9 ,   P 8 4 1 ,   D O I   1 0 . 1 0 8 6 / 2 6 1 0 1 0 ;   L e i m e i s t e r   J M ,   2 0 0 9 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 6 ,   P 1 9 7 ,   D O I   1 0 . 2 7 5 3 / M I S 0 7 4 2 - 1 2 2 2 2 6 0 1 0 8 ;   L e r n e r   J ,   2 0 0 2 ,   J   I N D   E C O N ,   V 5 0 ,   P 1 9 7 ;   L o c h   C . ,   2 0 0 7 ,   H D B   N E W   P R O D U C T   D E V ;   O c a s i o   W ,   1 9 9 7 ,   S T R A T E G I C   M A N A G E   J ,   V 1 8 ,   P 1 8 7 ,   D O I   1 0 . 1 0 0 2 / ( S I C I ) 1 0 9 7 - 0 2 6 6 ( 1 9 9 7 0 7 ) 1 8 : 1 + < 1 8 7 : : A I D - S M J 9 3 6 > 3 . 3 . C O ; 2 - B ;   S H O C K E R   A D ,   1 9 7 9 ,   J   M A R K E T I N G   R E S ,   V 1 6 ,   P 1 5 9 ,   D O I   1 0 . 2 3 0 7 / 3 1 5 0 6 8 1 ;   S i m o n   H . ,   1 9 9 7 ,   A D M   B E H A V   S T U D Y   D E C I ;   S n i r   E M ,   2 0 0 3 ,   M A N A G E   S C I ,   V 4 9 ,   P 1 5 0 4 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 9 . 1 1 . 1 5 0 4 . 2 0 5 8 7 ;   S o n s i n o   D ,   2 0 0 2 ,   E C O N   J ,   V 1 1 2 ,   P 9 3 6 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 8 - 0 2 9 7 . 0 0 0 7 3 ;   T a y l o r   W .   C . ,   1 9 9 5 ,   A M   E C   R E S ,   V 8 5 ,   P 8 7 2 ;   T e r w i e s c h   C ,   2 0 0 8 ,   M A N A G E   S C I ,   V 5 4 ,   P 1 5 2 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 8 0 . 0 8 8 4 ;   Y a n g   Y . ,   2 0 0 9 ,   P   I N T   C   I N F   S Y S T   2 0 0 ;   Y a n g   Y . ,   2 0 1 0 ,   P   I N T   C   I N F   S Y S T   2 0 1 	 2 7 	 2 	 3 	 S P R I N G E R   H E I D E L B E R G 	 H E I D E L B E R G 	 T I E R G A R T E N S T R A S S E   1 7 ,   D - 6 9 1 2 1   H E I D E L B E R G ,   G E R M A N Y 	 1 0 1 9 - 6 7 8 1 	 	 	 E L E C T R O N   M A R K 	 E l e c t r o n .   M a r k . 	 J U N 	 2 0 1 2 	 2 2 	 2 	 	 	 	 	 7 3 	 8 2 	 	 1 0 . 1 0 0 7 / s 1 2 5 2 5 - 0 1 2 - 0 0 9 3 - 3 	 	 1 0 	 B u s i n e s s ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 9 6 2 D Y 	 W O S : 0 0 0 3 0 5 5 2 1 2 0 0 0 0 3 	 	 
 J 	 M a r j a n o v i c ,   S ;   F r y ,   C ;   C h a t a w a y ,   J 	 	 	 	 M a r j a n o v i c ,   S o n j a ;   F r y ,   C a r o l i n e ;   C h a t a w a y ,   J o a n n a 	 	 	 C r o w d s o u r c i n g   b a s e d   b u s i n e s s   m o d e l s :   I n   s e a r c h   o f   e v i d e n c e   f o r   i n n o v a t i o n   2 . 0 	 S C I E N C E   A N D   P U B L I C   P O L I C Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c r o w d s o u r c i n g ;   o p e n   i n n o v a t i o n ;   m o d e l s 	 A B S O R P T I V E - C A P A C I T Y ;   P E R F O R M A N C E ;   K N O W L E D G E ;   F I R M S 	 O p e n   i n n o v a t i o n   h a s   g a i n e d   i n c r e a s e d   a t t e n t i o n   a s   a   p o t e n t i a l   p a r a d i g m   f o r   i m p r o v i n g   i n n o v a t i o n   p e r f o r m a n c e .   T h i s   p a p e r   a d d r e s s e s   c r o w d s o u r c i n g ,   a n   u n d e r - r e s e a r c h e d   t y p e   o f   o p e n   i n n o v a t i o n   t h a t   i s   o f t e n   e n a b l e d   b y   t h e   w e b .   W e   f o c u s   o n   a   t y p e   o f   c r o w d s o u r c i n g   w h e r e   f i n a n c i a l   r e w a r d s   e x i s t ,   w h e r e   a   c r o w d   i s   t a s k e d   w i t h   s o l v i n g   p r o b l e m s   w h i c h   s o l u t i o n   s e e k e r s   a n t i c i p a t e   t o   b e   e m p i r i c a l l y   p r o v a b l e ,   b u t   w h e r e   t h e   s o u r c e   o f   s o l u t i o n s   i s   u n c e r t a i n   a n d   a d d r e s s i n g   t h e   c h a l l e n g e   i n - h o u s e   p e r c e i v e d   t o   b e   t o o   h i g h - r i s k .   T h e r e   i s   a   g r o w i n g   r e c o u r s e   t o   c r o w d s o u r c i n g ,   b u t   w e   r e a l l y   k n o w   l i t t l e   a b o u t   i t s   e f f e c t i v e n e s s ,   b e s t   p r a c t i c e s ,   c h a l l e n g e s   a n d   i m p l i c a t i o n s .   W e   c o n s i d e r   t h e   s h i f t   t o   m o r e   o p e n   i n n o v a t i o n   t r a j e c t o r i e s   o v e r   t i m e ,   d e f i n e   c r o w d s o u r c i n g   a s   a n   o p e n   i n n o v a t i o n   m o d e l ,   a n d   c l a r i f y   h o w   c r o w d s o u r c i n g   d i f f e r s   f r o m   o t h e r   t y p e s   o f   ' o p e n '   i n n o v a t i o n   ( e . g .   o u t s o u r c i n g   a n d   o p e n - s o u r c e ) .   W e   e x p l o r e   w h o   i s   c r o w d s o u r c i n g   a n d   h o w ,   l o o k i n g   a t   t h e   p o t e n t i a l   d i v e r s i t y   a n d   c o r e   f e a t u r e s   a n d   v a r i a b l e s   i m p l i c a t e d   i n   c r o w d s o u r c i n g   m o d e l s . 	 [ M a r j a n o v i c ,   S o n j a ;   F r y ,   C a r o l i n e ;   C h a t a w a y ,   J o a n n a ]   R A N D   E u r o p e ,   W e s t b r o o k   C t r ,   C a m b r i d g e   C B 4   1 Y G ,   E n g l a n d ;   [ C h a t a w a y ,   J o a n n a ]   O p e n   U n i v ,   E S R C   I n n o g e n   C t r   D e v   P o l i c y   &   P r a c t i c e ,   M a t h   C o m p   &   T e c h n o l   F a c ,   M i l t o n   K e y n e s   M K 7   6 A A ,   B u c k s ,   E n g l a n d 	 M a r j a n o v i c ,   S   ( r e p r i n t   a u t h o r ) ,   R A N D   E u r o p e ,   W e s t b r o o k   C t r ,   M i l t o n   R d ,   C a m b r i d g e   C B 4   1 Y G ,   E n g l a n d . 	 s m a r j a n o @ r a n d . o r g 	 y o n g q u a n ,   h u / G - 7 4 5 0 - 2 0 1 1 	 	 	 	 A l b o r s   J ,   2 0 0 8 ,   I N T   J   I N F O R M   M A N A G E ,   V 2 8 ,   P 1 9 4 ,   D O I   1 0 . 1 0 1 6 / j . i j i n f o m g t . 2 0 0 7 . 0 9 . 0 0 6 ;   A l l i o   R .   J . ,   2 0 0 4 ,   S T R A T E G Y   L E A D E R S H I P ,   V 3 2 ,   P 4 ,   D O I   1 0 . 1 1 0 8 / 1 0 8 7 8 5 7 0 4 1 0 5 4 7 6 4 3 ;   A m i n   A s h ,   1 9 9 4 ,   P O S T F O R D I S M   R E A D E R ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   G O L D   R U S H   2   0 ;   [ A n o n y m o u s ] ,   2 0 1 0 ,   T H E   E C O N O M I S T ;   [ A n o n y m o u s ] ,   2 0 0 9 ,   E C O N O M I S T ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B u r k e m a n   O ,   2 0 0 7 ,   W I K I   W A Y ;   C h e s b r o u g h   H . ,   2 0 0 3 ,   O P E N   I N N O V A T I O N   N E W ;   C h e s b r o u g h   H W ,   2 0 0 3 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 4 ,   P 3 5 ;   C h e s b r o u g h   H W ,   2 0 0 3 ,   H A R V A R D   B U S   R E V ,   V 8 1 ,   P 1 2 ;   C h r i s t e n s e n   J F ,   2 0 0 5 ,   R E S   P O L I C Y ,   V 3 4 ,   P 1 5 3 3 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 5 . 0 7 . 0 0 2 ;   C l a y t o n   G . ,   G O L D C O R P S   V I R T U A L   P R ;   C O H E N   W M ,   1 9 9 0 ,   A D M I N   S C I   Q U A R T ,   V 3 5 ,   P 1 2 8 ,   D O I   1 0 . 2 3 0 7 / 2 3 9 3 5 5 3 ;   C o v e   S . ,   2 0 0 7 ,   W I R E D   N E W S ;   D a h l a n d e r   L ,   2 0 1 0 ,   R E S   P O L I C Y ,   V 3 9 ,   P 6 9 9 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 1 0 . 0 1 . 0 1 3 ;   d e   C a s t e l l a   T . ,   2 0 1 0 ,   B B C   N E W S                 0 7 0 5 ;   E l k i n - K o r e n   N ,   2 0 0 5 ,   F O R D H A M   L A W   R E V ,   V 7 4 ,   P 3 7 5 ;   H e n k e l   J ,   2 0 0 6 ,   R E S   P O L I C Y ,   V 3 5 ,   P 9 5 3 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 6 . 0 4 . 0 1 0 ;   H e r s t a d   S J ,   2 0 1 0 ,   S C I   P U B L   P O L I C Y ,   V 3 7 ,   P 1 1 3 ,   D O I   1 0 . 3 1 5 2 / 0 3 0 2 3 4 2 1 0 X 4 8 9 5 9 0 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   H y d e   A . ,   2 0 1 0 ,   E X P L O I T S O U R C I N G   E X P L ;   K e l l e y   B . ,   2 0 1 1 ,   I M P O R T A N C E   H O L I S T I C ;   L a k h a n i   K .   R . ,   2 0 0 6 ,   0 7 0 5 0   H S B ;   L a k h a n i   K .   R . ,   2 0 0 7 ,   I N N O V A T I O N S   T E C H N O L O ,   V 2 ,   P 9 7 ,   D O I   1 0 . 1 1 6 2 / i t g g . 2 0 0 7 . 2 . 3 . 9 7 ;   L a u r s e n   K ,   2 0 1 1 ,   S C I   P U B L   P O L I C Y ,   V 3 8 ,   P 7 1 3 ,   D O I   1 0 . 3 1 5 2 / 0 3 0 2 3 4 2 1 1 X 1 3 0 7 0 0 2 1 6 3 3 2 4 2 ;   L a u r s e n   K ,   2 0 0 6 ,   S T R A T E G I C   M A N A G E   J ,   V 2 7 ,   P 1 3 1 ,   D O I   1 0 . 1 0 0 2 / s m j . 5 0 7 ;   M c D o n a l d   M . ,   2 0 0 7 ,   R O B O T I C   B L U E           J U L ;   M c N i c h o l   T . ,   2 0 0 7 ,   B U S I N E S S   2   0 ;   M e n o n   T ,   2 0 0 3 ,   M A N A G E   S C I ,   V 4 9 ,   P 4 9 7 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 9 . 4 . 4 9 7 . 1 4 4 2 2 ;   M u n o s   B ,   2 0 0 9 ,   N A T   R E V   D R U G   D I S C O V ,   V 8 ,   P 9 5 9 ,   D O I   1 0 . 1 0 3 8 / n r d 2 9 6 1 ;   N e l s o n   R R ,   2 0 0 1 ,   J   E C O N   B E H A V   O R G A N ,   V 4 4 ,   P 3 1 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 7 - 2 6 8 1 ( 0 0 ) 0 0 1 5 2 - 9 ;   P a m m o l l i   F . ,   2 0 1 0 ,   N A T   R E V   D R U G   D I S C O V ,   V 1 0 ,   P 4 2 8 ;   P u r e w a l   V . ,   2 0 1 0 ,   P R A C T I C A L   G U I D E   U S I N ;   R e u e r   J J ,   2 0 0 5 ,   R E S   P O L I C Y ,   V 3 4 ,   P 1 0 1 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 4 . 1 1 . 0 0 3 ;   R o c k e f e l l e r   F o u n d a t i o n ,   2 0 0 7 ,   R O C K   I N N O C E N T I V E   P A R ;   R O S E N B E R G   N ,   1 9 9 0 ,   R E S   P O L I C Y ,   V 1 9 ,   P 1 6 5 ,   D O I   1 0 . 1 0 1 6 / 0 0 4 8 - 7 3 3 3 ( 9 0 ) 9 0 0 4 6 - 9 ;   R o y a l   S o c i e t y ,   2 0 1 0 ,   S C I   C E N T   S E C   O U R   F U T ;   S a n d l e r   T ,   1 9 9 7 ,   P U B L I C   C H O I C E ,   V 9 3 ,   P 3 3 5 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 1 7 9 5 2 7 2 3 0 9 3 ;   S a n s o m   C ,   2 0 1 1 ,   N A T   B I O T E C H N O L ,   V 2 9 ,   P 2 0 1 ,   D O I   1 0 . 1 0 3 8 / n b t . 1 7 9 2 ;   S c h o c k   N . ,   2 0 0 9 ,   I N N O C E N T I V E   W O R L D   I N ;   S h o w e r s   B . ,   2 0 1 0 ,   C A P T U R I N G   P O W E R   C R O W ;   S t r a n i e r i   S . ,   2 0 0 6 ,   B E E R   M O N E Y   M E C H   T U R K ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   T a p s c o t t   D . ,   2 0 0 6 ,   W I K I N O M I C S   M A S S   C O L L ;   T a p s c o t t   D . ,   2 0 0 5 ,   O P E N   S O U R C E   T H I N K I N G ;   T R I P S A S   M ,   1 9 9 5 ,   R E S   P O L I C Y ,   V 2 4 ,   P 3 6 7 ,   D O I   1 0 . 1 0 1 6 / 0 0 4 8 - 7 3 3 3 ( 9 3 ) 0 0 7 7 1 - K ;   V a n   d e n   B o s c h   F A J ,   1 9 9 9 ,   O R G A N   S C I ,   V 1 0 ,   P 5 5 1 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 . 5 . 5 5 1 ;   V a n h a v e r b e k e   W . ,   2 0 0 8 ,   P O L I C I E S   O P E N   I N N O V A ;   V i s c o n t i   D . ,   2 0 1 0 ,   P O S T E M E R G I N G   M A R K E T ;   v o n   H i p p e l   E r i c ,   2 0 0 5 ,   D E M O C R A T I Z I N G   I N N O V A ;   v o n   H i p p e l   E ,   2 0 0 6 ,   R & D   M A N A G E ,   V 3 6 ,   P 2 9 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 6 . 0 0 4 3 5 . x ;   W i l s o n   S . ,   2 0 0 9 ,   D E L O I T T E   R E V ,   P 5 	 5 4 	 3 	 3 	 O X F O R D   U N I V   P R E S S 	 O X F O R D 	 G R E A T   C L A R E N D O N   S T ,   O X F O R D   O X 2   6 D P ,   E N G L A N D 	 0 3 0 2 - 3 4 2 7 	 	 	 S C I   P U B L   P O L I C Y 	 S c i .   P u b l i c   P o l i c y 	 J U N 	 2 0 1 2 	 3 9 	 3 	 	 	 	 	 3 1 8 	 3 3 2 	 	 1 0 . 1 0 9 3 / s c i p o l / s c s 0 0 9 	 	 1 5 	 M a n a g e m e n t ;   P l a n n i n g   &   D e v e l o p m e n t ;   P u b l i c   A d m i n i s t r a t i o n 	 B u s i n e s s   &   E c o n o m i c s ;   P u b l i c   A d m i n i s t r a t i o n 	 9 6 1 T H 	 W O S : 0 0 0 3 0 5 4 9 1 9 0 0 0 0 3 	 	 
 J 	 H a m m o n ,   L ;   H i p p n e r ,   H 	 	 	 	 H a m m o n ,   L a r i s s a ;   H i p p n e r ,   H a j o 	 	 	 C r o w d s o u r c i n g 	 B U S I N E S S   &   I N F O R M A T I O N   S Y S T E M S   E N G I N E E R I N G 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 	 I D E A S   C O M P E T I T I O N ;   O P E N   I N N O V A T I O N 	 	 [ H a m m o n ,   L a r i s s a ;   H i p p n e r ,   H a j o ]   U n i v   B a y r e u t h ,   J P   D i r e c t   M k t ,   D - 9 5 4 4 0   B a y r e u t h ,   G e r m a n y 	 H i p p n e r ,   H   ( r e p r i n t   a u t h o r ) ,   U n i v   B a y r e u t h ,   J P   D i r e c t   M k t ,   U n i v   S t r   3 0 ,   D - 9 5 4 4 0   B a y r e u t h ,   G e r m a n y . 	 l a r i s s a . h a m m o n @ u n i - b a y r e u t h . d e ;   h a j o . h i p p n e r @ u n i - b a y r e u t h . d e 	 	 	 	 	 B o n a b e a u   E ,   2 0 0 9 ,   M I T   S L O A N   M A N A G E   R E V ,   V 5 0 ,   P 4 5 ;   B r a b h a m   D C ,   2 0 0 9 ,   P L A N   T H E O R ,   V 8 ,   P 2 4 2 ,   D O I   1 0 . 1 1 7 7 / 1 4 7 3 0 9 5 2 0 9 1 0 4 8 2 4 ;   C h a n a l   V ,   2 0 0 8 ,   8   E U R   A C   M A N   E U R A M   L ,   P 1 ;   C h e s b r o u g h   H . ,   2 0 0 6 ,   O P E N   I N N O V A T I O N   R E S ,   P 1 ;   E b n e r   W ,   2 0 0 9 ,   R & D   M A N A G E ,   V 3 9 ,   P 3 4 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 9 . 0 0 5 6 4 . x ;   E n k e l   E ,   2 0 0 9 ,   R & D   M A N A G E ,   V 3 9 ,   P 3 1 1 ;   H o w e   J . ,   2 0 0 9 ,   C R O W D S O U R C I N G   W H Y   P O ;   K l e e m a n n   F . ,   2 0 0 8 ,   S C I   T E C H N O L O G Y   I N N O V ,   V 4 ,   P 5 ;   L e i m e i s t e r   J .   M . ,   2 0 1 0 ,   W I R T S C H A F T S I N F ,   V 5 2 ,   P 2 3 9 ;   L e i m e i s t e r   J M ,   2 0 0 9 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 6 ,   P 1 9 7 ,   D O I   1 0 . 2 7 5 3 / M I S 0 7 4 2 - 1 2 2 2 2 6 0 1 0 8 ;   L i c h t e n t h a l e r   U ,   2 0 0 9 ,   R & D   M A N A G E ,   V 3 9 ,   P 3 1 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 9 . 0 0 5 6 1 . x 	 1 1 	 1 	 1 	 S P R I N G E R   H E I D E L B E R G 	 H E I D E L B E R G 	 T I E R G A R T E N S T R A S S E   1 7 ,   D - 6 9 1 2 1   H E I D E L B E R G ,   G E R M A N Y 	 1 8 6 7 - 0 2 0 2 	 	 	 B U S   I N F O R M   S Y S T   E N G + 	 B u s .   I n f .   S y s t .   E n g . 	 J U N 	 2 0 1 2 	 4 	 3 	 	 	 	 	 1 6 3 	 1 6 6 	 	 1 0 . 1 0 0 7 / s 1 2 5 9 9 - 0 1 2 - 0 2 1 5 - 7 	 	 4 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 9 4 6 Z F 	 W O S : 0 0 0 3 0 4 3 9 5 7 0 0 0 0 6 	 	 
 J 	 X u ,   Q ;   H u a n g ,   Q ;   J i a n g ,   T ;   Y a n ,   B W ;   L i n ,   W S ;   Y a o ,   Y 	 	 	 	 X u ,   Q i a n q i a n ;   H u a n g ,   Q i n g m i n g ;   J i a n g ,   T i n g t i n g ;   Y a n ,   B o w e i ;   L i n ,   W e i s i ;   Y a o ,   Y u a n 	 	 	 H o d g e R a n k   o n   R a n d o m   G r a p h s   f o r   S u b j e c t i v e   V i d e o   Q u a l i t y   A s s e s s m e n t 	 I E E E   T R A N S A C T I O N S   O N   M U L T I M E D I A 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 H o d g e r a n k ;   p a i r e d   c o m p a r i s o n ;   p e r s i s t e n c e   h o m o l o g y ;   r a n d o m   g r a p h s ;   v i d e o   q u a l i t y   a s s e s s m e n t   ( V Q A ) 	 N E T W O R K S ;   T O P O L O G Y 	 T h i s   p a p e r   i n t r o d u c e s   a   n o v e l   f r a m e w o r k ,   H o d g e R a n k   o n   R a n d o m   G r a p h s ,   b a s e d   o n   p a i r e d   c o m p a r i s o n ,   f o r   s u b j e c t i v e   v i d e o   q u a l i t y   a s s e s s m e n t .   T w o   t y p e s   o f   r a n d o m   g r a p h   m o d e l s   a r e   s t u d i e d ,   i . e . ,   E r d o s - R e n y i   r a n d o m   g r a p h s   a n d   r a n d o m   r e g u l a r   g r a p h s .   H o d g e   d e c o m p o s i t i o n   o f   p a i r e d   c o m p a r i s o n   d a t a   m a y   d e r i v e ,   f r o m   i n c o m p l e t e   a n d   i m b a l a n c e d   d a t a ,   q u a l i t y   s c o r e s   o f   v i d e o s   a n d   i n c o n s i s t e n c y   o f   p a r t i c i p a n t s '   j u d g m e n t s .   W e   d e m o n s t r a t e   t h e   e f f e c t i v e n e s s   o f   t h e   p r o p o s e d   f r a m e w o r k   o n   L I V E   v i d e o   d a t a b a s e .   B o t h   o f   t h e   t w o   r a n d o m   d e s i g n s   a r e   p r o m i s i n g   s a m p l i n g   m e t h o d s   w i t h o u t   j e o p a r d i z i n g   t h e   a c c u r a c y   o f   t h e   r e s u l t s .   I n   p a r t i c u l a r ,   d u e   t o   b a l a n c e d   s a m p l i n g ,   r a n d o m   r e g u l a r   g r a p h s   m a y   a c h i e v e   b e t t e r   p e r f o r m a n c e s   w h e n   s a m p l i n g   r a t e s   a r e   s m a l l .   H o w e v e r ,   w h e n   t h e   n u m b e r   o f   v i d e o s   i s   l a r g e   o r   w h e n   s a m p l i n g   r a t e s   a r e   l a r g e ,   t h e i r   p e r f o r m a n c e s   a r e   s o   c l o s e   t h a t   E r d o s - R e n y i   r a n d o m   g r a p h s ,   a s   t h e   s i m p l e s t   i n d e p e n d e n t   a n d   i d e n t i c a l l y   d i s t r i b u t e d   s a m p l i n g   s c h e m e ,   c o u l d   p r o v i d e   g o o d   a p p r o x i m a t i o n s   t o   r a n d o m   r e g u l a r   g r a p h s ,   a s   a   d e p e n d e n t   s a m p l i n g   s c h e m e .   I n   c o n t r a s t   t o   t h e   t r a d i t i o n a l   d e t e r m i n i s t i c   i n c o m p l e t e   b l o c k   d e s i g n s ,   o u r   r a n d o m   d e s i g n   i s   n o t   o n l y   s u i t a b l e   f o r   t r a d i t i o n a l   l a b o r a t o r y   s t u d i e s ,   b u t   a l s o   f o r   c r o w d s o u r c i n g   e x p e r i m e n t s   o n   I n t e r n e t   w h e r e   t h e   r a t e r s   a r e   d i s t r i b u t i v e   a n d   i t   i s   h a r d   t o   c o n t r o l   w i t h   f i x e d   d e s i g n s . 	 [ X u ,   Q i a n q i a n ]   C h i n e s e   A c a d   S c i ,   G r a d   U n i v ,   B e i j i n g   1 0 0 1 9 0 ,   P e o p l e s   R   C h i n a ;   [ Y a o ,   Y u a n ]   P e k i n g   U n i v ,   S c h   M a t h   S c i ,   L M A M   &   L M P ,   B e i j i n g   1 0 0 8 7 1 ,   P e o p l e s   R   C h i n a ;   [ H u a n g ,   Q i n g m i n g ]   C h i n e s e   A c a d   S c i ,   G r a d   U n i v ,   B e i j i n g   1 0 0 1 9 0 ,   P e o p l e s   R   C h i n a ;   [ H u a n g ,   Q i n g m i n g ]   C h i n e s e   A c a d   S c i ,   K e y   L a b   I n t e l l i g e n t   I n f o r m a t   P r o c ,   I n s t   C o m p   T e c h n o l ,   B e i j i n g   1 0 0 1 9 0 ,   P e o p l e s   R   C h i n a ;   [ J i a n g ,   T i n g t i n g ]   P e k i n g   U n i v ,   N a t l   E n g n   L a b   V i d e o   T e c h n o l ,   K e y   L a b   M a c h i n e   P e r c e p t   M o E ,   S c h   E E C S ,   B e i j i n g   1 0 0 8 7 1 ,   P e o p l e s   R   C h i n a ;   [ Y a n ,   B o w e i ]   P e k i n g   U n i v ,   S c h   M a t h   S c i ,   B e i j i n g   1 0 0 8 7 1 ,   P e o p l e s   R   C h i n a ;   [ L i n ,   W e i s i ]   N a n y a n g   T e c h n o l   U n i v ,   S c h   C o m p   E n g n ,   N a n y a n g   6 3 9 7 9 8 ,   S i n g a p o r e 	 X u ,   Q   ( r e p r i n t   a u t h o r ) ,   C h i n e s e   A c a d   S c i ,   G r a d   U n i v ,   B e i j i n g   1 0 0 1 9 0 ,   P e o p l e s   R   C h i n a . 	 q q x u @ j d l . a c . c n ;   q m h u a n g @ j d l . a c . c n ;   t t j i a n g @ p k u . e d u . c n ;   y a n b o w e i @ g m a i l . c o m ;   w s l i n @ n t u . e d u . s g ;   y u a n y @ m a t h . p k u . e d u . c n 	 	 	 N a t i o n a l   B a s i c   R e s e a r c h   P r o g r a m   o f   C h i n a   ( 9 7 3   P r o g r a m )   [ 2 0 1 2 C B 3 1 6 4 0 0 ] ;   N a t i o n a l   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   [ 6 1 0 2 5 0 1 1 ,   6 1 0 7 1 1 5 7 ,   6 0 8 3 3 0 0 6 ] 	 T h i s   w o r k   w a s   s u p p o r t e d   i n   p a r t   b y   t h e   N a t i o n a l   B a s i c   R e s e a r c h   P r o g r a m   o f   C h i n a   ( 9 7 3   P r o g r a m )   u n d e r   G r a n t   2 0 1 2 C B 3 1 6 4 0 0 ,   a n d   i n   p a r t   b y   t h e   N a t i o n a l   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   u n d e r   G r a n t   6 1 0 2 5 0 1 1 ,   G r a n t   6 1 0 7 1 1 5 7 ,   a n d   G r a n t   6 0 8 3 3 0 0 6 .   T h e   a s s o c i a t e   e d i t o r   c o o r d i n a t i n g   t h e   r e v i e w   o f   t h i s   m a n u s c r i p t   a n d   a p p r o v i n g   i t   f o r   p u b l i c a t i o n   w a s   D r .   S h e n g - W e i   ( K u a n - T a )   C h e n . 	 A l o n s o   O m a r ,   2 0 0 8 ,   S I G I R   F o r u m ,   V 4 2 ,   D O I   1 0 . 1 1 4 5 / 1 4 8 0 5 0 6 . 1 4 8 0 5 0 8 ;   [ A n o n y m o u s ] ,   2 0 0 8 ,   L I V E   V I D E O   Q U A L I T Y   A ;   A r r o w   K J ,   1 9 5 0 ,   J   P O L I T   E C O N ,   V 5 8 ,   P 3 2 8 ,   D O I   1 0 . 1 0 8 6 / 2 5 6 9 6 3 ;   B a r a b a s i   A L ,   1 9 9 9 ,   S C I E N C E ,   V 2 8 6 ,   P 5 0 9 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 2 8 6 . 5 4 3 9 . 5 0 9 ;   B o l l o b a s   B . ,   2 0 0 1 ,   R A N D O M   G R A P H S ;   C a r l s s o n   G ,   2 0 0 9 ,   B   A M   M A T H   S O C ,   V 4 6 ,   P 2 5 5 ;   C h e n   K T ,   2 0 0 9 ,   A C M   M U L T I M E D I A ,   P 4 9 1 ;   C h u n g   F . ,   2 0 0 6 ,   C B M S   R E G I O N A L   C   S E R ;   D A V I D   H .   A . ,   1 9 8 8 ,   G R I F F I N S   S T A T   M O N O G R ,   V 4 1 ;   E d e l s b r u n n e r   H . ,   2 0 1 0 ,   C O M P U T A T I O N A L   T O P O L O ;   E d e l s b r u n n e r   H ,   2 0 0 2 ,   D I S C R E T E   C O M P U T   G E O M ,   V 2 8 ,   P 5 1 1 ,   D O I   1 0 . 1 0 0 7 / s 0 0 4 5 4 - 0 0 2 - 2 8 8 5 - 2 ;   E i c h h o r n   A . ,   2 0 1 0 ,   P   2 4   I N T   W O R K S H   N E T W ,   P 6 3 ,   D O I   1 0 . 1 1 4 5 / 1 8 0 6 5 6 5 . 1 8 0 6 5 8 2 ;   E r d o s   P . ,   1 9 5 9 ,   P U B L   M A T H - D E B R E C E N ,   V I ,   P 2 9 0 ;   F r e u n d   Y ,   2 0 0 4 ,   J   M A C H   L E A R N   R E S ,   V 4 ,   P 9 3 3 ,   D O I   1 0 . 1 1 6 2 / 1 5 3 2 4 4 3 0 4 1 8 2 7 9 1 6 ;   H a s t i e   T ,   1 9 9 8 ,   A N N   S T A T ,   V 2 6 ,   P 4 5 1 ;   H e r b r i c h   R . ,   2 0 0 0 ,   L A R G E   M A R G I N   R A N K   B O ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   V 1 4 ,   P 1 7 6 ;   I T U - R ,   2 0 0 2 ,   I T U   R   M E T H   S U B J   A S S ;   I T U - T ,   1 9 9 6 ,   M E T H   S U B J   D E T   T R A N S M ,   P 8 0 0 ;   J i a n g   X . ,   2 0 1 1 ,   M A T H   P R O G R A M ,   V 1 2 7 ,   P 6 4 7 0 ;   K a h l e   M ,   2 0 0 9 ,   D I S C R E T E   M A T H ,   V 3 0 9 ,   P 1 6 5 8 ,   D O I   1 0 . 1 0 1 6 / j . d i s c . 2 0 0 8 . 0 2 . 0 3 7 ;   K e n d a l l   M .   G . ,   1 9 9 0 ,   R A N K   C O R R E L A T I O N   M E T ;   K e n d a l l   M .   G . ,   1 9 4 0 ,   B I O M E T R I K A ,   V 3 1 ,   P 3 2 4 ,   D O I   1 0 . 2 3 0 7 / 2 3 3 2 6 1 3 ;   K i m   J . ,   2 0 0 3 ,   P   3 5   A N N   A C M   S   T H E O R ,   P 2 1 3 ;   K i m   J H ,   2 0 0 4 ,   A D V   M A T H ,   V 1 8 8 ,   P 4 4 4 ,   D O I   1 0 . 1 0 1 6 / j . a i m . 2 0 0 3 . 1 0 . 0 0 7 ;   K i t t u r   A . ,   2 0 0 8 ,   P   2 6   A N N   S I G C H I   C   H U ,   P 4 5 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 5 7 0 5 4 . 1 3 5 7 1 2 7 ;   K o u t i s   I . ,   2 0 1 0 ,   P   5 1   A N N   I E E E   S   F D N ,   P 2 3 5 ;   L i n   W S ,   2 0 1 1 ,   J   V I S   C O M M U N   I M A G E   R ,   V 2 2 ,   P 2 9 7 ,   D O I   1 0 . 1 0 1 6 / j . j v c i r . 2 0 1 1 . 0 1 . 0 0 5 ;   N O E T H E R   G E ,   1 9 6 0 ,   P S Y C H O M E T R I K A ,   V 2 5 ,   P 3 5 7 ,   D O I   1 0 . 1 0 0 7 / B F 0 2 2 8 9 7 5 3 ;   N o w a k   S . ,   2 0 1 0 ,   I N T   C   M U L T   I N F   R E T R ;   P e n r o s e   M . ,   2 0 0 3 ,   O X F O R D   S T U D I E S   P R O B A ;   S A A T Y   T L ,   1 9 7 7 ,   J   M A T H   P S Y C H O L ,   V 1 5 ,   P 2 3 4 ,   D O I   1 0 . 1 0 1 6 / 0 0 2 2 - 2 4 9 6 ( 7 7 ) 9 0 0 3 3 - 5 ;   S e x t o n   H . ,   2 0 0 9 ,   J P L E X   J A V A   S O F T W A R E ;   S o r o k i n   A . ,   2 0 0 8 ,   P   1   I E E E   W O R K S H   I N T ,   P 1 ;   S p i e l m a n   D . ,   2 0 0 4 ,   3 6   A N N   A C M   S   T H E O R   C ;   T h u r s t o n e   L . ,   1 9 2 7 ,   J   A B N O R M A L   S O C   P S Y C H ,   V 2 7 ,   P 3 8 4 ;   W a t t s   D J ,   1 9 9 8 ,   N A T U R E ,   V 3 9 3 ,   P 4 4 0 ,   D O I   1 0 . 1 0 3 8 / 3 0 9 1 8 ;   W o r m a l d   N .   C . ,   1 9 9 9 ,   S U R V E Y S   C O M B I N A T O R I C ,   P 2 3 9 ;   X u   Q . ,   2 0 1 1 ,   A C M   M U L T I M E D I A ,   P 3 9 3 ;   Z o m o r o d i a n   A ,   2 0 0 5 ,   D I S C R E T E   C O M P U T   G E O M ,   V 3 3 ,   P 2 4 9 ,   D O I   1 0 . 1 0 0 7 / s 0 0 4 5 4 - 0 0 4 - 1 1 4 6 - y 	 4 0 	 5 	 5 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 1 5 2 0 - 9 2 1 0 	 	 	 I E E E   T   M U L T I M E D I A 	 I E E E   T r a n s .   M u l t i m e d i a 	 J U N 	 2 0 1 2 	 1 4 	 3 	 2 	 	 	 	 8 4 4 	 8 5 7 	 	 1 0 . 1 1 0 9 / T M M . 2 0 1 2 . 2 1 9 0 9 2 4 	 	 1 4 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   T e l e c o m m u n i c a t i o n s 	 9 4 3 Z K 	 W O S : 0 0 0 3 0 4 1 6 6 7 0 0 0 1 6 	 	 
 J 	 C a u s e r ,   T ;   T o n r a ,   J ;   W a l l a c e ,   V 	 	 	 	 C a u s e r ,   T i m ;   T o n r a ,   J u s t i n ;   W a l l a c e ,   V a l e r i e 	 	 	 T r a n s c r i p t i o n   m a x i m i z e d ;   e x p e n s e   m i n i m i z e d ?   C r o w d s o u r c i n g   a n d   e d i t i n g   T h e   C o l l e c t e d   W o r k s   o f   J e r e m y   B e n t h a m 	 L I T E R A R Y   A N D   L I N G U I S T I C   C O M P U T I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 T h i s   a r t i c l e   d i s c u s s e s   t h e   c r o w d s o u r c e d   m a n u s c r i p t   t r a n s c r i p t i o n   p r o j e c t   T r a n s c r i b e   B e n t h a m ,   a n d   h o w   i t   w i l l   i m p a c t   u p o n   l o n g - e s t a b l i s h e d   e d i t o r i a l   p r a c t i c e s   a t   t h e   B e n t h a m   P r o j e c t ,   U n i v e r s i t y   C o l l e g e   L o n d o n ,   w h i c h   i s   p r o d u c i n g   t h e   n e w   a n d   a u t h o r i t a t i v e   e d i t i o n   o f   T h e   C o l l e c t e d   W o r k s   o f   J e r e m y   B e n t h a m .   W e   s i t e   T r a n s c r i b e   B e n t h a m   i n   t h e   b u r g e o n i n g   f i e l d   o f   s c h o l a r l y   c r o w d s o u r c i n g   p r o j e c t s ,   a n d ,   b y   d e t a i l i n g   o u r   e x p e r i e n c e s   o f   r u n n i n g   a n d   a d m i n i s t e r i n g   t h e   p r o j e c t ,   a t t e m p t   t o   a s s e s s   t h e   p o t e n t i a l   b e n e f i t s   o f   e n g a g i n g   t h e   p u b l i c   i n   h u m a n i t i e s   r e s e a r c h .   T h e   a r t i c l e   e x a m i n e s   t h e   c o n c e p t u a l i z a t i o n   a n d   d e v e l o p m e n t   o f   T r a n s c r i b e   B e n t h a m ,   a n d   h o w   e d i t o r i a l   p r a c t i c e s   a t   t h e   B e n t h a m   P r o j e c t   m a y   c h a n g e   a s   a   r e s u l t .   W e   a c c o u n t   f o r   t h e   d e s i g n   o f   t h e   b e s p o k e   t r a n s c r i p t i o n   t o o l   w h i c h   i s   a t   t h e   p r o j e c t ' s   h e a r t ,   a n d   w h i c h   a l l o w s   v o l u n t e e r s   t o   t r a n s c r i b e   t h e   m a t e r i a l   a n d   e n c o d e   i t   i n   T E I - c o m p l i a n t   X M L .   W e   a t t e m p t   t o   a n s w e r   f i v e   k e y   q u e s t i o n s :   i s   c r o w d s o u r c i n g   t h e   t r a n s c r i p t i o n   o f   c o m p l e x   m a n u s c r i p t s   c o s t - e f f e c t i v e ?   I s   c r o w d s o u r c i n g   e x p l o i t a t i v e ?   A r e   v o l u n t e e r - p r o d u c e d   t r a n s c r i p t s   o f   s u f f i c i e n t   q u a l i t y   f o r   e d i t o r i a l   u s e   a n d   u p l o a d i n g   t o   a   d i g i t a l   r e p o s i t o r y ,   a n d   w h a t   q u a l i t y   c o n t r o l s   a r e   r e q u i r e d ?   D o e s   c r o w d s o u r c i n g   e n s u r e   s u s t a i n a b i l i t y   a n d   w i d e n   a c c e s s   t o   t h i s   p r i c e l e s s   m a t e r i a l ?   A n d   f i n a l l y ,   s h o u l d   t h e   s u c c e s s   o f   a   p r o j e c t   l i k e   T r a n s c r i b e   B e n t h a m   b e   m e a s u r e d   s o l e l y   a c c o r d i n g   t o   c o s t - e f f e c t i v e n e s s   o r   t h e   v o l u m e   o f   w o r k   p r o d u c e d ,   o r   d o   c o n s i d e r a t i o n s   o f   p u b l i c   e n g a g e m e n t   a n d   a c c e s s   o u t w e i g h   s u c h   c o n c e r n s ? . 	 [ C a u s e r ,   T i m ]   U C L ,   F a c   L a w s ,   B e n t h a m   P r o j e c t ,   L o n d o n   W C 1 H   0 E G ,   E n g l a n d ;   [ T o n r a ,   J u s t i n ]   U n i v   V i r g i n i a ,   D e p t   E n g l i s h ,   C h a r l o t t e s v i l l e ,   V A   2 2 9 0 3   U S A ;   [ W a l l a c e ,   V a l e r i e ]   H a r v a r d   U n i v ,   C t r   H i s t   &   E c o n ,   C a m b r i d g e ,   M A   0 2 1 3 8   U S A 	 C a u s e r ,   T   ( r e p r i n t   a u t h o r ) ,   U C L ,   F a c   L a w s ,   B e n t h a m   P r o j e c t ,   B e n t h a m   H o u s e ,   L o n d o n   W C 1 H   0 E G ,   E n g l a n d . 	 t . c a u s e r @ u c l . a c . u k 	 	 	 	 	 A c h a l e k e   B . ,   2 0 1 1 ,   P R I X   A R S   E L E C T   I N T   C ,   p [ 2 0 2 ,   2 1 0 ] ;   A n d e r s o n   K ,   2 0 1 1 ,   E V E N   C R O W D S O U R C I N G   C ;   [ A n o n y m o u s ] ,   B L O O M S B U R G   U   D I G I T A L ;   [ A n o n y m o u s ] ,   T R A N S C R I B E   B E N T H A M   I ;   [ A n o n y m o u s ] ,   C I V I L   W A R   D I A R I E S   T R ;   [ A n o n y m o u s ] ,   A R S   E L E C T   W I N N E R S   2 0 ;   [ A n o n y m o u s ] ,   T   P E N   T R A N S C R I P T I O N ;   [ A n o n y m o u s ] ,   T R A N S C R I B E   B E N T H A M   B ;   [ A n o n y m o u s ] ,   F R E D E R I C K   L A W   O L M S T E ;   [ A n o n y m o u s ] ,   N A T L   L I B   A U S T R   S C E N E ;   [ A n o n y m o u s ] ,   H I S T   N E W S P A P E R   D I G I T ;   [ A n o n y m o u s ] ,   P R A X   P R O G R ;   [ A n o n y m o u s ] ,   T R A N S C R I B E   B E N T H A M   T ;   [ A n o n y m o u s ] ,   D I C K E N S   J   O N L I N E ;   [ A n o n y m o u s ] ,   B E N T H A M   P A P E R S   D A T A B ;   [ A n o n y m o u s ] ,   T R A N S C R I B E   B E N T H A M   F ;   [ A n o n y m o u s ] ,   T R A N S C R I B E   B E N T H A M   M ;   [ A n o n y m o u s ] ,   B E N T H A M   P R O J E C T   J   B E ;   [ A n o n y m o u s ] ,   S C R I P T O   T R A N S C R I P T I O ;   [ A n o n y m o u s ] ,   D I G   S T R A T   H E R   C   2 0 1 1 ;   [ A n o n y m o u s ] ,   T R A N S C R I B E   B E N T H A M   P ;   B e n t h a m   J ,   1 8 4 2 ,   A U T O   I C O N   F A R T H E R   U S ;   B r u m f i e l d   B ,   2 0 1 1 ,   C O L L A B O R A T I V E   M A N U S C ;   C a u s e r   T . ,   2 0 1 2 ,   D I G I T A L   H U M   I N   P R E S S ;   C o h e n   P a t r i c i a ,   2 0 1 0 ,   N Y   T I M E S                 1 2 2 7 ;   P a r r y   M ,   2 0 1 1 ,   C H R O N I C L E   H I G H E   0 3 1 1 ;   R a d d i c k   M   J o r d a n ,   2 0 1 0 ,   A s t r o n o m y   E d u c a t i o n   R e v i e w ,   V 9 ,   D O I   1 0 . 3 8 4 7 / A E R 2 0 0 9 0 3 6 ;   R o m e o   F . ,   2 0 1 1 ,   M U S E U M S   W E B   2 0 1 1   P ;   S c h o f i e l d   P h i l i p ,   2 0 0 9 ,   B E N T H A M   G U I D E   P E R P L E ;   Z o u   J .   J ,   2 0 1 1 ,   C H R O N I C L E   H I G H E   0 6 1 4 	 3 0 	 4 	 4 	 O X F O R D   U N I V   P R E S S 	 O X F O R D 	 G R E A T   C L A R E N D O N   S T ,   O X F O R D   O X 2   6 D P ,   E N G L A N D 	 0 2 6 8 - 1 1 4 5 	 	 	 L I T   L I N G U I S T   C O M P U T 	 L i t .   L i n g u i s t .   C o m p u t . 	 J U N 	 2 0 1 2 	 2 7 	 2 	 	 	 	 	 1 1 9 	 1 3 7 	 	 1 0 . 1 0 9 3 / l l c / f q s 0 0 4 	 	 1 9 	 L i n g u i s t i c s ;   L a n g u a g e   &   L i n g u i s t i c s ;   L i t e r a t u r e 	 L i n g u i s t i c s ;   L i t e r a t u r e 	 9 4 4 K J 	 W O S : 0 0 0 3 0 4 1 9 9 9 0 0 0 0 1 	 	 
 J 	 R o t m a n ,   D ;   P r o c i t a ,   K ;   H a n s e n ,   D ;   P a r r ,   C S ;   P r e e c e ,   J 	 	 	 	 R o t m a n ,   D a n a ;   P r o c i t a ,   K e z i a ;   H a n s e n ,   D e r e k ;   P a r r ,   C y n t h i a   S i m s ;   P r e e c e ,   J e n n i f e r 	 	 	 S u p p o r t i n g   c o n t e n t   c u r a t i o n   c o m m u n i t i e s :   T h e   c a s e   o f   t h e   E n c y c l o p e d i a   o f   L i f e 	 J O U R N A L   O F   T H E   A M E R I C A N   S O C I E T Y   F O R   I N F O R M A T I O N   S C I E N C E   A N D   T E C H N O L O G Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c o l l a b o r a t i o n ;   c o m p u t e r   m e d i a t e d   c o m m u n i c a t i o n s ;   h u m a n   c o m p u t e r   i n t e r a c t i o n 	 C I T I Z E N - S C I E N C E ;   R E S O U R C E ;   N E T W O R K 	 T h i s   a r t i c l e   e x p l o r e s   t h e   o p p o r t u n i t i e s   a n d   c h a l l e n g e s   o f   c r e a t i n g   a n d   s u s t a i n i n g   l a r g e - s c a l e   c o n t e n t   c u r a t i o n   c o m m u n i t i e s   t h r o u g h   a n   i n - d e p t h   c a s e   s t u d y   o f   t h e   E n c y c l o p e d i a   o f   L i f e   ( E O L ) .   C o n t e n t   c u r a t i o n   c o m m u n i t i e s   a r e   l a r g e - s c a l e   c r o w d s o u r c i n g   e n d e a v o r s   t h a t   a i m   t o   c u r a t e   e x i s t i n g   c o n t e n t   i n t o   a   s i n g l e   r e p o s i t o r y ,   m a k i n g   t h e s e   c o m m u n i t i e s   d i f f e r e n t   f r o m   c o n t e n t   c r e a t i o n   c o m m u n i t i e s   s u c h   a s   W i k i p e d i a .   I n   t h i s   a r t i c l e ,   w e   d e f i n e   c o n t e n t   c u r a t i o n   c o m m u n i t i e s   a n d   p r o v i d e   e x a m p l e s   o f   t h i s   i n c r e a s i n g l y   i m p o r t a n t   g e n r e .   W e   t h e n   f o l l o w   b y   p r e s e n t i n g   E O L ,   a   c o m p e l l i n g   e x a m p l e   o f   a   c o n t e n t   c u r a t i o n   c o m m u n i t y ,   a n d   d e s c r i b e   a   c a s e   s t u d y   o f   E O L   b a s e d   o n   a n a l y s i s   o f   i n t e r v i e w s ,   o n l i n e   d i s c u s s i o n s ,   a n d   s u r v e y   d a t a .   O u r   f i n d i n g s   a r e   c h a r a c t e r i z e d   i n t o   t w o   b r o a d   c a t e g o r i e s :   i n f o r m a t i o n   i n t e g r a t i o n   a n d   s o c i a l   i n t e g r a t i o n .   I n f o r m a t i o n   i n t e g r a t i o n   c h a l l e n g e s   a t   E O L   i n c l u d e   t h e   n e e d   t o   ( a )   a c c o m m o d a t e   a n d   v a l i d a t e   m u l t i p l e   s o u r c e s   a n d   ( b )   i n t e g r a t e   t r a d i t i o n a l   p e e r   r e v i e w e d   s o u r c e s   w i t h   u s e r - g e n e r a t e d ,   n o n p e e r - r e v i e w e d   c o n t e n t .   S o c i a l   i n t e g r a t i o n   c h a l l e n g e s   a t   E O L   i n c l u d e   t h e   n e e d   t o   ( a )   e s t a b l i s h   t h e   c r e d i b i l i t y   o f   o p e n - a c c e s s   r e s o u r c e s   w i t h i n   t h e   s c i e n t i f i c   c o m m u n i t y   a n d   ( b )   f a c i l i t a t e   c o l l a b o r a t i o n   b e t w e e n   e x p e r t s   a n d   n o v i c e s .   A f t e r   i d e n t i f y i n g   t h e   c h a l l e n g e s ,   w e   d i s c u s s   t h e   p o t e n t i a l   s t r a t e g i e s   E O L   a n d   o t h e r   c o n t e n t   c u r a t i o n   c o m m u n i t i e s   c a n   u s e   t o   a d d r e s s   t h e m ,   a n d   p r o v i d e   t e c h n i c a l ,   c o n t e n t ,   a n d   s o c i a l   d e s i g n   r e c o m m e n d a t i o n s   f o r   o v e r c o m i n g   t h e m . 	 [ R o t m a n ,   D a n a ;   P r o c i t a ,   K e z i a ;   H a n s e n ,   D e r e k ;   P r e e c e ,   J e n n i f e r ]   U n i v   M a r y l a n d ,   C o l l   I n f o r m a t   S t u d i e s ,   C o l l e g e   P k ,   M D   2 0 7 4 2   U S A ;   [ P a r r ,   C y n t h i a   S i m s ]   S m i t h s o n i a n   I n s t ,   N a t l   M u s e u m   N a t   H i s t ,   W a s h i n g t o n ,   D C   2 0 0 1 3   U S A 	 R o t m a n ,   D   ( r e p r i n t   a u t h o r ) ,   U n i v   M a r y l a n d ,   C o l l   I n f o r m a t   S t u d i e s ,   C o l l e g e   P k ,   M D   2 0 7 4 2   U S A . 	 d r o t m a n @ u m d . e d u ;   k p r o c i t a @ u m d . e d u ;   d l h a n s e n @ u m d . e d u ;   p a r r c @ s i . e d u ;   p r e e c e @ u m d . e d u 	 P a r r ,   C y n t h i a / E - 8 0 1 3 - 2 0 1 0 	 P a r r ,   C y n t h i a / 0 0 0 0 - 0 0 0 2 - 8 8 7 0 - 7 0 9 9 	 	 	 A h n   J W ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 5 8 9 ,   P 3 0 9 ;   B a t e s   M J ,   1 9 9 9 ,   J   A M   S O C   I N F O R M   S C I ,   V 5 0 ,   P 1 0 4 3 ,   D O I   1 0 . 1 0 0 2 / ( S I C I ) 1 0 9 7 - 4 5 7 1 ( 1 9 9 9 ) 5 0 : 1 2 < 1 0 4 3 : : A I D - A S I 1 > 3 . 0 . C O ; 2 - X ;   B e n k l e r   Y ,   2 0 0 2 ,   Y A L E   L A W   J ,   V 1 1 2 ,   P 3 6 9 ,   D O I   1 0 . 2 3 0 7 / 1 5 6 2 2 4 7 ;   B i r n h o l t z   J .   P . ,   2 0 0 3 ,   D A T A   W O R K   S U P P O R T I N G ;   B o n g w o n   S . ,   2 0 0 8 ,   P   S I G C H I   C   H U M   F A C T ,   P 1 0 3 7 ;   B o r g m a n   C h r i s t i n e   L . ,   2 0 0 7 ,   S C H O L A R S H I P   D I G I T A L ;   B o s   N . ,   2 0 0 7 ,   J   C O M P U T - M E D I A T   C O M M ,   V 1 2 ,   P 6 5 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 0 8 3 - 6 1 0 1 . 2 0 0 7 . 0 0 3 4 3 . x ;   B o w k e r   G .   C . ,   2 0 0 0 ,   S O R T I N G   T H I N G S   O U T   C ;   B u n e m a n   P ,   2 0 0 8 ,   P   A C M   P O D S ,   V 1 - 1 2 ,   D O I   1 0 . 1 1 4 5 / 1 3 7 6 9 1 6 . 1 3 7 6 9 1 8 ;   C o h n   J P ,   2 0 0 8 ,   B I O S C I E N C E ,   V 5 8 ,   P 1 9 2 ,   D O I   1 0 . 1 6 4 1 / B 5 8 0 3 0 3 ;   C o r b i n   J . ,   2 0 0 7 ,   B A S I C S   Q U A L I T A T I V E   R ;   C o s l e y   D . ,   2 0 0 6 ,   P   S I G C H I   C   H U M   F A C T ,   P 1 0 3 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 1 2 4 7 7 2 . 1 1 2 4 9 2 8 ;   E h r l i c h   K . ,   1 9 9 9 ,   C o m p u t e r   S u p p o r t e d   C o o p e r a t i v e   W o r k :   T h e   J o u r n a l   o f   C o l l a b o r a t i v e   C o m p u t i n g ,   V 8 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 0 8 6 9 6 4 1 5 3 5 4 ;   E I S E N H A R D T   K M ,   1 9 8 9 ,   A C A D   M A N A G E   R E V ,   V 1 4 ,   P 5 3 2 ,   D O I   1 0 . 2 3 0 7 / 2 5 8 5 5 7 ;   E l l i s   R . ,   2 0 0 4 ,   S C I   P U B L   P O L I C Y ,   V 3 1 ,   P 9 5 ,   D O I   1 0 . 3 1 5 2 / 1 4 7 1 5 4 3 0 4 7 8 1 7 8 0 0 5 5 ;   E v a n s   C ,   2 0 0 5 ,   C O N S E R V   B I O L ,   V 1 9 ,   P 5 8 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 2 3 - 1 7 3 9 . 2 0 0 5 . 0 0 s 0 1 . x ;   F e a g i n   J . ,   1 9 9 1 ,   C A S E   C A S E   S T U D Y ;   F i n h o l t   T A ,   2 0 0 2 ,   A N N U   R E V   I N F O R M   S C I ,   V 3 6 ,   P 7 3 ,   D O I   1 0 . 1 0 0 2 / a r i s . 1 4 4 0 3 6 0 1 0 3 ;   F o r t e   A . ,   2 0 0 5 ,   P   I E E E   I N T   C   U L T R   W I ,   P 6 ;   G o n z a l e z - O r e j a   J o s e   A n t o n i o ,   2 0 0 8 ,   Z o o t a x a ,   V 1 9 6 5 ,   P 6 1 ;   H a n s e n   D .   L . ,   2 0 0 7 ,   P   7 0   A N N   M   A M   S O C   I N ,   V 4 4 ,   P 1 ;   H a r a   N ,   2 0 0 3 ,   J   A M   S O C   I N F   S C I   T E C ,   V 5 4 ,   P 9 5 2 ,   D O I   1 0 . 1 0 0 2 / a s i . 1 0 2 9 1 ;   H i n e   C h r i s t i n e ,   2 0 0 8 ,   S Y S T E M A T I C S   C Y B E R S C I ;   H u g h e s   B . ,   2 0 0 5 ,   D I G I T A L   L I B   I N T   C O L L ,   P 1 3 5 ;   K I T T U R   A ,   2 0 0 8 ,   P   A C M   2 0 0 8   C   C O M P   S U ,   P 3 7 ,   D O I   1 0 . 1 1 4 5 / 1 4 6 0 5 6 3 . 1 4 6 0 5 7 2 ;   K i t t u r   A . ,   2 0 0 7 ,   P O W E R   F E W   V S   W I S D O M ;   K r i p l e a n   T ,   2 0 0 8 ,   P   A C M   2 0 0 8   C   C O M P   S U ,   P 4 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 6 0 5 6 3 . 1 4 6 0 5 7 3 ;   L a m p e   C ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 5 4 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 9 8 5 6 9 2 . 9 8 5 7 6 1 ;   L a t o u r   B r u n o ,   1 9 7 9 ,   L A B   L I F E   C O N S T R U C T I O ;   W e n g e r   E t i e n n e ,   1 9 9 1 ,   S I T U A T E D   L E A R N I N G   L E ;   L i   Q L ,   2 0 1 0 ,   D R U G   D I S C O V   T O D A Y ,   V 1 5 ,   P 1 0 5 2 ,   D O I   1 0 . 1 0 1 6 / j . d r u d i s . 2 0 1 0 . 1 0 . 0 0 3 ;   L i n g   K ,   2 0 0 5 ,   J   C O M P U T - M E D I A T   C O M M ,   V 1 0 ;   M a d d i s o n   D R ,   2 0 0 7 ,   Z O O T A X A ,   P 1 9 ;   N o v   O ,   2 0 0 7 ,   C O M M U N   A C M ,   V 5 0 ,   P 6 0 ,   D O I   1 0 . 1 1 4 5 / 1 2 9 7 7 9 7 . 1 2 9 7 7 9 8 ;   O ' H a r a   K . ,   2 0 0 8 ,   P   A C M   C H I ,   P 1 1 7 7 ,   D O I   1 0 . 1 1 4 5 / 1 3 5 7 0 5 4 . 1 3 5 7 2 3 9 ;   O r r e l l   T . ,   2 0 1 1 ,   I T I S   I N T E G R A T E D   T A X O ;   P a t t o n   M .   Q . ,   1 9 9 0 ,   Q U A L I T A T I V E   E V A L U A T I ;   P e n c e   H E ,   2 0 1 0 ,   J   C H E M   E D U C ,   V 8 7 ,   P 1 1 2 3 ,   D O I   1 0 . 1 0 2 1 / e d 1 0 0 6 9 7 w ;   P r e e c e   J . ,   2 0 0 9 ,   A I S   T   H U M A N   C O M P U T E R ,   V 1 ,   P 5 ;   P r e e c e   J ,   2 0 0 0 ,   O N L I N E   C O M M U N I T I E S   D ;   R a d d i c k   J ,   2 0 0 7 ,   B   A M   A S T R O N O M I C A L   S O ,   V 3 9 ,   P 8 9 2 ;   R a d d i c k   M   J o r d a n ,   2 0 1 0 ,   A s t r o n o m y   E d u c a t i o n   R e v i e w ,   V 9 ,   D O I   1 0 . 3 8 4 7 / A E R 2 0 0 9 0 3 6 ;   R o t m a n   D a n a ,   2 0 1 0 ,   I n t e r n a t i o n a l   J o u r n a l   o f   W e b   B a s e d   C o m m u n i t i e s ,   V 6 ;   R o t m a n   D . ,   2 0 1 2 ,   P   A C M   C   C O M P   S U P P   C O ;   S a n d e r s o n   K a t h a r i n e ,   2 0 1 1 ,   N a t u r e ,   V 4 7 0 ,   P 2 9 5 ,   D O I   1 0 . 1 0 3 8 / n j 7 3 3 3 - 2 9 5 a ;   S c h i f f   L .   R . ,   1 9 9 7 ,   P   2   A C M   I N T   C   D I G   L I ,   P 1 6 1 ,   D O I   1 0 . 1 1 4 5 / 2 6 3 6 9 0 . 2 6 3 8 0 9 ;   S t a r   L . S . ,   2 0 1 0 ,   S C I   T E C H N O L ,   V 3 5 ,   P 6 0 1 ;   S u l l i v a n   B L ,   2 0 0 9 ,   B I O L   C O N S E R V ,   V 1 4 2 ,   P 2 2 8 2 ,   D O I   1 0 . 1 0 1 6 / j . b i o c o n . 2 0 0 9 . 0 5 . 0 0 6 ;   T a u t z   D ,   2 0 0 3 ,   T R E N D S   E C O L   E V O L ,   V 1 8 ,   P 7 0 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 9 - 5 3 4 7 ( 0 2 ) 0 0 0 4 1 - 1 ;   V a n   H o u s e   N . ,   2 0 0 2 ,   S O C I A L   E P I S T E M O L O G Y ,   V 1 6 ,   P 9 9 ,   D O I   1 0 . 1 0 8 0 / 0 2 6 9 1 7 2 0 2 1 0 1 3 2 8 3 3 ;   V a n   H o u s e   N .   A . ,   2 0 0 2 ,   P   2   A C M   I E E E   C S   J O I N ,   P 2 3 1 ;   V i e g a s   F . B . ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 5 7 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 9 8 5 6 9 2 . 9 8 5 7 6 5 ;   W e n g e r   E t i e n n e ,   1 9 9 8 ,   C O M M U N I T I E S   P R A C T I C E ;   W h e e l e r   Q D ,   2 0 0 8 ,   N E W   T A X O N O M Y ;   W i l s o n   E O ,   2 0 0 3 ,   T R E N D S   E C O L   E V O L ,   V 1 8 ,   P 7 7 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 9 - 5 3 4 7 ( 0 2 ) 0 0 0 4 0 - X ;   Y a t e s   D ,   2 0 1 0 ,   J   A M   S O C   I N F   S C I   T E C ,   V 6 1 ,   P 5 4 3 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 1 2 6 6 ;   Y i n   R .   K . ,   2 0 0 8 ,   C A S E   S T U D Y   R E S   D E S I G ;   Z i m m e r m a n   A n n ,   2 0 0 7 ,   I n t e r n a t i o n a l   J o u r n a l   o n   D i g i t a l   L i b r a r i e s ,   V 7 ,   D O I   1 0 . 1 0 0 7 / s 0 0 7 9 9 - 0 0 7 - 0 0 1 5 - 8 	 5 8 	 2 	 2 	 W I L E Y - B L A C K W E L L 	 M A L D E N 	 C O M M E R C E   P L A C E ,   3 5 0   M A I N   S T ,   M A L D E N   0 2 1 4 8 ,   M A   U S A 	 1 5 3 2 - 2 8 8 2 	 	 	 J   A M   S O C   I N F   S C I   T E C 	 J .   A m .   S o c .   I n f .   S c i .   T e c h n o l . 	 J U N 	 2 0 1 2 	 6 3 	 6 	 	 	 	 	 1 0 9 2 	 1 1 0 7 	 	 1 0 . 1 0 0 2 / a s i . 2 2 6 3 3 	 	 1 6 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 C o m p u t e r   S c i e n c e ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 9 4 3 O O 	 W O S : 0 0 0 3 0 4 1 3 3 9 0 0 0 0 3 	 	 
 J 	 J a r v i s ,   L M 	 	 	 	 J a r v i s ,   L i s a   M . 	 	 	 C R O W D S O U R C I N G   C U R E S 	 C H E M I C A L   &   E N G I N E E R I N G   N E W S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 0 	 0 	 0 	 A M E R   C H E M I C A L   S O C 	 W A S H I N G T O N 	 1 1 5 5   1 6 T H   S T ,   N W ,   W A S H I N G T O N ,   D C   2 0 0 3 6   U S A 	 0 0 0 9 - 2 3 4 7 	 	 	 C H E M   E N G   N E W S 	 C h e m .   E n g .   N e w s 	 M A Y   2 8 	 2 0 1 2 	 9 0 	 2 2 	 	 	 	 	 4 1 	 4 3 	 	 	 	 3 	 C h e m i s t r y ,   M u l t i d i s c i p l i n a r y ;   E n g i n e e r i n g ,   C h e m i c a l 	 C h e m i s t r y ;   E n g i n e e r i n g 	 9 5 1 Q H 	 W O S : 0 0 0 3 0 4 7 3 4 6 0 0 0 3 8 	 	 
 J 	 L a m p e l ,   J ;   J h a ,   P P ;   B h a l l a ,   A 	 	 	 	 L a m p e l ,   J o s e p h ;   J h a ,   P u s h k a r   P . ;   B h a l l a ,   A j a y 	 	 	 T e s t - D r i v i n g   t h e   F u t u r e :   H o w   D e s i g n   C o m p e t i t i o n s   A r e   C h a n g i n g   I n n o v a t i o n 	 A C A D E M Y   O F   M A N A G E M E N T   P E R S P E C T I V E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 C O N T E S T S ;   T O U R N A M E N T S ;   T E C H N O L O G Y ;   M O D E L ;   U N C E R T A I N T Y ;   I N C E N T I V E S ;   R E W A R D S ;   M A R K E T ;   L E M O N S ;   I D E A S 	 A s   o r g a n i z a t i o n s   r e a l i z e   t h e   p o t e n t i a l   o f   " o p e n   i n n o v a t i o n "   m o d e l s ,   d e s i g n   c o m p e t i t i o n s - t a r g e t - s e t t i n g   e v e n t s   t h a t   o f f e r   m o n e t a r y   a w a r d s   a n d   o t h e r   b e n e f i t s   t o   c o n t e s t a n t s - a r e   r e g a i n i n g   p o p u l a r i t y   a s   a n   i n n o v a t i o n   t o o l .   I n   t h i s   p a p e r   w e   l o o k   a t   t h e   i n n o v a t i o n   a g e n d a s   o f   o r g a n i z a t i o n s   a n d   i n d i v i d u a l s   w h o   s p o n s o r   a n d   o r g a n i z e   d e s i g n   c o m p e t i t i o n s .   W e   t h e n   e x a m i n e   t h e   a r c h i t e c t u r e   a n d   g o v e r n a n c e   o f   s u c h   c o m p e t i t i o n s ,   a n d   e x p l o r e   h o w   o p e n   i n n o v a t i o n   a n d   c r o w d s o u r c i n g ,   i n   c o m b i n a t i o n   w i t h   o n l i n e   p l a t f o r m s ,   h a v e   t r a n s f o r m e d   d e s i g n   c o m p e t i t i o n s .   F i n a l l y ,   w e   l o o k   a t   t h e   e v o l u t i o n   o f   d e s i g n   c o m p e t i t i o n s   a n d   h i g h l i g h t   t h e i r   e x p a n d i n g   s c o p e   a n d   c o m p l e x i t y . 	 [ L a m p e l ,   J o s e p h ;   B h a l l a ,   A j a y ]   C i t y   U n i v   L o n d o n ,   C a s s   B u s i n e s s   S c h ,   L o n d o n ,   E n g l a n d ;   [ J h a ,   P u s h k a r   P . ]   N e w c a s t l e   U n i v ,   S c h   B u s i n e s s ,   N e w c a s t l e   U p o n   T y n e   N E 1   7 R U ,   T y n e   &   W e a r ,   E n g l a n d 	 L a m p e l ,   J   ( r e p r i n t   a u t h o r ) ,   C i t y   U n i v   L o n d o n ,   C a s s   B u s i n e s s   S c h ,   L o n d o n ,   E n g l a n d . 	 j . 1 a m p e l @ c i t y . a c . u k ;   p u s h k a r . j h a @ n c l . a c . u k ;   a . b h a l l a @ c i t y . a c . u k 	 	 	 	 	 A K E R L O F   G A ,   1 9 7 0 ,   Q   J   E C O N ,   V 8 4 ,   P 4 8 8 ,   D O I   1 0 . 2 3 0 7 / 1 8 7 9 4 3 1 ;   A l m i r a l l   E ,   2 0 1 0 ,   A C A D   M A N A G E   R E V ,   V 3 5 ,   P 2 7 ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   E C O N O M I S T                 0 6 2 ;   A r o r a   A ,   2 0 1 0 ,   I N D   C O R P   C H A N G E ,   V 1 9 ,   P 7 7 5 ,   D O I   1 0 . 1 0 9 3 / i c c / d t q 0 2 2 ;   B e r n d t   E r n s t   R ,   2 0 0 6 ,   P h a r m a c o e c o n o m i c s ,   V 2 4   S u p p l   2 ,   P 6 9 ,   D O I   1 0 . 2 1 6 5 / 0 0 0 1 9 0 5 3 - 2 0 0 6 2 4 0 0 2 - 0 0 0 0 8 ;   B o u d r e a u   K . J ,   2 0 0 8 ,   P L A T F O R M   R U L E S   M U L T I ;   B o u d r e a u   K J ,   2 0 1 1 ,   M A N A G E   S C I ,   V 5 7 ,   P 8 4 3 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 1 0 . 1 3 2 2 ;   B o u d r e a u   K J ,   2 0 0 9 ,   M I T   S L O A N   M A N A G E   R E V ,   V 5 0 ,   P 6 9 ;   C h e s b r o u g h   H ,   2 0 0 7 ,   C A L I F   M A N A G E   R E V ,   V 4 9 ,   P 4 5 ;   C o h e n   C ,   2 0 0 8 ,   R A N D   J   E C O N ,   V 3 9 ,   P 4 3 4 ,   D O I   1 0 . 1 1 1 1 / j . 0 7 4 1 - 6 2 6 1 . 2 0 0 8 . 0 0 0 2 1 . x ;   C u l l i s   J .   G . ,   2 0 0 9 ,   P U B L I C   F I N A N C E   P U B L I ;   D a v i s   L . ,   2 0 0 2 ,   D R U I D   S U M M   C   I N D   D Y N ;   D u n l a p - H i n k l e r   D ,   2 0 1 0 ,   S T R A T E G   E N T R E P   J ,   V 4 ,   P 1 0 6 ,   D O I   1 0 . 1 0 0 2 / s e j . 8 6 ;   E i c k e l p a s c h   A ,   2 0 0 5 ,   R E S   P O L I C Y ,   V 3 4 ,   P 1 2 6 9 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 5 . 0 2 . 0 0 9 ;   F r e d b e r g   T . ,   2 0 0 8 ,   M A N A G I N G   O P E N   I N N O V A ;   F u c h s   E R H ,   2 0 1 0 ,   R E S   P O L I C Y ,   V 3 9 ,   P 1 1 3 3 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 1 0 . 0 7 . 0 0 3 ;   G r e v e   H R ,   2 0 0 6 ,   A M   J   S O C I O L ,   V 1 1 2 ,   P 8 0 2 ,   D O I   1 0 . 1 0 8 6 / 5 0 7 8 5 3 ;   H a g i u   A . ,   2 0 0 9 ,   M U L T I S I D E D   P L A T F O R M S ;   H o l l o m a n   B . ,   2 0 0 2 ,   7   Y E A R S   S E R P   S U C C E S S ;   H u s t o n   L ,   2 0 0 6 ,   H A R V A R D   B U S   R E V ,   V 8 4 ,   P 5 8 ;   J e p p e s e n   L B ,   2 0 1 0 ,   O R G A N   S C I ,   V 2 1 ,   P 1 0 1 6 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 9 0 . 0 4 9 1 ;   K e s s l e r   E H ,   1 9 9 6 ,   A C A D   M A N A G E   R E V ,   V 2 1 ,   P 1 1 4 3 ,   D O I   1 0 . 2 3 0 7 / 2 5 9 1 6 7 ;   K i n g   R . ,   2 0 0 8 ,   B U S I N E S S   W E E K ;   L a u r s e n   K ,   2 0 0 6 ,   S T R A T E G I C   M A N A G E   J ,   V 2 7 ,   P 1 3 1 ,   D O I   1 0 . 1 0 0 2 / s m j . 5 0 7 ;   L A Z E A R   E P ,   1 9 8 1 ,   J   P O L I T   E C O N ,   V 8 9 ,   P 8 4 1 ,   D O I   1 0 . 1 0 8 6 / 2 6 1 0 1 0 ;   L i c h t e n t h a l e r   U ,   2 0 1 1 ,   R & D   M A N A G E ,   V 4 1 ,   P 1 7 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 1 1 . 0 0 6 3 5 . x ;   L o v e   J . ,   2 0 0 7 ,   C H I   K E N T   L   R E V ,   V 8 2 ,   P 1 5 1 9 ;   M a l o n e   T .   W . ,   2 0 1 1 ,   H A R V A R D   B U S I N E S S   R E V ;   M a s t e r s   W .   A . ,   2 0 0 3 ,   A g B i o F o r u m ,   V 6 ,   P 7 1 ;   M c C a n n   P ,   2 0 0 5 ,   E N V I R O N   P L A N N   A ,   V 3 7 ,   P 1 8 5 7 ,   D O I   1 0 . 1 0 6 8 / a 3 7 3 1 1 ;   M o r g a n   J ,   2 0 1 0 ,   C A L I F   M A N A G E   R E V ,   V 5 2 ,   P 7 7 ;   N A L E B U F F   B J ,   1 9 8 3 ,   B E L L   J   E C O N ,   V 1 4 ,   P 2 1 ,   D O I   1 0 . 2 3 0 7 / 3 0 0 3 5 3 5 ;   N e y e r   A K ,   2 0 0 9 ,   R & D   M A N A G E ,   V 3 9 ,   P 4 1 0 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 9 . 0 0 5 6 6 . x ;   N o o t e b o o m   B . ,   2 0 0 0 ,   L E A R N I N G   I N N O V A T I O N ;   R h o d e s   J . ,   2 0 1 1 ,   C O M P E T I T I O N   S H I N E S   L ;   R O S E N M A N   R E ,   1 9 9 1 ,   J   I N D   E C O N ,   V 3 9 ,   P 6 4 9 ,   D O I   1 0 . 2 3 0 7 / 2 0 9 8 6 6 7 ;   S h a v e l l   S ,   2 0 0 1 ,   J   L A W   E C O N ,   V 4 4 ,   P 5 2 5 ,   D O I   1 0 . 1 0 8 6 / 3 2 2 8 1 1 ;   S O B E L   D ,   2 0 0 7 ,   L O N G I T U D E   T R U E   S T O R Y ;   S t i n e   D D ,   2 0 0 9 ,   F E D E R A L L Y   F U N D E D   I N N ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   T a p s c o t t   D . ,   2 0 0 7 ,   B L O O M B E R G   B U S I N E S S   W ;   T A Y L O R   C R ,   1 9 9 5 ,   A M   E C O N   R E V ,   V 8 5 ,   P 8 7 2 ;   T e r w e i s c h   C a r l ,   2 0 0 9 ,   I N N O V A T I O N   T O U R N A M E N ;   T e r w i e s c h   C ,   2 0 0 8 ,   M A N A G E   S C I ,   V 5 4 ,   P 1 5 2 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 8 0 . 0 8 8 4 	 4 4 	 5 	 5 	 A C A D   M A N A G E M E N T 	 B R I A R C L I F F   M A N O R 	 P A C E   U N I V ,   P O   B O X   3 0 2 0 ,   2 3 5   E L M   R D ,   B R I A R C L I F F   M A N O R ,   N Y   1 0 5 1 0 - 8 0 2 0   U S A 	 1 5 5 8 - 9 0 8 0 	 	 	 A C A D   M A N A G E   P E R S P E C T 	 A c a d .   M a n a g .   P e r s p e c t . 	 M A Y 	 2 0 1 2 	 2 6 	 2 	 	 	 	 	 7 1 	 8 5 	 	 1 0 . 5 4 6 5 / a m p . 2 0 1 0 . 0 0 6 8 	 	 1 5 	 B u s i n e s s ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 9 9 0 B W 	 W O S : 0 0 0 3 0 7 6 0 7 0 0 0 0 0 5 	 	 
 J 	 H w a n g ,   K ;   L e e ,   S Y 	 	 	 	 H w a n g ,   K y u w o o n g ;   L e e ,   S o o - Y o u n g 	 	 	 E n v i r o n m e n t a l   A u d i o   S c e n e   a n d   A c t i v i t y   R e c o g n i t i o n   t h r o u g h   M o b i l e - b a s e d   C r o w d s o u r c i n g 	 I E E E   T R A N S A C T I O N S   O N   C O N S U M E R   E L E C T R O N I C S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 e n v i r o n m e n t   r e c o g n i t i o n ;   s o u n d   r e c o g n i t i o n ;   a c o u s t i c   s c e n e   a n a l y s i s ;   c r o w d s o u r c i n g 	 	 E n v i r o n m e n t a l   a u d i o   r e c o g n i t i o n   t h r o u g h   m o b i l e   d e v i c e s   i s   d i f f i c u l t   b e c a u s e   o f   b a c k g r o u n d   n o i s e ,   u n s e e n   a u d i o   e v e n t s ,   a n d   c h a n g e s   i n   a u d i o   c h a n n e l   c h a r a c t e r i s t i c s   d u e   t o   t h e   p h o n e ' s   c o n t e x t ,   e . g . ,   w h e t h e r   t h e   p h o n e   i s   i n   t h e   u s e r ' s   p o c k e t   o r   i n   h i s   h a n d .   W e   p r o p o s e   a   c r o w d s o u r c i n g   f r a m e w o r k   t h a t   m o d e l s   t h e   c o m b i n a t i o n   o f   s c e n e ,   e v e n t ,   a n d   p h o n e   c o n t e x t   t o   o v e r c o m e   t h e s e   i s s u e s .   T h e   f r a m e w o r k   g a t h e r s   a u d i o   d a t a   f r o m   m a n y   p e o p l e   a n d   s h a r e s   u s e r - g e n e r a t e d   m o d e l s   t h r o u g h   a   c l o u d   s e r v e r   t o   a c c u r a t e l y   c l a s s i f y   u n s e e n   a u d i o   d a t a .   A   G a u s s i a n   h i s t o g r a m   i s   u s e d   t o   r e p r e s e n t   a n   a u d i o   c l i p   w i t h   a   s m a l l   n u m b e r   o f   p a r a m e t e r s ,   a n d   a   k - n e a r e s t   c l a s s i f i e r   a l l o w s   t h e   e a s y   i n c o r p o r a t i o n   o f   n e w   t r a i n i n g   d a t a   i n t o   t h e   s y s t e m .   U s i n g   t h e   K u l l b a c k - L e i b l e r   d i v e r g e n c e   b e t w e e n   t w o   G a u s s i a n   h i s t o g r a m s   a s   t h e   d i s t a n c e   m e a s u r e ,   w e   f i n d   t h a t   a u d i o   s c e n e s ,   e v e n t s ,   a n d   p h o n e   c o n t e x t   a r e   c l a s s i f i e d   w i t h   8 5 . 2 % ,   7 7 . 6 % ,   a n d   8 8 . 9 %   a c c u r a c y ,   r e s p e c t i v e l y . 	 [ H w a n g ,   K y u w o o n g ;   L e e ,   S o o - Y o u n g ]   K o r e a   A d v   I n s t   S c i   &   T e c h n o l ,   D e p t   B i o   &   B r a i n   E n g n ,   T a e j o n   3 0 5 7 0 1 ,   S o u t h   K o r e a ;   [ H w a n g ,   K y u w o o n g ]   Q u a l c o m m   K o r e a   R & D ,   S e o u l ,   S o u t h   K o r e a ;   [ L e e ,   S o o - Y o u n g ]   K o r e a   A d v   I n s t   S c i   &   T e c h n o l ,   D e p t   E l e c t   E n g n ,   T a e j o n   3 0 5 7 0 1 ,   S o u t h   K o r e a 	 H w a n g ,   K   ( r e p r i n t   a u t h o r ) ,   K o r e a   A d v   I n s t   S c i   &   T e c h n o l ,   D e p t   B i o   &   B r a i n   E n g n ,   T a e j o n   3 0 5 7 0 1 ,   S o u t h   K o r e a . 	 k y u w o o n g @ q u a l c o m m . c o m ;   s y l e e @ k a i s t . a c . k r 	 L e e ,   S o o - Y o u n g / C - 1 9 3 0 - 2 0 1 1 	 	 N a t i o n a l   R e s e a r c h   F o u n d a t i o n   o f   K o r e a   ( N R F ) ;   M i n i s t r y   o f   E d u c a t i o n ,   S c i e n c e   a n d   T e c h n o l o g y   [ 2 0 0 9 - 0 0 9 2 8 1 2 ,   2 0 1 0 - 0 0 2 8 7 2 2 ] 	 S o o - Y o u n g   L e e   w a s   s u p p o r t e d   b y   t h e   B a s i c   S c i e n c e   R e s e a r c h   P r o g r a m   o f   t h e   N a t i o n a l   R e s e a r c h   F o u n d a t i o n   o f   K o r e a   ( N R F ) ,   f u n d e d   b y   t h e   M i n i s t r y   o f   E d u c a t i o n ,   S c i e n c e   a n d   T e c h n o l o g y   ( 2 0 0 9 - 0 0 9 2 8 1 2   a n d   2 0 1 0 - 0 0 2 8 7 2 2 ) . 	 C h o i   W H ,   2 0 1 1 ,   I E E E   T   C O N S U M   E L E C T R ,   V 5 7 ,   P 7 3 8 ;   C o w l i n g   M ,   2 0 0 3 ,   P A T T E R N   R E C O G N   L E T T ,   V 2 4 ,   P 2 8 9 5 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 7 - 8 6 5 5 ( 0 3 ) 0 0 1 4 7 - 8 ;   L e e   K . ,   2 0 0 9 ,   T H E S I S   C O L U M B I A   U ;   R a m a l i n g a m   A ,   2 0 0 6 ,   I E E E   T   I N F   F O R E N   S E C ,   V 1 ,   P 4 5 7 ,   D O I   1 0 . 1 1 0 9 / T I F S . 2 0 0 6 . 8 8 5 0 3 6 ;   R o m a   G . ,   2 0 1 0 ,   E U R A S I P   J   A U D I O   S P E E ,   V 2 0 1 0 ,   P 2 8 9 5 ;   Y o u   I . ,   2 0 0 8 ,   I E E E   T   C O N S U M   E L E C T R ,   V 5 4 ,   P 2 0 2 9 	 6 	 1 	 1 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 0 0 9 8 - 3 0 6 3 	 	 	 I E E E   T   C O N S U M   E L E C T R 	 I E E E   T r a n s .   C o n s u m .   E l e c t r o n . 	 M A Y 	 2 0 1 2 	 5 8 	 2 	 	 	 	 	 7 0 0 	 7 0 5 	 	 	 	 6 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 9 7 0 O J 	 W O S : 0 0 0 3 0 6 1 4 1 2 0 0 0 7 2 	 	 
 J 	 T u r n e r ,   A M ;   K i r c h h o f f ,   K ;   C a p u r r o ,   D 	 	 	 	 T u r n e r ,   A n n e   M . ;   K i r c h h o f f ,   K a t r i n ;   C a p u r r o ,   D a n i e l 	 	 	 U s i n g   C r o w d s o u r c i n g   T e c h n o l o g y   f o r   T e s t i n g   M u l t i l i n g u a l   P u b l i c   H e a l t h   P r o m o t i o n   M a t e r i a l s 	 J O U R N A L   O F   M E D I C A L   I N T E R N E T   R E S E A R C H 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   h e a l t h   p r o m o t i o n ;   p u b l i c   h e a l t h   i n f o r m a t i c s ;   l i m i t e d   E n g l i s h   p r o f i c i e n c y   p o p u l a t i o n s 	 C O M M U N I C A T I O N ;   Q U A L I T Y 	 B a c k g r o u n d :   E f f e c t i v e   c o m m u n i c a t i o n   o f   p u b l i c   h e a l t h   m e s s a g e s   i s   a   k e y   s t r a t e g y   f o r   h e a l t h   p r o m o t i o n   b y   p u b l i c   h e a l t h   a g e n c i e s .   C r e a t i n g   e f f e c t i v e   h e a l t h   p r o m o t i o n   m a t e r i a l s   r e q u i r e s   c a r e f u l   m e s s a g e   d e s i g n   a n d   f e e d b a c k   f r o m   r e p r e s e n t a t i v e s   o f   t a r g e t   p o p u l a t i o n s .   T h i s   i s   p a r t i c u l a r l y   t r u e   w h e n   t h e   t a r g e t   a u d i e n c e s   a r e   h a r d   t o   r e a c h   a s   l i m i t e d   E n g l i s h   p r o f i c i e n c y   g r o u p s .   T r a d i t i o n a l   m e t h o d s   o f   s o l i c i t i n g   f e e d b a c k - s u c h   a s   f o c u s   g r o u p s   a n d   c o n v e n i e n c e   s a m p l e   i n t e r v i e w s - a r e   e x p e n s i v e   a n d   t i m e   c o n s u m i n g .   A s   a   r e s u l t ,   a d e q u a t e   f e e d b a c k   f r o m   t a r g e t   p o p u l a t i o n s   i s   o f t e n   i n s u f f i c i e n t   d u e   t o   t h e   t i m e   a n d   r e s o u r c e   c o n s t r a i n t s   c h a r a c t e r i s t i c   t o   p u b l i c   h e a l t h .   O b j e c t i v e :   T o   d e s c r i b e   a   p i l o t   s t u d y   i n v e s t i g a t i n g   t h e   u s e   o f   c r o w d s o u r c i n g   t e c h n o l o g y   a s   a   m e t h o d   t o   g a t h e r   r a p i d   a n d   r e l e v a n t   f e e d b a c k   o n   t h e   d e s i g n   o f   h e a l t h   p r o m o t i o n   m e s s a g e s   f o r   o r a l   h e a l t h .   O u r   g o a l   w a s   t o   b e t t e r   d e s c r i b e   t h e   d e m o g r a p h i c s   o f   p a r t i c i p a n t s   r e s p o n d i n g   t o   a   c r o w d s o u r c i n g   s u r v e y   a n d   t o   t e s t   w h e t h e r   c r o w d s o u r c i n g   c o u l d   b e   u s e d   t o   g a t h e r   f e e d b a c k   f r o m   E n g l i s h - s p e a k i n g   a n d   S p a n i s h - s p e a k i n g   p a r t i c i p a n t s   i n   a   s h o r t   p e r i o d   o f   t i m e   a n d   a t   r e l a t i v e l y   l o w   c o s t s .   M e t h o d s :   W e   d e v e l o p e d   h e a l t h   p r o m o t i o n   m a t e r i a l s   o n   p e d i a t r i c   d e n t a l   h e a l t h   i s s u e s   i n   f o u r   d i f f e r e n t   f o r m a t s   a n d   i n   t w o   l a n g u a g e s   ( E n g l i s h   a n d   S p a n i s h ) .   W e   t h e n   d e s i g n e d   a n   o n l i n e   s u r v e y   t o   e l i c i t   f e e d b a c k   o n   f o r m a t   p r e f e r e n c e s   a n d   m a d e   i t   a v a i l a b l e   i n   b o t h   l a n g u a g e s   v i a   t h e   A m a z o n   M e c h a n i c a l   T u r k   c r o w d s o u r c i n g   p l a t f o r m .   R e s u l t s :   W e   s u r v e y e d   2 3 6   n a t i v e   E n g l i s h - s p e a k i n g   a n d   1 6 3   n a t i v e   S p a n i s h - s p e a k i n g   p a r t i c i p a n t s   i n   l e s s   t h a n   1 2   d a y s ,   a t   a   c o s t   o f   U S   $ 3 7 4 .   O v e r a l l ,   S p a n i s h - s p e a k i n g   p a r t i c i p a n t s   o r i g i n a t e d   f r o m   a   w i d e r   d i s t r i b u t i o n   o f   c o u n t r i e s   t h a n   t h e   o v e r a l l   L a t i n o   p o p u l a t i o n   i n   t h e   U n i t e d   S t a t e s .   M o s t   p a r t i c i p a n t s   w e r e   i n   t h e   1 8 -   t o   2 9 - y e a r   a g e   r a n g e   a n d   h a d   s o m e   c o l l e g e   o r   g r a d u a t e   e d u c a t i o n .   P a r t i c i p a n t s   p r o v i d e d   v a l u a b l e   i n p u t   f o r   t h e   h e a l t h   p r o m o t i o n   m a t e r i a l   d e s i g n .   C o n c l u s i o n s :   O u r   r e s u l t s   i n d i c a t e   t h a t   c r o w d s o u r c i n g   c a n   b e   a n   e f f e c t i v e   m e t h o d   f o r   r e c r u i t i n g   a n d   g a i n i n g   f e e d b a c k   f r o m   E n g l i s h - s p e a k i n g   a n d   S p a n i s h - s p e a k i n g   p e o p l e .   C o m p a r e d   w i t h   t r a d i t i o n a l   m e t h o d s ,   c r o w d s o u r c i n g   h a s   t h e   p o t e n t i a l   t o   r e a c h   m o r e   d i v e r s e   p o p u l a t i o n s   t h a n   c o n v e n i e n c e   s a m p l i n g ,   w h i l e   s u b s t a n t i a l l y   r e d u c i n g   t h e   t i m e   a n d   c o s t   o f   g a t h e r i n g   p a r t i c i p a n t   f e e d b a c k .   M o r e   w i d e s p r e a d   a d o p t i o n   o f   t h i s   m e t h o d   c o u l d   s t r e a m l i n e   t h e   d e v e l o p m e n t   o f   e f f e c t i v e   h e a l t h   p r o m o t i o n   m a t e r i a l s   i n   m u l t i p l e   l a n g u a g e s . 	 [ T u r n e r ,   A n n e   M . ]   U n i v   W a s h i n g t o n ,   D e p t   H l t h   S e r v ,   S e a t t l e ,   W A   9 8 1 0 5   U S A ;   [ T u r n e r ,   A n n e   M . ;   C a p u r r o ,   D a n i e l ]   U n i v   W a s h i n g t o n ,   D e p t   B i o m e d   I n f o r m a t   &   M e d   E d u c ,   S e a t t l e ,   W A   9 8 1 0 5   U S A ;   [ K i r c h h o f f ,   K a t r i n ]   U n i v   W a s h i n g t o n ,   D e p t   E l e c t   E n g n ,   S e a t t l e ,   W A   9 8 1 0 5   U S A ;   [ C a p u r r o ,   D a n i e l ]   P o n t i f i c i a   U n i v   C a t o l i c a   C h i l e ,   D e p t   I n t e r n a l   M e d ,   S a n t i a g o ,   C h i l e 	 T u r n e r ,   A M   ( r e p r i n t   a u t h o r ) ,   U n i v   W a s h i n g t o n ,   D e p t   H l t h   S e r v ,   1 1 0 7   N E   4 5 t h   S t , S u i t e   4 0 0 ,   S e a t t l e ,   W A   9 8 1 0 5   U S A . 	 a m t u r n e r @ u w . e d u 	 	 	 U n i v e r s i t y   o f   W a s h i n g t o n   S c h o o l   o f   P u b l i c   H e a l t h   R o y a l t y   R e s e a r c h   F u n d   G r a n t ;   N a t i o n a l   L i b r a r y   o f   M e d i c i n e   [ 1 R 0 1 L M 0 1 0 8 1 1 - 0 1 ] ;   D r   C a p u r r o ' s   F u l b r i g h t - M E C E S U P   F a c u l t y   D e v e l o p m e n t   G r a n t 	 T h i s   r e s e a r c h   w a s   f u n d e d   b y   t h e   U n i v e r s i t y   o f   W a s h i n g t o n   S c h o o l   o f   P u b l i c   H e a l t h   R o y a l t y   R e s e a r c h   F u n d   G r a n t ,   t h e   N a t i o n a l   L i b r a r y   o f   M e d i c i n e   G r a n t   1 R 0 1 L M 0 1 0 8 1 1 - 0 1 ,   a n d   D r   C a p u r r o ' s   F u l b r i g h t - M E C E S U P   F a c u l t y   D e v e l o p m e n t   G r a n t .   T h e   a u t h o r s   w i s h   t o   t h a n k   K a t e   C o l e   f o r   r e v i e w   a n d   p r e p a r a t i o n   o f   t h e   m a n u s c r i p t . 	 A y a l a   G X ,   2 0 0 1 ,   F A M   C O M M U N I T Y   H E A L T H ,   V 2 4 ,   P 7 2 ;   B a r t h o l o m e w   L K ,   2 0 0 6 ,   P L A N N I N G   H L T H   P R O M O T ;   B e r i n s k y   A J ,   2 0 1 2 ,   P O L I T I C A L   A   I N   P R E S S ;   B u h r m e s t e r   M ,   2 0 1 1 ,   P E R S P E C T   P S Y C H O L   S C I ,   V 6 ,   P 3 ,   D O I   1 0 . 1 1 7 7 / 1 7 4 5 6 9 1 6 1 0 3 9 3 9 8 0 ;   D e n g   J ,   2 0 0 9 ,   P   2 0 0 9   I E E E   C O M P   S C I ;   D e p a r t m e n t   o f   H e a l t h   a n d   H u m a n   S e r v i c e s ,   2 0 0 3 ,   F E D   R E G ,   V 6 8 ,   P 4 7 3 1 1 ;   D o w n s   J S ,   2 0 1 0 ,   2 0 1 0   2 8   I N T   C   H U M   F A ;   F r e i f e l d   C C ,   2 0 1 0 ,   P L O S   M E D ,   V 7 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p m e d . 1 0 0 0 3 7 6 ;   G a o   H ,   2 0 1 1 ,   I E E E   I N T E L L   S Y S T ,   V 2 6 ,   P 1 0 ;   G o s l i n g   S D ,   2 0 0 4 ,   A M   P S Y C H O L ,   V 5 9 ,   P 9 3 ,   D O I   1 0 . 1 0 3 7 / 0 0 0 3 - 0 6 6 X . 5 9 . 2 . 9 3 ;   H o r t o n   J J ,   2 0 1 1 ,   E X P   E C O N ,   V 1 4 ,   P 3 9 9 ,   D O I   1 0 . 1 0 0 7 / s 1 0 6 8 3 - 0 1 1 - 9 2 7 3 - 9 ;   H o u t s   P S ,   2 0 0 6 ,   P A T I E N T   E D U C   C O U N S ,   V 6 4 ,   P 3 9 3 ,   D O I   1 0 . 1 0 1 6 / j . p e c . 2 0 0 6 . 0 6 . 0 2 3 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   P 1 4 ;   H u b l e y   J . ,   2 0 0 8 ,   P R A C T I C A L   H L T H   P R O M O ;   I p e i r o t i s   P ,   2 0 1 0 ,   D E M O G R A P H I C S   M E C H   T U ;   K i t t u r   A ,   2 0 0 8 ,   2 0 0 8   2 6   A N N   S I G C H I   C ;   K n a p p   P ,   2 0 0 5 ,   A N N   P H A R M A C O T H E R ,   V 3 9 ,   P 1 2 2 7 ,   D O I   1 0 . 1 3 4 5 / a p h . 1 E 4 8 3 ;   L o p e z   M a r k ,   2 0 1 1 ,   U S   H I S P A N I C   C O U N T R Y ;   M a i b a c h   E W ,   1 9 9 5 ,   D E S I G N I N G   H L T H   M E S S A ;   M a r g e   M ,   2 0 1 0 ,   P   2 0 1 0   I N T   C   A C   S P E E ;   M A S O N   W ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 1 ,   D O I   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 1 2 4 - 6 ;   M C H O R N E Y   C A ,   1 9 9 4 ,   M E D   C A R E ,   V 3 2 ,   P 5 5 1 ,   D O I   1 0 . 1 0 9 7 / 0 0 0 0 5 6 5 0 - 1 9 9 4 0 6 0 0 0 - 0 0 0 0 2 ;   M i c h i e l u t t e   R ,   1 9 9 2 ,   J   C a n c e r   E d u c ,   V 7 ,   P 2 5 1 ;   N e u m a n   W .   L . ,   2 0 0 6 ,   S O C I A L   R E S   M E T H O D S   Q ;   R o s s   J ,   2 0 1 0 ,   P   2 0 1 0   2 8   A C M   C   H U M ;   S a t c h e r   D ,   2 0 0 0 ,   O R A L   H L T H   A M   R E P O R T ;   S c h m i d t   L ,   2 0 1 0 ,   2 0 1 0   C R O W D C O N F   O C T   4 ;   S p r o u s e   J ,   2 0 1 1 ,   B E H A V   R E S   M E T H O D S ,   V 4 3 ,   P 1 5 5 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 0 - 0 0 3 9 - 7 ;   U n i t e d   S t a t e s   C e n s u s   B u r e a u ,   2 0 0 9 ,   L A N G   S P O K   H O M ;   U S   D e p a r t m e n t   o f   H e a l t h   a n d   H u m a n   S e r v i c e s   O f f i c e   o f   D i s e a s e   P r e v e n t i o n   a n d   H e a l t h   P r o m o t i o n ,   2 0 1 1 ,   Q U I C K   G U I D   H L T H   L I T ;   W h i t l a   P . ,   2 0 0 9 ,   C O N T   M A N A G E M E N T   R E S ,   V 5 ,   P 1 5 ;   Z a i d a n   O F ,   2 0 1 1 ,   P   2 0 1 1   4 9   A N N   M   A S S 	 3 2 	 7 	 7 	 J M I R   P U B L I C A T I O N S ,   I N C 	 T O R O N T O 	 5 9   W I N N E R S   C I R C L E ,   T O R O N T O ,   O N   M 4 L   3 Y 7 ,   C A N A D A 	 1 4 3 8 - 8 8 7 1 	 	 	 J   M E D   I N T E R N E T   R E S 	 J .   M e d .   I n t e r n e t   R e s . 	 M A Y - J U N 	 2 0 1 2 	 1 4 	 3 	 	 	 	 	 2 1 8 	 2 2 6 	 e 7 9 	 1 0 . 2 1 9 6 / j m i r . 2 0 6 3 	 	 9 	 H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s ;   M e d i c a l   I n f o r m a t i c s 	 H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s ;   M e d i c a l   I n f o r m a t i c s 	 9 6 5 W D 	 W O S : 0 0 0 3 0 5 7 9 7 3 0 0 0 1 7 	 2 2 6 6 4 3 8 4 	 
 J 	 E s t e l l e s - A r o l a s ,   E ;   G o n z a l e z - L a d r o n - D e - G u e v a r a ,   F 	 	 	 	 E s t e l l e s - A r o l a s ,   E n r i q u e ;   G o n z a l e z - L a d r o n - D e - G u e v a r a ,   F e r n a n d o 	 	 	 T a s k s - b a s e d   c l a s s i f i c a t i o n   o f   c r o w d s o u r c i n g   i n i t i a t i v e s 	 P R O F E S I O N A L   D E   L A   I N F O R M A C I O N 	 	 	 S p a n i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   T y p o l o g y ;   C l a s s i f i c a t i o n ;   C r o w d ;   T a s k 	 	 C r o w d s o u r c i n g   i n i t i a t i v e s   b y   o r g a n i z a t i o n s   w o r k i n g   i n   a r e a s   l i k e   m u s i c ,   d e s i g n   o r   c a t a l o g u i n g   a r e   b e c o m i n g   m o r e   f r e q u e n t .   N o n e t h e l e s s ,   t h e   a b s e n c e   o f   a   c o n s i s t e n t   t h e o r e t i c a l   b a c k g r o u n d   c r e a t e s   p r o b l e m s ,   s u c h   a s   t h e   e x i s t e n c e   o f   d i v e r s e   c r o w d s o u r c i n g   c l a s s i f i c a t i o n s   t h a t   o v e r l a p   a n d   i n t e r w e a v e ,   o r   t h e   l a c k   o f   a   c o m m o n   d e f i n i t i o n .   T h i s   p a p e r   a n a l y s e s   d i f f e r e n t   t y p o l o g i e s   c o n s i d e r i n g   t h e   n a t u r e   o f   t h e   t a s k s   t o   b e   p e r f o r m e d   b y   t h e   c r o w d   a s   t h e   m a i n   c r i t e r i o n   a n d   p r o p o s e s   a   n e w   i n t e g r a t i v e   t y p o l o g y . 	 [ E s t e l l e s - A r o l a s ,   E n r i q u e ;   G o n z a l e z - L a d r o n - D e - G u e v a r a ,   F e r n a n d o ]   U n i v   P o l i t e c n   V a l e n c i a ,   D e p t   O r g   E m p r e s a s ,   V a l e n c i a   4 6 0 2 2 ,   S p a i n 	 E s t e l l e s - A r o l a s ,   E   ( r e p r i n t   a u t h o r ) ,   U n i v   P o l i t e c n   V a l e n c i a ,   D e p t   O r g   E m p r e s a s ,   C a m i n o   V e r a   S - N ,   V a l e n c i a   4 6 0 2 2 ,   S p a i n . 	 k i k e e s t e l l e s @ g m a i l . c o m ;   f g o n z a l @ o m p . u p v . e s 	 	 	 	 	 [ A n o n y m o u s ] ,   2 0 1 1 ,   P L A N   B A L L   C A R L   J E A N ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   C R A S H   S U P E R B O W L ;   A r o y o   L o r a ,   2 0 1 1 ,   P   5   I N T   C   C O M M   T E C H N ;   B r a b h a m   D a r e n   C . ,   2 0 0 8 ,   F I R S T   M O N D A Y ,   V 1 3 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   C h e s b r o u g h   H . ,   2 0 0 3 ,   O P E N   I N N O V A T I O N   N E W ;   C i s t e r n i n o   A n t o n i o ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S ,   P 4 2 5 ;   C o d i n a   L i u f f s ,   1 9 9 7 ,   P R O F   I N F O R M ,   V 6 ,   P 2 0 ;   C o r n e y   J o n a t h a n   R . ,   2 0 1 0 ,   I N T   J   I N N O V A T I O N   S U S ,   V 4 ,   P 2 9 4 ;   D e n y e r   D ,   2 0 0 8 ,   O R G A N   S T U D ,   V 2 9 ,   P 3 9 3 ,   D O I   1 0 . 1 1 7 7 / 0 1 7 0 8 4 0 6 0 7 0 8 8 0 2 0 ;   D i G i a m m a r i n o   P a u l ,   2 0 1 1 ,   I M P R O V E   P A T E N T   Q U A L I ;   D i s t e f a n o   A l e s s a n d r a ,   2 0 1 0 ,   7   C   I T   C H A P T   A I S   I N F ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   E C M T ,   D O O R   T O   D O O R   C L I C K ;   E s t e l l e s - A r o l a s   E ,   2 0 1 2 ,   J   I N F   S C I ,   V 3 8 ,   P 1 8 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 2 4 3 7 6 3 8 ;   F B I   F e d e r a l   B u r e a u   o f   I n v e s t i g a t i o n ,   C R Y P T   H E L P   B R E A K   C O D ;   D e l g a d o   R o d r  g u e z   M ,   1 9 9 1 ,   G a c   S a n i t ,   V 5 ,   P 2 6 5 ;   G e e r t s   S i m o n e ,   2 0 0 9 ,   T H E S I S   T U   E I N D H O V E N ;   G R I E R   D A ,   2 0 1 1 ,   C O M P U T E R ,   V 4 4 ,   P 6 ;   G u i t t a r d   C l a u d e ,   C R O W D S O U R C I N G   M O D A L I ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   H o w e   J . ,   2 0 0 6 ,   C R O W D S O U R C I N G   D E F I N I ;   K l e e m a n n   F . ,   2 0 0 8 ,   S C I   T E C H N O L O G Y   I N N O V ,   V 4 ,   P 5 ;   O l i v e i r a   F ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 3 8 5 s ,   P 4 1 2 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 6 9 8 5 - 4 _ 3 7 ;   P e n i n   J u l i e n ,   2 0 0 8 ,   R E T H I N K I N G   C O N C E P T   O ;   P e n i n   J u l i e n ,   2 0 1 0 ,   W O R K S H   O P   S O U R C   I N N V ;   P i n t o - M o l i n a   M a r i a ,   2 0 0 7 ,   R E V   E S P A T I O L A   D O C U M E ,   V 2 7 ,   P 3 4 5 ;   P i s a n o   G P ,   2 0 0 8 ,   H A R V A R D   B U S   R E V ,   V 8 6 ,   P 7 8 ;   R e i c h w a l d   R . ,   2 0 0 6 ,   I N T E R A K T I V E   W E R T S C H O ;   R e n d e r   B a r r y ,   2 0 1 0 ,   P R I N C I P L E S   O P E R A T I O N ;   S c h a d e r   M a r t i n ,   2 0 1 1 ,   P   7   A M   C   I N F   S Y S T   D E ;   S c h e n k   E . ,   2 0 1 1 ,   J   I N N O V A T I O N   E C ,   V 1 ,   P 9 3 ,   D O I   D O I   1 0 . 3 9 1 7 / J I E . 0 0 7 . 0 0 9 3 ;   S c h e n k   E ,   2 0 0 9 ,   C R O W D S O U R C I N G   W H A T   C ;   S l o a n e   P . ,   2 0 1 1 ,   S T R A T E G I C   D I R E C T I O N ,   V 2 7 ,   P 3 ;   V u k o v i c   M a j a ,   2 0 0 9 ,   P r o c e e d i n g s   o f   t h e   2 0 0 9   I E E E   C o n g r e s s   o n   S e r v i c e s .   S E R V I C E S   2 0 0 9 ,   D O I   1 0 . 1 1 0 9 / S E R V I C E S - I . 2 0 0 9 . 5 6 ;   V u k o v i c   M . ,   2 0 1 0 ,   P   1 2   A C M   I N T   C ,   P 5 2 3 ,   D O I   1 0 . 1 1 4 5 / 1 8 6 4 4 3 1 . 1 8 6 4 5 0 4 ;   V u k o v i c   M ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 4 1 5 ,   P 4 2 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 6 5 5 8 - 0 _ 3 6 ;   V u k o v i c   M ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 4 7 0 ,   P 7 3 3 ;   W e x l e r   M . N . ,   2 0 1 1 ,   I N T   J   S O C I O L O G Y   S O C I ,   V 3 1 ,   P 6 ,   D O I   D O I   1 0 . 1 1 0 8 / 0 1 4 4 3 3 3 1 1 1 1 1 0 4 7 7 9 ;   W i k i p e d i a ,   2 0 1 1 ,   L I S T   C R O W D S   P R O J 	 4 0 	 0 	 0 	 E P I 	 B A R C E L O N A 	 A P A R T A D O   3 2   2 8 0 ,   B A R C E L O N A ,   0 8 0 8 0 ,   S P A I N 	 1 3 8 6 - 6 7 1 0 	 	 	 P R O F   I N F O R M 	 P r o f .   I n f . 	 M A Y - J U N 	 2 0 1 2 	 2 1 	 3 	 	 	 	 	 2 8 3 	 2 9 1 	 	 	 	 9 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 9 6 1 V H 	 W O S : 0 0 0 3 0 5 4 9 7 1 0 0 0 0 9 	 	 
 J 	 G h o s e ,   A ;   I p e i r o t i s ,   P G ;   L i ,   B B 	 	 	 	 G h o s e ,   A n i n d y a ;   I p e i r o t i s ,   P a n a g i o t i s   G . ;   L i ,   B e i b e i 	 	 	 D e s i g n i n g   R a n k i n g   S y s t e m s   f o r   H o t e l s   o n   T r a v e l   S e a r c h   E n g i n e s   b y   M i n i n g   U s e r - G e n e r a t e d   a n d   C r o w d s o u r c e d   C o n t e n t 	 M A R K E T I N G   S C I E N C E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 u s e r - g e n e r a t e d   c o n t e n t ;   s o c i a l   m e d i a ;   s e a r c h   e n g i n e s ;   h o t e l s ;   r a n k i n g   s y s t e m ;   s t r u c t u r a l   m o d e l s ;   t e x t   m i n i n g ;   c r o w d s o u r c i n g 	 O N L I N E   P R O D U C T   R E V I E W S ;   W O R D - O F - M O U T H ;   R E G R E S S I O N   D I S C O N T I N U I T Y   D E S I G N ;   B R A N D   C H O I C E   M O D E L S ;   R E C O M M E N D A T I O N   S Y S T E M S ;   M A R K E T I N G - R E S E A R C H ;   B O X - O F F I C E ;   S A L E S ;   E N D O G E N E I T Y ;   I M P A C T 	 U s e r - g e n e r a t e d   c o n t e n t   o n   s o c i a l   m e d i a   p l a t f o r m s   a n d   p r o d u c t   s e a r c h   e n g i n e s   i s   c h a n g i n g   t h e   w a y   c o n s u m e r s   s h o p   f o r   g o o d s   o n l i n e .   H o w e v e r ,   c u r r e n t   p r o d u c t   s e a r c h   e n g i n e s   f a i l   t o   e f f e c t i v e l y   l e v e r a g e   i n f o r m a t i o n   c r e a t e d   a c r o s s   d i v e r s e   s o c i a l   m e d i a   p l a t f o r m s .   M o r e o v e r ,   c u r r e n t   r a n k i n g   a l g o r i t h m s   i n   t h e s e   p r o d u c t   s e a r c h   e n g i n e s   t e n d   t o   i n d u c e   c o n s u m e r s   t o   f o c u s   o n   o n e   s i n g l e   p r o d u c t   c h a r a c t e r i s t i c   d i m e n s i o n   ( e . g . ,   p r i c e ,   s t a r   r a t i n g ) .   T h i s   a p p r o a c h   l a r g e l y   i g n o r e s   c o n s u m e r s '   m u l t i d i m e n s i o n a l   p r e f e r e n c e s   f o r   p r o d u c t s .   I n   t h i s   p a p e r ,   w e   p r o p o s e   t o   g e n e r a t e   a   r a n k i n g   s y s t e m   t h a t   r e c o m m e n d s   p r o d u c t s   t h a t   p r o v i d e ,   o n   a v e r a g e ,   t h e   b e s t   v a l u e   f o r   t h e   c o n s u m e r ' s   m o n e y .   T h e   k e y   i d e a   i s   t h a t   p r o d u c t s   t h a t   p r o v i d e   a   h i g h e r   s u r p l u s   s h o u l d   b e   r a n k e d   h i g h e r   o n   t h e   s c r e e n   i n   r e s p o n s e   t o   c o n s u m e r   q u e r i e s .   W e   u s e   a   u n i q u e   d a t a   s e t   o f   U . S .   h o t e l   r e s e r v a t i o n s   m a d e   o v e r   a   t h r e e - m o n t h   p e r i o d   t h r o u g h   T r a v e l o c i t y ,   w h i c h   w e   s u p p l e m e n t   w i t h   d a t a   f r o m   v a r i o u s   s o c i a l   m e d i a   s o u r c e s   u s i n g   t e c h n i q u e s   f r o m   t e x t   m i n i n g ,   i m a g e   c l a s s i f i c a t i o n ,   s o c i a l   g e o t a g g i n g ,   h u m a n   a n n o t a t i o n s ,   a n d   g e o m a p p i n g .   W e   p r o p o s e   a   r a n d o m   c o e f f i c i e n t   h y b r i d   s t r u c t u r a l   m o d e l ,   t a k i n g   i n t o   c o n s i d e r a t i o n   t h e   t w o   s o u r c e s   o f   c o n s u m e r   h e t e r o g e n e i t y   t h e   d i f f e r e n t   t r a v e l   o c c a s i o n s   a n d   d i f f e r e n t   h o t e l   c h a r a c t e r i s t i c s   i n t r o d u c e .   B a s e d   o n   t h e   e s t i m a t e s   f r o m   t h e   m o d e l ,   w e   i n f e r   t h e   e c o n o m i c   i m p a c t   o f   v a r i o u s   l o c a t i o n   a n d   s e r v i c e   c h a r a c t e r i s t i c s   o f   h o t e l s .   W e   t h e n   p r o p o s e   a   n e w   h o t e l   r a n k i n g   s y s t e m   b a s e d   o n   t h e   a v e r a g e   u t i l i t y   g a i n   a   c o n s u m e r   r e c e i v e s   f r o m   s t a y i n g   i n   a   p a r t i c u l a r   h o t e l .   B y   d o i n g   s o ,   w e   c a n   p r o v i d e   c u s t o m e r s   w i t h   t h e   " b e s t - v a l u e "   h o t e l s   e a r l y   o n .   O u r   u s e r   s t u d i e s ,   u s i n g   r a n k i n g   c o m p a r i s o n s   f r o m   s e v e r a l   t h o u s a n d   u s e r s ,   v a l i d a t e   t h e   s u p e r i o r i t y   o f   o u r   r a n k i n g   s y s t e m   r e l a t i v e   t o   e x i s t i n g   s y s t e m s   o n   s e v e r a l   t r a v e l   s e a r c h   e n g i n e s .   O n   a   b r o a d e r   n o t e ,   t h i s   p a p e r   i l l u s t r a t e s   h o w   s o c i a l   m e d i a   c a n   b e   m i n e d   a n d   i n c o r p o r a t e d   i n t o   a   d e m a n d   e s t i m a t i o n   m o d e l   i n   o r d e r   t o   g e n e r a t e   a   n e w   r a n k i n g   s y s t e m   i n   p r o d u c t   s e a r c h   e n g i n e s .   W e   t h u s   h i g h l i g h t   t h e   t i g h t   l i n k a g e s   b e t w e e n   u s e r   b e h a v i o r   o n   s o c i a l   m e d i a   a n d   s e a r c h   e n g i n e s .   O u r   i n t e r d i s c i p l i n a r y   a p p r o a c h   p r o v i d e s   s e v e r a l   i n s i g h t s   f o r   u s i n g   m a c h i n e   l e a r n i n g   t e c h n i q u e s   i n   e c o n o m i c s   a n d   m a r k e t i n g   r e s e a r c h . 	 [ G h o s e ,   A n i n d y a ;   I p e i r o t i s ,   P a n a g i o t i s   G . ;   L i ,   B e i b e i ]   N Y U ,   S t e r n   S c h   B u s i n e s s ,   D e p t   I n f o r m a t   O p e r a t   &   M a n a g e m e n t   S c i ,   N e w   Y o r k ,   N Y   1 0 0 1 2   U S A 	 G h o s e ,   A   ( r e p r i n t   a u t h o r ) ,   N Y U ,   S t e r n   S c h   B u s i n e s s ,   D e p t   I n f o r m a t   O p e r a t   &   M a n a g e m e n t   S c i ,   5 5 0   1 S t   A v e ,   N e w   Y o r k ,   N Y   1 0 0 1 2   U S A . 	 a g h o s e @ s t e r n . n y u . e d u ;   p a n o s @ s t e r n . n y u . e d u ;   b l i @ s t e r n . n y u . e d u 	 	 	 	 	 A g i c h t e i n   E . ,   2 0 0 6 ,   P r o c e e d i n g s   o f   t h e   T w e n t y - N i n t h   A n n u a l   I n t e r n a t i o n a l   A C M   S I G I R   C o n f e r e n c e   o n   R e s e a r c h   a n d   D e v e l o p m e n t   i n   I n f o r m a t i o n   R e t r i e v a l ,   D O I   1 0 . 1 1 4 5 / 1 1 4 8 1 7 0 . 1 1 4 8 1 7 5 ;   A n s a r i   A ,   2 0 0 3 ,   J   M A R K E T I N G   R E S ,   V 4 0 ,   P 1 3 1 ,   D O I   1 0 . 1 5 0 9 / j m k r . 4 0 . 2 . 1 3 1 . 1 9 2 2 4 ;   A n s a r i   A ,   2 0 0 0 ,   J   M A R K E T I N G   R E S ,   V 3 7 ,   P 3 6 3 ,   D O I   1 0 . 1 5 0 9 / j m k r . 3 7 . 3 . 3 6 3 . 1 8 7 7 9 ;   A r c h a k   N ,   2 0 1 1 ,   M A N A G E   S C I ,   V 5 7 ,   P 1 4 8 5 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 1 0 . 1 3 7 0 ;   A t h e y   S ,   2 0 0 7 ,   I N T   E C O N   R E V ,   V 4 8 ,   P 1 1 5 9 ;   B e r r y   S ,   2 0 0 4 ,   R E V   E C O N   S T U D ,   V 7 1 ,   P 6 1 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 7 X . 2 0 0 4 . 0 0 2 9 8 . x ;   B E R R Y   S ,   1 9 9 5 ,   E C O N O M E T R I C A ,   V 6 3 ,   P 8 4 1 ,   D O I   1 0 . 2 3 0 7 / 2 1 7 1 8 0 2 ;   B e r r y   S ,   2 0 0 7 ,   I N T   E C O N   R E V ,   V 4 8 ,   P 1 1 9 3 ;   B o d a p a t i   A V ,   2 0 0 8 ,   J   M A R K E T I N G   R E S ,   V 4 5 ,   P 7 7 ,   D O I   1 0 . 1 5 0 9 / j m k r . 4 5 . 1 . 7 7 ;   B r u n o   H A ,   2 0 0 8 ,   M A R K E T   S C I ,   V 2 7 ,   P 1 1 2 6 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 0 8 0 . 0 3 6 6 ;   C h e v a l i e r   J A ,   2 0 0 6 ,   J   M A R K E T I N G   R E S ,   V 4 3 ,   P 3 4 5 ,   D O I   1 0 . 1 5 0 9 / j m k r . 4 3 . 3 . 3 4 5 ;   C h i n t a g u n t a   P ,   2 0 0 5 ,   M A N A G E   S C I ,   V 5 1 ,   P 8 3 2 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 4 0 . 0 3 2 3 ;   C h u n g   T S ,   2 0 0 9 ,   M A R K E T   S C I ,   V 2 8 ,   P 5 2 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 0 8 0 . 0 3 7 1 ;   D a s   S R ,   2 0 0 7 ,   M A N A G E   S C I ,   V 5 3 ,   P 1 3 7 5 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 7 0 . 0 7 0 4 ;   D e c k e r   R ,   2 0 1 0 ,   I N T   J   R E S   M A R K ,   V 2 7 ,   P 2 9 3 ,   D O I   1 0 . 1 0 1 6 / j . i j r e s m a r . 2 0 1 0 . 0 9 . 0 0 1 ;   D e l l a r o c a s   C ,   2 0 0 7 ,   J   I N T E R A C T   M A R K ,   V 2 1 ,   P 2 3 ,   D O I   1 0 . 1 0 0 2 / d i r . 2 0 0 8 7 ;   D h a r   V ,   2 0 1 0 ,   I N F O R M   S Y S T   R E S ,   V 2 1 ,   P 7 6 0 ,   D O I   1 0 . 1 2 8 7 / i s r e . 1 1 0 0 . 0 3 1 5 ;   D h a r   V ,   2 0 0 9 ,   J   I N T E R A C T   M A R K ,   V 2 3 ,   P 3 0 0 ,   D O I   1 0 . 1 0 1 6 / j . i n t m a r . 2 0 0 9 . 0 7 . 0 0 4 ;   D u a n   W J ,   2 0 0 8 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 5 ,   P 1 0 0 7 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 8 . 0 4 . 0 0 1 ;   E l i a s h b e r g   J ,   2 0 0 7 ,   M A N A G E   S C I ,   V 5 3 ,   P 8 8 1 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 6 6 8 ;   F a d e r   P S ,   1 9 9 6 ,   J   M A R K E T I N G   R E S ,   V 3 3 ,   P 4 4 2 ,   D O I   1 0 . 2 3 0 7 / 3 1 5 2 2 1 5 ;   F e l l b a u m   C . ,   1 9 9 8 ,   W O R D N E T   E L E C T   L E X I C A ;   F o r m a n   C ,   2 0 0 8 ,   I N F O R M   S Y S T   R E S ,   V 1 9 ,   P 2 9 1 ,   D O I   1 0 . 1 2 8 7 / i s r e . 1 0 8 0 . 0 1 9 3 ;   G h o s e   A ,   2 0 0 9 ,   D I M E N S I O N S   R E P U T A T I O ;   G h o s e   A ,   2 0 1 1 ,   I E E E   T   K N O W L   D A T A   E N ,   V 2 3 ,   P 1 4 9 8 ,   D O I   1 0 . 1 1 0 9 / T K D E . 2 0 1 0 . 1 8 8 ;   G o d e s   D ,   2 0 0 4 ,   M A R K E T   S C I ,   V 2 3 ,   P 5 4 5 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 0 4 0 . 0 0 7 1 ;   H a r t m a n n   W ,   2 0 1 1 ,   M A R K E T   S C I ,   V 3 0 ,   P 1 0 7 9 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 1 1 0 . 0 6 7 0 ;   H a u s m a n   J . ,   1 9 9 6 ,   E C   N E W   G O O D S   S T U D I E S ,   V 5 8 ,   P 2 0 7 ;   H u   M . ,   2 0 0 4 ,   P   1 0   A C M   S I G K D D   I N T ,   P 1 6 8 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 0 1 4 0 5 2 . 1 0 1 4 0 7 3 ;   H u   N . ,   2 0 0 6 ,   P   7   A C M   C   E L   C O M M ,   P 3 2 4 ,   D O I   1 0 . 1 1 4 5 / 1 1 3 4 7 0 7 . 1 1 3 4 7 4 3 ;   L e e   T Y ,   2 0 1 1 ,   J   M A R K E T I N G   R E S ,   V 4 8 ,   P 8 8 1 ;   L i   X X ,   2 0 0 8 ,   I N F O R M   S Y S T   R E S ,   V 1 9 ,   P 4 5 6 ,   D O I   1 0 . 1 2 8 7 / i s r e . 1 0 7 0 . 0 1 5 4 ;   L i u   Y ,   2 0 0 6 ,   J   M A R K E T I N G ,   V 7 0 ,   P 7 4 ,   D O I   1 0 . 1 5 0 9 / j m k g . 7 0 . 3 . 7 4 ;   L u c a   M . ,   2 0 1 1 ,   1 2 0 1 6   H A R V   B U S   S C H ;   M a n n i n g   C .   D . ,   1 9 9 9 ,   F D N   S T A T   N A T U R A L   L A N ;   M c C r a r y   J ,   2 0 0 8 ,   J   E C O N O M E T R I C S ,   V 1 4 2 ,   P 6 9 8 ,   D O I   1 0 . 1 0 1 6 / j . j e c o n o m . 2 0 0 7 . 0 5 . 0 0 5 ;   M o e   W . ,   2 0 0 9 ,   M U C H   D O E S   G O O D   P R O D U ;   N a i r   H ,   2 0 0 5 ,   M A R K E T   S C I ,   V 2 4 ,   P 4 4 4 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 0 4 0 . 0 1 0 1 ;   N e t z e r   O ,   2 0 1 2 ,   M A R K E T   S C I ,   V 3 1 ,   P 5 2 1 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 1 2 0 . 0 7 1 3 ;   N e v o   A ,   2 0 0 1 ,   E C O N O M E T R I C A ,   V 6 9 ,   P 3 0 7 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 8 - 0 2 6 2 . 0 0 1 9 4 ;   P a n g   B . ,   2 0 0 4 ,   P   4 2   A N N   M   A S S   C O M P ,   D O I   D O I   1 0 . 3 1 1 5 / 1 2 1 8 9 5 5 . 1 2 1 8 9 9 0 ;   P o p e s c u   A . - M . ,   2 0 0 5 ,   P   H U M   L A N G   T E C H N   C   C ,   P 3 3 9 ,   D O I   1 0 . 3 1 1 5 / 1 2 2 0 5 7 5 . 1 2 2 0 6 1 8 ;   R u s t   R T ,   2 0 0 6 ,   M A R K E T   S C I ,   V 2 5 ,   P 5 6 0 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 0 5 0 . 0 1 3 9 ;   S c a f f i d i   C . ,   2 0 0 7 ,   P   8   A C M   C   E L   C O M M ,   P 1 8 2 ,   D O I   1 0 . 1 1 4 5 / 1 2 5 0 9 1 0 . 1 2 5 0 9 3 8 ;   S o n g   M . ,   2 0 1 1 ,   0 8 0 9   F R   U   R O C H   S I M   S ;   S T E C K E L   J H ,   1 9 9 3 ,   M A R K E T   S C I ,   V 1 2 ,   P 4 1 5 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 2 . 4 . 4 1 5 ;   V i l l a s - B o a s   J M ,   1 9 9 9 ,   M A N A G E   S C I ,   V 4 5 ,   P 1 3 2 4 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 5 . 1 0 . 1 3 2 4 ;   Y a m a m o t o   T . ,   2 0 1 1 ,   M U L T I N O M I A L   R E S P O N S E ;   Y i n g   Y P ,   2 0 0 6 ,   J   M A R K E T I N G   R E S ,   V 4 3 ,   P 3 5 5 ,   D O I   1 0 . 1 5 0 9 / j m k r . 4 3 . 3 . 3 5 5 	 4 9 	 1 2 	 1 2 	 I N F O R M S 	 H A N O V E R 	 7 2 4 0   P A R K W A Y   D R ,   S T E   3 1 0 ,   H A N O V E R ,   M D   2 1 0 7 6 - 1 3 4 4   U S A 	 0 7 3 2 - 2 3 9 9 	 	 	 M A R K E T   S C I 	 M a r k .   S c i . 	 M A Y - J U N 	 2 0 1 2 	 3 1 	 3 	 	 	 S I 	 	 4 9 3 	 5 2 0 	 	 1 0 . 1 2 8 7 / m k s c . 1 1 1 0 . 0 7 0 0 	 	 2 8 	 B u s i n e s s 	 B u s i n e s s   &   E c o n o m i c s 	 9 5 0 G Q 	 W O S : 0 0 0 3 0 4 6 3 8 0 0 0 0 0 8 	 	 
 J 	 S c h w e i t z e r ,   F M ;   B u c h i n g e r ,   W ;   G a s s m a n n ,   O ;   O b r i s t ,   M 	 	 	 	 S c h w e i t z e r ,   F i o n a   M a r i a ;   B u c h i n g e r ,   W a l t e r ;   G a s s m a n n ,   O l i v e r ;   O b r i s t ,   M a r i a n n a 	 	 	 C r o w d s o u r c i n g   L e v e r a g i n g   I n n o v a t i o n   t h r o u g h   O n l i n e   I d e a   C o m p e t i t i o n s 	 R E S E A R C H - T E C H N O L O G Y   M A N A G E M E N T 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 V i r t u a l   c o m m u n i t i e s ;   I d e a   c o m p e t i t i o n s ;   F o c u s   g r o u p s ;   F u z z y   f r o n t   e n d 	 P R O D U C T   D E V E L O P M E N T 	 O V E R V I E W :   A l o n g   w i t h   o t h e r   W e b   2 . 0   m a r k e t   i n t e l l i g e n c e   t o o l s ,   o n l i n e   i d e a   c o m p e t i t i o n s   c a n   p r o v i d e   e s s e n t i a l   i n p u t   f o r   d e c i s i o n   m a k i n g   i n   t h e   e a r l y   p h a s e s   o f   p r o d u c t   i n n o v a t i o n .   H o w e v e r ,   i n   o r d e r   t o   u s e   o n l i n e   c o m p e t i t i o n s   e f f e c t i v e l y ,   i t   i s   e s s e n t i a l   t o   k n o w   w h e n   t o   u s e   w h i c h   m e t h o d ,   h o w   t o   u s e   i t ,   a n d   t o   w h a t   e x t e n t   v i r t u a l   a n d   c o n v e n t i o n a l   r e s e a r c h   t e c h n i q u e s   c a n   b e   u s e d   i n t e r c h a n g e a b l y   o r   c o m p l e m e n t a r i l y .   A   f i r s t   s t e p   t o w a r d   a s s e s s i n g   t h e   p o w e r   o f   W e b   2 . 0   t e c h n i q u e s   i s   t o   c o m p a r e   t h e m   w i t h   t r a d i t i o n a l   o n e s .   W e   c o m p a r e   t h e   e x p e n s e   a n d   r e s u l t s   o f   o n l i n e   i d e a   c o m p e t i t i o n s   w i t h   f o c u s   g r o u p s   f o r   i d e a   g e n e r a t i o n   i n   t h e   m a r k e t   f o r   s e n i o r   c i t i z e n   m o b i l e   p h o n e s   a n d   s e r v i c e s .   W e   f i n d   t h a t   i d e a   c o m p e t i t i o n s   l e a d   t o   m o r e   a n d   b e t t e r   i d e a s   a t   a   l o w e r   c o s t   p e r   i d e a ,   w h i l e   f o c u s   g r o u p s   y i e l d   r i c h e r   i n t e r a c t i o n s   w i t h   u s e r s . 	 [ G a s s m a n n ,   O l i v e r ]   U n i v   S t   G a l l e n ,   I n s t   T e c h n o l   M a n a g e m e n t ,   S t   G a l l e n ,   S w i t z e r l a n d ;   [ O b r i s t ,   M a r i a n n a ]   S a l z b u r g   U n i v ,   H C I   &   U s a b i l ,   A - 5 0 2 0   S a l z b u r g ,   A u s t r i a ;   [ O b r i s t ,   M a r i a n n a ]   N e w c a s t l e   U n i v ,   C u l t u r e   L a b ,   D i g i t a l   I n t e r a c t   G r p ,   N e w c a s t l e   U p o n   T y n e   N E 1   7 R U ,   T y n e   &   W e a r ,   E n g l a n d 	 	 f . s c h w e i t z e r @ f h - w e l s . a t ;   b u c h i n g e r @ e m p o r i a . a t ;   o l i v e r . g a s s m a n n @ u n i s g . c h ;   m a r i a n n a . o b r i s t @ n e w c a s t l e . a c . u k 	 	 	 A u s t r i a n   R e s e a r c h   P r o m o t i o n   A g e n c y   ( F F G ) ;   F F G ;   Z I T   C e n t e r   f o r   I n n o v a t i o n   a n d   T e c h n o l o g y ;   p r o v i n c e   o f   S a l z b u r g   [ 8 2 5 3 4 5 ] 	 T h e   r e s e a r c h   p r e s e n t e d   w a s   c o n d u c t e d   w i t h i n   t h e   A u s t r i a n   p r o j e c t s   F r o n t   E n d   ( F F G . N r . 6 0 7 4 0 4 ) ,   f u n d e d   b y   t h e   A u s t r i a n   R e s e a r c h   P r o m o t i o n   A g e n c y   ( F F G ) ,   a n d   A I R - A d v a n c e d   I n t e r f a c e   R e s e a r c h ,   f u n d e d   b y   F F G ,   t h e   Z I T   C e n t e r   f o r   I n n o v a t i o n   a n d   T e c h n o l o g y ,   a n d   t h e   p r o v i n c e   o f   S a l z b u r g   u n d e r   c o n t r a c t   n u m b e r   8 2 5 3 4 5 .   S p e c i a l   t h a n k s   t o   F l o r i a n   F o r s t e r   a n d   C h r i s t i a n e   M o s e r   f o r   c o n d u c t i n g   a n d   r e a l i z i n g   t h e   f o c u s   g r o u p   w o r k s h o p s .   W e   w o u l d   a l s o   l i k e   t o   t h a n k   W o l f g a n g   S e l l n e r ,   E l k e   B e c k ,   a n d   M a g d a l e n a   G a r t n e r   f o r   t h e i r   s u p p o r t   t h r o u g h o u t   t h e   p r e p a r a t i o n   a n d   a n a l y s i s   p h a s e s   o f   t h e   f o c u s   g r o u p s ,   a s   w e l l   a s   P r o f e s s o r   M a n f r e d   T s c h e l i g i .   F i n a l l y ,   w e   a c k n o w l e d g e   t h e   e n g a g e m e n t   a n d   c o n t r i b u t i o n s   o f   a l l   t h e   s t u d y   p a r t i c i p a n t s . 	 B e c k   E . ,   2 0 0 8 ,   P   P A R T   D E S   C   2 0 0 8   N E ,   P 1 6 2 ;   C h e s b r o u g h   H . ,   2 0 0 3 ,   O P E N   I N N O V A T I O N   N E W ;   E b n e r   W ,   2 0 0 9 ,   R & D   M A N A G E ,   V 3 9 ,   P 3 4 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 9 . 0 0 5 6 4 . x ;   F u l l e r   J ,   2 0 1 0 ,   C A L I F   M A N A G E   R E V ,   V 5 2 ,   P 9 8 ;   G a s s m a n n   O . ,   2 0 1 0 ,   C R O W D S O U R C I N G   I N N O V A ;   H e m e t s b e r g e r   A ,   2 0 0 7 ,   J   B U S - B U S   M A R K ,   V 1 4 ,   P 1 ,   D O I   1 0 . 1 3 0 0 / J 0 3 3 v 1 4 n 0 2 _ 0 1 ;   H o f f m a n   D L ,   2 0 1 0 ,   J   M A R K E T I N G   R E S ,   V 4 7 ,   P 8 5 4 ;   K o e n   P ,   2 0 0 1 ,   R E S   T E C H N O L   M A N A G E ,   V 4 4 ,   P 4 6 ;   K r i p p e n d o r f f   K . ,   2 0 0 4 ,   C O N T E N T   A N A L   I N T R O   I ;   L i l i e n   G L ,   2 0 0 2 ,   M A N A G E   S C I ,   V 4 8 ,   P 1 0 4 2 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 8 . 8 . 1 0 4 2 . 1 7 1 ;   O b r i s t   M ,   2 0 0 7 ,   I N T   J   I N T E R D I S C I P L I N ,   V 2 ,   P 2 0 3 ;   P a t t o n   M . ,   2 0 0 2 ,   Q U A L I T A T I V E   R E S   E V A L ;   R u s h k o f f   D ,   2 0 0 5 ,   G E T   B A C K   B O X   I N N O V A T ;   v o n   H i p p e l   E r i c ,   2 0 0 5 ,   D E M O C R A T I Z I N G   I N N O V A 	 1 4 	 4 	 4 	 I N D U S T R I A L   R E S E A R C H   I N S T ,   I N C 	 A R L I N G T O N 	 2 2 0 0   C L A R E N D O N   B L V D ,   S T E   1 1 0 2 ,   A R L I N G T O N ,   V A   2 2 2 0 1   U S A 	 0 8 9 5 - 6 3 0 8 	 	 	 R E S   T E C H N O L   M A N A G E 	 R e s . - T e c h n o l .   M a n a g e . 	 M A Y - J U N 	 2 0 1 2 	 5 5 	 3 	 	 	 	 	 3 2 	 3 8 	 	 1 0 . 5 4 3 7 / 0 8 9 5 6 3 0 8 X 5 5 0 3 0 5 5 	 	 7 	 B u s i n e s s ;   E n g i n e e r i n g ,   I n d u s t r i a l ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s ;   E n g i n e e r i n g 	 9 3 2 O L 	 W O S : 0 0 0 3 0 3 3 0 0 3 0 0 0 0 8 	 	 
 J 	 B r i d g e ,   D ;   H e a l y ,   P 	 	 	 	 B r i d g e ,   D e r e k ;   H e a l y ,   P a u l 	 	 	 T h e   G h o s t W r i t e r - 2 . 0   C a s e - B a s e d   R e a s o n i n g   s y s t e m   f o r   m a k i n g   c o n t e n t   s u g g e s t i o n s   t o   t h e   a u t h o r s   o f   p r o d u c t   r e v i e w s 	 K N O W L E D G E - B A S E D   S Y S T E M S 	 	 	 E n g l i s h 	 R e v i e w 	 	 	 	 	 	 C a s e - B a s e d   R e a s o n i n g ;   P r o d u c t   r e v i e w s ;   W e b   2 . 0 ;   C r o w d s o u r c i n g ;   K n o w l e g e - b a s e d   s y s t e m 	 W E B 	 I t   i s   n o t   u n c o m m o n   n o w   f o r   p e o p l e   t o   w r i t e   r e v i e w s   o f   p r o d u c t s   a n d   s e r v i c e s   a n d   t o   p u b l i s h   t h e m   o n   W e b   s i t e s .   T h e y   e x p r e s s   t h e i r   o p i n i o n s   o n   b o o k s   t h e y   h a v e   r e a d ,   m o v i e s   t h e y   h a v e   s e e n ,   h o t e l s   t h e y   h a v e   s t a y e d   i n ,   r e t a i l e r s   w i t h   w h o m   t h e y   h a v e   h a d   d e a l i n g s ,   a n d   s o   o n .   T h e s e   r e v i e w s   a r e   a   s o u r c e   o f   e x p e r i e n c e   t h a t   c a n   i n f o r m   s u b s e q u e n t   u s e r s   w h e n   t h e y   m a k e   p u r c h a s e   a n d   c o n s u m p t i o n   d e c i s i o n s .   B u t   i n   t h i s   p a p e r   w e   s h o w   t h a t   w e   c a n   a l s o   u s e   t h e s e   r e v i e w s   a s   a   s o u r c e   o f   e x p e r i e n c e   t o   s u p p o r t   t h e   a u t h o r s   o f   s u b s e q u e n t   r e v i e w s .   W e   d e s c r i b e   G h o s t W r i t e r - 2 . 0 ,   w h i c h   t a k e s   a   C a s e - B a s e d   R e a s o n i n g   a p p r o a c h   t o   r e u s i n g   e x i s t i n g   r e v i e w s   t o   d y n a m i c a l l y   s u g g e s t   t o p i c s   t h a t   c o u l d   b e   c o v e r e d   b y   t h e   a u t h o r   o f   a   n e w   r e v i e w .   G h o s t W r i t e r - 2 . 0   t a k e s   a   g e n e r a l   C a s e - B a s e d   R e a s o n i n g   a p p r o a c h   b u t   i s   c u r r e n t l y   c o n f i g u r e d   t o   o p e r a t e   w i t h   A m a z o n ' s   i n f o r m a t i o n   s e r v e r s ,   a n d   c a n   t h e r e f o r e   a s s i s t   u s e r s   w h o   a r e   w r i t i n g   r e v i e w s   o f   t h e   w i d e   r a n g e   o f   p r o d u c t s   t h a t   A m a z o n   s e l l s   o n - l i n e .   W e   p r e s e n t   t h e   r e s u l t s   o f   a   u s e r   t r i a l ,   w h i c h   s h o w s   t h a t   t h e   s u g g e s t i o n s   t h a t   G h o s t W r i t e r - 2 . 0   m a k e s   d o   g e t   u s e d   a n d   d o   s e e m   t o   h a v e   v a l u e .   W e   a l s o   p r e s e n t   t h e   r e s u l t s   o f   a n   e x p e r i m e n t   t h a t   c o m p a r e s   d i f f e r e n t   w a y s   o f   p o p u l a t i n g   t h e   c a s e   b a s e   f r o m   w h i c h   t h e   s u g g e s t i o n s   a r e   d r a w n .   ( C )   2 0 1 1   E l s e v i e r   B . V .   A l l   r i g h t s   r e s e r v e d . 	 [ B r i d g e ,   D e r e k ;   H e a l y ,   P a u l ]   U n i v   C o l l   C o r k ,   D e p t   C o m p   S c i ,   C o r k ,   I r e l a n d 	 B r i d g e ,   D   ( r e p r i n t   a u t h o r ) ,   U n i v   C o l l   C o r k ,   D e p t   C o m p   S c i ,   C o r k ,   I r e l a n d . 	 d . b r i d g e @ c s . u c c . i e ;   p j a h e a l y @ g m a i l . c o m 	 	 	 	 	 A A M O D T   A ,   1 9 9 4 ,   A I   C O M M U N ,   V 7 ,   P 3 9 ;   B r i d g e   D ,   2 0 0 5 ,   L E C T   N O T E S   A R T I F   I N T ,   V 3 6 2 0 ,   P 1 ;   E t z i o n i   O ,   2 0 0 8 ,   C O M M U N   A C M ,   V 5 1 ,   P 6 8 ,   D O I   1 0 . 1 1 4 5 / 1 4 0 9 3 6 0 . 1 4 0 9 3 7 8 ;   F r e y n e   J . ,   2 0 0 9 ,   P   W E B C B R   W O R K S H   R E A S ,   P 2 5 ;   G r a b s k i   K . ,   2 0 0 4 ,   P r o c e e d i n g s   o f   S h e f f i e l d   S I G I R   2 0 0 4 .   T h e   T w e n t y - S e v e n t h   A n n u a l   I n t e r n a t i o n a l   A C M   S I G I R   C o n f e r e n c e   o n   R e s e a r c h   a n d   D e v e l o p m e n t   i n   I n f o r m a t i o n   R e t r i e v a l ,   D O I   1 0 . 1 1 4 5 / 1 0 0 8 9 9 2 . 1 0 0 9 0 6 6 ;   K i t t r e d g e   R . ,   1 9 8 2 ,   S U B L A N G U A G E   S T U D I E S ;   K o l o d n e r   J . ,   1 9 9 3 ,   C A S E   B A S E D   R E A S O N I N G ;   L a m o n t a g n e   L . ,   2 0 0 4 ,   L N C S   L N A I ,   V 3 1 5 5 ,   P 2 3 4 ;   l h l e   N . ,   P   W E B C B R   W O R K S H   R E A S ,   P 3 5 ;   L i n d e n   G ,   2 0 0 3 ,   I E E E   I N T E R N E T   C O M P U T ,   V 7 ,   P 7 6 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 0 3 . 1 1 6 7 3 4 4 ;   N a n d i   A r n a b ,   2 0 0 7 ,   P   3 3   I N T   C   V E R   L A R G ,   P 2 1 9 ;   P a n g   B . ,   2 0 0 8 ,   F O U N D   T R E N D S   I N F   R E T ,   V 2 ,   P 1 ,   D O I   D O I   1 0 . 1 5 6 1 / 1 5 0 0 0 0 0 0 1 1 ;   P l a z a   E ,   2 0 0 8 ,   L E C T   N O T E S   A R T I F   I N T ,   V 5 2 3 9 ,   P 4 4 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 8 5 5 0 2 - 6 _ 3 ;   P l a z a   E . ,   2 0 0 9 ,   P   W E B C B R   W O R K S H   R E A S ,   P 5 5 ;   S m y t h   B . ,   2 0 0 9 ,   P   W O R K S H   G R A N D   C H A L L ,   P 5 3 ;   S m y t h   B ,   2 0 0 1 ,   L E C T   N O T E S   A R T I F   I N T ,   V 2 0 8 0 ,   P 3 4 7 ;   W a u g h   A . ,   2 0 0 9 ,   P   2 0   I R   C   A R T   I N T   C O ,   P 2 6 4 	 1 7 	 1 	 1 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 0 9 5 0 - 7 0 5 1 	 	 	 K N O W L - B A S E D   S Y S T 	 K n o w l e d g e - B a s e d   S y s t . 	 M A Y 	 2 0 1 2 	 2 9 	 	 	 	 S I 	 	 9 3 	 1 0 3 	 	 1 0 . 1 0 1 6 / j . k n o s y s . 2 0 1 1 . 0 6 . 0 2 4 	 	 1 1 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e 	 C o m p u t e r   S c i e n c e 	 9 2 6 H B 	 W O S : 0 0 0 3 0 2 8 2 0 8 0 0 0 1 1 	 	 
 J 	 O s t r o w s k i ,   A ;   C h e n ,   S ;   V e l e d a r ,   E ;   S p e r d u t o ,   A ;   S w e r l i c k ,   R 	 	 	 	 O s t r o w s k i ,   A . ;   C h e n ,   S . ;   V e l e d a r ,   E . ;   S p e r d u t o ,   A . ;   S w e r l i c k ,   R . 	 	 	 I n t e r n e t   c r o w d s o u r c i n g   a s   a   v e n u e   f o r   c o l l e c t i o n   o f   d e r m a t o l o g i c   q u a l i t y   o f   l i f e   d a t a 	 J O U R N A L   O F   I N V E S T I G A T I V E   D E R M A T O L O G Y 	 	 	 E n g l i s h 	 M e e t i n g   A b s t r a c t 	 7 5 t h   A n n u a l   M e e t i n g   o f   t h e   S o c i e t y - f o r - I n v e s t i g a t i v e - D e r m a t o l o g y 	 M A Y   0 9 - 1 2 ,   2 0 1 2 	 R a l e i g h ,   N C 	 S o c   I n v e s t i g a t   D e r m a t o l 	 	 	 	 	 [ O s t r o w s k i ,   A . ]   M e d   C o l l   G e o r g i a ,   A u g u s t a ,   G A   3 0 9 1 2   U S A ;   [ C h e n ,   S . ;   V e l e d a r ,   E . ;   S p e r d u t o ,   A . ;   S w e r l i c k ,   R . ]   E m o r y   U n i v ,   S c h   M e d ,   A t l a n t a ,   G A   U S A ;   [ C h e n ,   S . ;   S w e r l i c k ,   R . ]   A t l a n t a   V e t   A d m ,   M e d   C t r ,   A t l a n t a ,   G A   U S A 	 	 	 V e l e d a r ,   E m i r / K - 2 8 0 8 - 2 0 1 2 	 V e l e d a r ,   E m i r / 0 0 0 0 - 0 0 0 2 - 3 8 3 1 - 5 4 3 3 	 	 	 	 0 	 0 	 0 	 N A T U R E   P U B L I S H I N G   G R O U P 	 N E W   Y O R K 	 7 5   V A R I C K   S T ,   9 T H   F L R ,   N E W   Y O R K ,   N Y   1 0 0 1 3 - 1 9 1 7   U S A 	 0 0 2 2 - 2 0 2 X 	 	 	 J   I N V E S T   D E R M A T O L 	 J .   I n v e s t .   D e r m a t o l . 	 M A Y 	 2 0 1 2 	 1 3 2 	 	 	 1 	 	 2 6 5 	 S 4 5 	 S 4 5 	 	 	 	 1 	 D e r m a t o l o g y 	 D e r m a t o l o g y 	 9 2 6 X V 	 W O S : 0 0 0 3 0 2 8 6 6 9 0 0 2 6 5 	 	 
 J 	 F r i t z ,   S ;   M c C a l l u m ,   I ;   S c h i l l ,   C ;   P e r g e r ,   C ;   S e e ,   L ;   S c h e p a s c h e n k o ,   D ;   v a n   d e r   V e l d e ,   M ;   K r a x n e r ,   F ;   O b e r s t e i n e r ,   M 	 	 	 	 F r i t z ,   S t e f f e n ;   M c C a l l u m ,   I a n ;   S c h i l l ,   C h r i s t i a n ;   P e r g e r ,   C h r i s t o p h ;   S e e ,   L i n d a ;   S c h e p a s c h e n k o ,   D m i t r y ;   v a n   d e r   V e l d e ,   M a r i j n ;   K r a x n e r ,   F l o r i a n ;   O b e r s t e i n e r ,   M i c h a e l 	 	 	 G e o - W i k i :   A n   o n l i n e   p l a t f o r m   f o r   i m p r o v i n g   g l o b a l   l a n d   c o v e r 	 E N V I R O N M E N T A L   M O D E L L I N G   &   S O F T W A R E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 L a n d   c o v e r   v a l i d a t i o n ;   C r o w d - s o u r c i n g ;   W e b   m a p   s e r v i c e s ;   G E O S S ;   S O A 	 I N F O R M A T I O N ;   D A T A S E T S 	 L a n d   c o v e r   d e r i v e d   f r o m   r e m o t e l y   s e n s e d   p r o d u c t s   i s   a n   i m p o r t a n t   i n p u t   t o   a   n u m b e r   o f   d i f f e r e n t   g l o b a l ,   r e g i o n a l   a n d   n a t i o n a l   s c a l e   a p p l i c a t i o n s   i n c l u d i n g   r e s o u r c e   a s s e s s m e n t s   a n d   e c o n o m i c   l a n d   u s e   m o d e l s .   D u r i n g   t h e   l a s t   d e c a d e   t h r e e   g l o b a l   l a n d   c o v e r   d a t a s e t s   h a v e   b e e n   c r e a t e d ,   i . e .   t h e   G L C - 2 0 0 0 ,   M O D I S   a n d   G l o b C o v e r ,   b u t   c o m p a r i s o n   s t u d i e s   h a v e   s h o w n   t h a t   t h e r e   a r e   l a r g e   s p a t i a l   d i s c r e p a n c i e s   b e t w e e n   t h e s e   t h r e e   p r o d u c t s .   O n e   o f   t h e   r e a s o n s   f o r   t h e s e   d i s c r e p a n c i e s   i s   t h e   l a c k   o f   s u f f i c i e n t   i n - s i t u   d a t a   f o r   t h e   d e v e l o p m e n t   o f   t h e s e   p r o d u c t s .   T o   a d d r e s s   t h i s   i s s u e ,   a   c r o w d s o u r c i n g   t o o l   c a l l e d   G e o - W i k i   h a s   b e e n   d e v e l o p e d .   G e o - W i k i   h a s   t w o   m a i n   a i m s :   t o   i n c r e a s e   t h e   a m o u n t   o f   i n - s i t u   l a n d   c o v e r   d a t a   a v a i l a b l e   f o r   t r a i n i n g ,   c a l i b r a t i o n   a n d   v a l i d a t i o n ,   a n d   t o   c r e a t e   a   h y b r i d   g l o b a l   l a n d   c o v e r   m a p   t h a t   p r o v i d e s   m o r e   a c c u r a t e   l a n d   c o v e r   i n f o r m a t i o n   t h a n   a n y   c u r r e n t   i n d i v i d u a l   p r o d u c t .   T h i s   p a p e r   o u t l i n e s   t h e   c o m p o n e n t s   t h a t   c o m p r i s e   G e o - W i k i   a n d   h o w   t h e y   a r e   i n t e g r a t e d   i n   t h e   a r c h i t e c t u r a l   d e s i g n .   A n   o v e r v i e w   o f   t h e   m a i n   f u n c t i o n a l i t y   o f   G e o - W i k i   i s   t h e n   p r o v i d e d   a l o n g   w i t h   t h e   c u r r e n t   u s a g e   s t a t i s t i c s   a n d   t h e   l e s s o n s   l e a r n e d   t o   d a t e ,   i n   p a r t i c u l a r   t h e   n e e d   t o   a d d   a   m e c h a n i s m   f o r   f e e d b a c k   a n d   i n t e r a c t i o n   a s   p a r t   o f   c o m m u n i t y   b u i l d i n g ,   a n d   t h e   n e e d   t o   a d d r e s s   i s s u e s   o f   d a t a   q u a l i t y .   T h e   t o o l   i s   l o c a t e d   a t   g e o - w i k i . o r g .   ( C )   2 0 1 1   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ F r i t z ,   S t e f f e n ;   M c C a l l u m ,   I a n ;   P e r g e r ,   C h r i s t o p h ;   S e e ,   L i n d a ;   S c h e p a s c h e n k o ,   D m i t r y ;   v a n   d e r   V e l d e ,   M a r i j n ;   K r a x n e r ,   F l o r i a n ;   O b e r s t e i n e r ,   M i c h a e l ]   I I A S A ,   A - 2 3 6 1   L a x e n b u r g ,   A u s t r i a ;   [ S c h i l l ,   C h r i s t i a n ]   U n i v   F r e i b u r g ,   F r e i b u r g ,   G e r m a n y ;   [ P e r g e r ,   C h r i s t o p h ]   U n i v   A p p l   S c i ,   W i e n e r   N e u s t a d t ,   A u s t r i a 	 F r i t z ,   S   ( r e p r i n t   a u t h o r ) ,   I I A S A ,   S c h l o s s p l   1 ,   A - 2 3 6 1   L a x e n b u r g ,   A u s t r i a . 	 f r i t z @ i i a s a . a c . a t 	 S c h e p a s c h e n k o ,   D m i t r y / E - 9 6 0 3 - 2 0 1 2 ;   v a n   d e r   V e l d e ,   M a r i j n / B - 3 3 0 5 - 2 0 0 9 	 S c h e p a s c h e n k o ,   D m i t r y / 0 0 0 0 - 0 0 0 2 - 7 8 1 4 - 4 9 9 0 ;   	 E u r o p e a n   C o m m u n i t y   [ 2 2 6 4 8 7 ] ;   A u s t r i a n   R e s e a r c h   F u n d i n g   A g e n c y   ( F F G )   [ 8 2 8 3 3 2 ] 	 T h i s   r e s e a r c h   w a s   s u p p o r t e d   b y   t h e   E u r o p e a n   C o m m u n i t y ' s   F r a m e w o r k   P r o g r a m m e   v i a   t h e   P r o j e c t   E u r o G E O S S   ( N o .   2 2 6 4 8 7 )   a n d   b y   t h e   A u s t r i a n   R e s e a r c h   F u n d i n g   A g e n c y   ( F F G )   v i a   t h e   P r o j e c t   L a n d S p o t t i n g   ( N o .   8 2 8 3 3 2 ) .   W e   w o u l d   a l s o   l i k e   t o   t h a n k   t h e   a n o n y m o u s   r e v i e w e r s   f o r   t h e i r   v e r y   u s e f u l   c o m m e n t s   t h a t   l e a d   t o   i m p r o v e m e n t s   i n   t h e   p a p e r . 	 B a r t h o l o m e   E ,   2 0 0 5 ,   I N T   J   R E M O T E   S E N S ,   V 2 6 ,   P 1 9 5 9 ,   D O I   1 0 . 1 0 8 0 / 0 1 4 3 1 1 6 0 4 1 2 3 3 1 2 9 1 2 9 7 ;   B i c h e r o n   P . ,   2 0 0 8 ,   G L O B C O V E R ;   B i r a d a r   C M ,   2 0 0 9 ,   I N T   J   A P P L   E A R T H   O B S ,   V 1 1 ,   P 1 1 4 ,   D O I   1 0 . 1 0 1 6 / j . j a g . 2 0 0 8 . 1 1 . 0 0 2 ;   B i s h r   M o h a m e d ,   2 0 0 8 ,   G E O J O U R N A L ,   V 7 2 ,   P 2 2 9 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 8 - 9 1 8 2 - 4 ;   B o n t e m p s   S . ,   2 0 1 1 ,   G L O B C O V E R   2 0 0 9   P R O D U ;   D i   G r e g o r i o   A . ,   2 0 0 0 ,   L A N D   C O V E R   C L A S S I F I C ;   E r l   T . ,   2 0 0 5 ,   S E R V I C E   O R I E N T E D   A R C ;   F l a n a g i n   A . ,   2 0 0 8 ,   G E O J O U R N A L ,   V 7 2 ,   P 1 3 7 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 8 - 9 1 8 8 - Y ;   F o o d   a n d   A g r i c u l t u r a l   O r g a n i z a t i o n ,   2 0 0 5 ,   F A O S T A T   A G R   D A T ;   F r i e d l   M A ,   2 0 1 0 ,   R E M O T E   S E N S   E N V I R O N ,   V 1 1 4 ,   P 1 6 8 ,   D O I   1 0 . 1 0 1 6 / j . r s e . 2 0 0 9 . 0 8 . 0 1 6 ;   F r i e d l   M A ,   2 0 0 2 ,   R E M O T E   S E N S   E N V I R O N ,   V 8 3 ,   P 2 8 7 ,   D O I   1 0 . 1 0 1 6 / S 0 0 3 4 - 4 2 5 7 ( 0 2 ) 0 0 0 7 8 - 0 ;   F r i t z   S . ,   2 0 1 0 ,   V A L   I N F   W O R K S H   W A S H ;   F r i t z   S ,   2 0 1 1 ,   E N V I R O N   R E S   L E T T ,   V 6 ,   D O I   1 0 . 1 0 8 8 / 1 7 4 8 - 9 3 2 6 / 6 / 4 / 0 4 4 0 0 5 ;   F R I T Z   S ,   2 0 0 8 ,   G L O B A L   C H A N G E   B I O L ,   V 1 4 ,   P 1 ;   F r i t z   S . ,   2 0 1 0 ,   G E O P H Y S   R E S   L E T T ,   V 3 8 ;   F r i t z   S ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 7 8 3 ,   P 3 9 ;   F r i t z   S ,   2 0 0 9 ,   R E M O T E   S E N S - B A S E L ,   V 1 ,   P 3 4 5 ,   D O I   1 0 . 3 3 9 0 / r s 1 0 3 0 3 4 5 ;   F r i t z   S . ,   2 0 0 3 ,   H A R M O N I S A T I O N   M O S A I C ;   F r i t z   S t e f f e n ,   2 0 1 0 ,   I N T   J   R E M O T E   S E N S ,   V 2 5 ,   P 1 5 2 7 ;   G o o d c h i l d   M . ,   2 0 0 8 ,   G E O J O U R N A L ,   V 7 2 ,   P 2 3 9 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 8 - 9 1 9 0 - 4 ;   G o o g l e ,   2 0 1 0 ,   G O O G L   E A R T H   U N D   G O O G ;   H a k l a y   M ,   2 0 1 0 ,   C A R T O G R   J ,   V 4 7 ,   P 3 1 5 ,   D O I   1 0 . 1 1 7 9 / 0 0 0 8 7 0 4 1 0 X 1 2 9 1 1 3 0 4 9 5 8 8 2 7 ;   H a k l a y   M ,   2 0 1 0 ,   E N V I R O N   P L A N N   B ,   V 3 7 ,   P 6 8 2 ,   D O I   1 0 . 1 0 6 8 / b 3 5 0 9 7 ;   H a k l a y   M u k i ,   2 0 0 8 ,   G E O G R A P H Y   C O M P A S S ,   V 2 ,   P 2 0 1 1 ,   D O I   D O I   1 0 . 1 1 1 1 / J . 1 7 4 9 - 8 1 9 8 . 2 0 0 8 . 0 0 1 6 7 . X ;   H a n s e n   M .   C . ,   2 0 0 3 ,   E A R T H   I N T E R A C T ,   V 7 ,   P 1 ,   D O I   [ 1 0 . 1 1 7 5 / 1 0 8 7 - 3 5 6 2 ( 2 0 0 3 ) 0 0 7 ; 0 0 0 1 : G P T C A A & G T ; 2 . 0 . C O ; 2 ,   D O I   1 0 . 1 1 7 5 / 1 0 8 7 - 3 5 6 2 ] ;   H a n s e n   M . C . ,   2 0 0 6 ,   V E G E T A T I O N   C O N T I N U O U ;   H e r o l d   M ,   2 0 0 8 ,   R E M O T E   S E N S   E N V I R O N ,   V 1 1 2 ,   P 2 5 3 8 ,   D O I   1 0 . 1 0 1 6 / j . r s e . 2 0 0 7 . 1 1 . 0 1 3 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   K e e n   T a n y a ,   2 0 1 1 ,   C O M M U N I C A T I O N       0 3 0 4 ;   K h a t i b   F ,   2 0 1 1 ,   N A T   S T R U C T   M O L   B I O L ,   V 1 8 ,   P 1 1 7 5 ,   D O I   1 0 . 1 0 3 8 / n s m b . 2 1 1 9 ;   L e u n g   D . ,   2 0 1 0 ,   P   I E E E   I N T   C   C O M P   V I ,   P 1 ;   L o v e l a n d   T .   R . ,   1 9 9 7 ,   I n t e r n a t i o n a l   J o u r n a l   o f   R e m o t e   S e n s i n g ,   V 1 8 ,   P 3 2 8 9 ,   D O I   1 0 . 1 0 8 0 / 0 1 4 3 1 1 6 9 7 2 1 7 0 9 9 ;   M a r r i s   E . ,   2 0 1 0 ,   N A T U R E ,   D O I   [ 1 0 . 1 0 3 8 / n e w s . 2 0 1 0 . 3 9 5 ,   D O I   1 0 . 1 0 3 8 / N E W S . 2 0 1 0 . 3 9 5 ] ;   N e w m a n   G ,   2 0 1 0 ,   I N T   J   G E O G R   I N F   S C I ,   V 2 4 ,   P 1 8 5 1 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 5 8 8 1 6 . 2 0 1 0 . 4 9 0 5 3 2 ;   O p e n   G e o s p a t i a l   C o n s o r t i u m   I n c ,   2 0 0 4 ,   O G C 0 4 0 3 9 ;   P i t t m a n   K ,   2 0 1 0 ,   R E M O T E   S E N S - B A S E L ,   V 2 ,   P 1 8 4 4 ,   D O I   1 0 . 3 3 9 0 / r s 2 0 7 1 8 4 4 ;   Q u a i f e   T ,   2 0 0 8 ,   G L O B A L   B I O G E O C H E M   C Y ,   V 2 2 ,   D O I   1 0 . 1 0 2 9 / 2 0 0 7 G B 0 0 3 0 9 7 ;   R a m a n k u t t y   N ,   2 0 0 8 ,   G L O B A L   B I O G E O C H E M   C Y ,   V 2 2 ,   D O I   1 0 . 1 0 2 9 / 2 0 0 7 G B 0 0 2 9 5 2 ;   S c h u u r m a n   N ,   2 0 0 9 ,   E N V I R O N   P L A N N   D ,   V 2 7 ,   P 5 7 1 ;   T e r r a m e t r i c s ,   2 0 1 0 ,   S U P P   T E R R   G O O G L   E A R T ;   T i m m e r   J . ,   2 0 1 0 ,   G A L A X Y   Z O O   S H O W S   W E L ;   T u r n e r   A . J . ,   2 0 0 6 ,   I N T R O   N E O G R A P H Y ;   V o i n o v   A ,   2 0 1 0 ,   E N V I R O N   M O D E L L   S O F T W ,   V 2 5 ,   P 1 2 6 8 ,   D O I   1 0 . 1 0 1 6 / j . e n v s o f t . 2 0 1 0 . 0 3 . 0 0 7 	 4 3 	 1 7 	 1 7 	 E L S E V I E R   S C I   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   O X O N ,   E N G L A N D 	 1 3 6 4 - 8 1 5 2 	 	 	 E N V I R O N   M O D E L L   S O F T W 	 E n v i r o n .   M o d e l l .   S o f t w . 	 M A Y 	 2 0 1 2 	 3 1 	 	 	 	 	 	 1 1 0 	 1 2 3 	 	 1 0 . 1 0 1 6 / j . e n v s o f t . 2 0 1 1 . 1 1 . 0 1 5 	 	 1 4 	 C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   E n g i n e e r i n g ,   E n v i r o n m e n t a l ;   E n v i r o n m e n t a l   S c i e n c e s 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   E n v i r o n m e n t a l   S c i e n c e s   &   E c o l o g y 	 9 0 2 B I 	 W O S : 0 0 0 3 0 1 0 1 3 2 0 0 0 1 1 	 	 
 J 	 S c h a l l ,   D ;   S k o p i k ,   F ;   D u s t d a r ,   S 	 	 	 	 S c h a l l ,   D a n i e l ;   S k o p i k ,   F l o r i a n ;   D u s t d a r ,   S c h a h r a m 	 	 	 E x p e r t   D i s c o v e r y   a n d   I n t e r a c t i o n s   i n   M i x e d   S e r v i c e - O r i e n t e d   S y s t e m s 	 I E E E   T R A N S A C T I O N S   O N   S E R V I C E S   C O M P U T I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 H u m a n - p r o v i d e d   s e r v i c e s ;   s e r v i c e - o r i e n t e d   e x p e r t i s e   p r o v i s i o n i n g ;   c r o w d s o u r c i n g ;   s o c i a l   t r u s t ;   h u b s   a n d   a u t h o r i t i e s 	 T R U S T ;   W E B ;   S I M I L A R I T Y ;   N E T W O R K S 	 W e b - b a s e d   c o l l a b o r a t i o n s   a n d   p r o c e s s e s   h a v e   b e c o m e   e s s e n t i a l   i n   t o d a y ' s   b u s i n e s s   e n v i r o n m e n t s .   S u c h   p r o c e s s e s   t y p i c a l l y   s p a n   i n t e r a c t i o n s   b e t w e e n   p e o p l e   a n d   s e r v i c e s   a c r o s s   g l o b a l l y   d i s t r i b u t e d   c o m p a n i e s .   W e b   s e r v i c e s   a n d   S O A   a r e   t h e   d e f a c t o   t e c h n o l o g y   t o   i m p l e m e n t   c o m p o s i t i o n s   o f   h u m a n s   a n d   s e r v i c e s .   T h e   i n c r e a s i n g   c o m p l e x i t y   o f   c o m p o s i t i o n s   a n d   t h e   d i s t r i b u t i o n   o f   p e o p l e   a n d   s e r v i c e s   r e q u i r e   a d a p t i v e   a n d   c o n t e x t - a w a r e   i n t e r a c t i o n   m o d e l s .   T o   s u p p o r t   c o m p l e x   i n t e r a c t i o n   s c e n a r i o s ,   w e   i n t r o d u c e   a   m i x e d   s e r v i c e - o r i e n t e d   s y s t e m   c o m p o s e d   o f   b o t h   h u m a n - p r o v i d e d   a n d   S o f t w a r e - B a s e d   S e r v i c e s   ( S B S s )   i n t e r a c t i n g   t o   p e r f o r m   j o i n t   a c t i v i t i e s   o r   t o   s o l v e   e m e r g i n g   p r o b l e m s .   H o w e v e r ,   c o m p e t e n c i e s   o f   p e o p l e   e v o l v e   o v e r   t i m e ,   t h e r e b y   r e q u i r i n g   a p p r o a c h e s   f o r   t h e   a u t o m a t e d   m a n a g e m e n t   o f   a c t o r   s k i l l s ,   r e p u t a t i o n ,   a n d   t r u s t .   D i s c o v e r i n g   t h e   r i g h t   a c t o r   i n   m i x e d   s e r v i c e - o r i e n t e d   s y s t e m s   i s   c h a l l e n g i n g   d u e   t o   s c a l e   a n d   t e m p o r a r y   n a t u r e   o f   c o l l a b o r a t i o n s .   W e   p r e s e n t   a   n o v e l   a p p r o a c h   a d d r e s s i n g   t h e   n e e d   f o r   f l e x i b l e   i n v o l v e m e n t   o f   e x p e r t s   a n d   k n o w l e d g e   w o r k e r s   i n   d i s t r i b u t e d   c o l l a b o r a t i o n s .   W e   a r g u e   t h a t   t h e   a u t o m a t e d   i n f e r e n c e   o f   t r u s t   b e t w e e n   m e m b e r s   i s   a   k e y   f a c t o r   f o r   s u c c e s s f u l   c o l l a b o r a t i o n s .   I n s t e a d   o f   f o l l o w i n g   a   s e c u r i t y   p e r s p e c t i v e   o n   t r u s t ,   w e   f o c u s   o n   d y n a m i c   t r u s t   i n   c o l l a b o r a t i v e   n e t w o r k s .   W e   d i s c u s s   H u m a n - P r o v i d e d   S e r v i c e s   ( H P S s )   a n d   a n   a p p r o a c h   f o r   m a n a g i n g   u s e r   p r e f e r e n c e s   a n d   n e t w o r k   s t r u c t u r e s .   H P S   a l l o w s   e x p e r t s   t o   o f f e r   t h e i r   s k i l l s   a n d   c a p a b i l i t i e s   a s   s e r v i c e s   t h a t   c a n   b e   r e q u e s t e d   o n   d e m a n d .   O u r   m a i n   c o n t r i b u t i o n s   c e n t e r   a r o u n d   a   c o n t e x t - s e n s i t i v e   t r u s t - b a s e d   a l g o r i t h m   c a l l e d   E x p e r t H I T S   i n s p i r e d   b y   t h e   c o n c e p t   o f   h u b s   a n d   a u t h o r i t i e s   i n   w e b - b a s e d   e n v i r o n m e n t s .   E x p e r t H I T S   t a k e s   t r u s t - r e l a t i o n s   a n d   l i n k   p r o p e r t i e s   i n   s o c i a l   n e t w o r k s   i n t o   a c c o u n t   t o   e s t i m a t e   t h e   r e p u t a t i o n   o f   u s e r s . 	 [ S c h a l l ,   D a n i e l ;   S k o p i k ,   F l o r i a n ;   D u s t d a r ,   S c h a h r a m ]   V i e n n a   U n i v   T e c h n o l ,   D i s t r i b u t e d   S y s t   G r p ,   I n s t   I n f o r m a t   S y s t ,   A - 1 0 4 0   V i e n n a ,   A u s t r i a 	 S c h a l l ,   D   ( r e p r i n t   a u t h o r ) ,   V i e n n a   U n i v   T e c h n o l ,   D i s t r i b u t e d   S y s t   G r p ,   I n s t   I n f o r m a t   S y s t ,   A r g e n t i n i e r s t r   8 - 1 8 4 - 1 ,   A - 1 0 4 0   V i e n n a ,   A u s t r i a . 	 s c h a l l @ i n f o s y s . t u w i e n . a c . a t ;   s k o p i k @ i n f o s y s . t u w i e n . a c . a t ;   d u s t d a r @ i n f o s y s . t u w i e n . a c . a t 	 	 	 E u r o p e a n   U n i o n   [ F P 7 - 2 1 6 2 5 6 ] 	 P a r t   o f   t h i s   w o r k   w a s   s u p p o r t e d   b y   t h e   E u r o p e a n   U n i o n   t h r o u g h   t h e   F P 7   p r o j e c t   C O I N   ( F P 7 - 2 1 6 2 5 6 ) . 	 A g i c h t e i n   E ,   2 0 0 8 ,   P   I N T   C   W E B   S E A R C H   W ,   P 1 8 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 4 1 5 3 1 . 1 3 4 1 5 5 7 ;   A g r a w a l   A . ,   2 0 0 7 ,   W E B   S E R V I C E S   H U M A N   T ;   A g r a w a l   A . ,   2 0 0 7 ,   W S   B P E L   E X T E N S I O N   P E ;   A l b e r t   R ,   2 0 0 2 ,   R E V   M O D   P H Y S ,   V 7 4 ,   P 4 7 ,   D O I   1 0 . 1 1 0 3 / R e v M o d P h y s . 7 4 . 4 7 ;   A r t z   D ,   2 0 0 7 ,   J   W E B   S E M A N T ,   V 5 ,   P 5 8 ,   D O I   1 0 . 1 0 1 6 / j . w e b s e m . 2 0 0 7 . 0 3 . 0 0 2 ;   B e c e r r a - F e r n a n d e z   I . ,   2 0 0 6 ,   A C M   T r a n s a c t i o n s   o n   I n t e r n e t   T e c h n o l o g y ,   V 6 ,   D O I   1 0 . 1 1 4 5 / 1 1 8 3 4 6 3 . 1 1 8 3 4 6 4 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   C O N N E R   W . ,   2 0 0 9 ,   P   1 8   I N T   C   W O R L D   W I D ;   D o m   B . ,   2 0 0 3 ,   P   8   A C M   S I G M O D   W O R K S ,   P 4 2 ;   D w y e r   C . ,   2 0 0 7 ,   P   1 3   A N N   C   I N F   S Y S T ;   G o l b e c k   J ,   2 0 0 9 ,   H U M - C O M P U T   I N T - S P R I N ,   P 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 1 - 8 4 8 0 0 - 3 5 6 - 9 ;   G o l b e c k   J ,   2 0 0 9 ,   A C M   T   W E B ,   V 3 ,   D O I   1 0 . 1 1 4 5 / 1 5 9 4 1 7 3 . 1 5 9 4 1 7 4 ;   H a v e l i w a l a   T . H . ,   2 0 0 2 ,   P   1 1   I N T   C   W O R L D   W I D ,   P 5 1 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 5 1 1 4 4 6 . 5 1 1 5 1 3 ;   J e h   G . ,   2 0 0 3 ,   P   1 2   I N T   C   W O R L D   W I D ,   P 2 7 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 7 7 5 1 5 2 . 7 7 5 1 9 1 ;   J u r c z y k   P . ,   2 0 0 7 ,   P   1 6   A C M   C   I N F   K N O W L ,   P 9 1 9 ,   D O I   1 0 . 1 1 4 5 / 1 3 2 1 4 4 0 . 1 3 2 1 5 7 5 ;   K a r a g i a n n i s   T . ,   2 0 0 8 ,   E M A I L   I N F O R M   F L O W   L A ;   K l e i n b e r g   J M ,   1 9 9 9 ,   J   A C M ,   V 4 6 ,   P 6 0 4 ,   D O I   1 0 . 1 1 4 5 / 3 2 4 1 3 3 . 3 2 4 1 4 0 ;   K o v a c   D ,   2 0 0 9 ,   J   S Y S T   A R C H I T E C T ,   V 5 5 ,   P 2 5 5 ,   D O I   1 0 . 1 0 1 6 / j . s y s a r c . 2 0 0 9 . 0 1 . 0 0 2 ;   K u m a r   R . ,   2 0 1 0 ,   P   3   A C M   I N T   C   W E B   S E ,   P 3 1 1 ,   D O I   1 0 . 1 1 4 5 / 1 7 1 8 4 8 7 . 1 7 1 8 5 2 6 ;   L e y m a n n   F . ,   2 0 0 6 ,   P   M O V   M E A N   I N T   S Y S T ,   P 2 ;   M a l i k   Z ,   2 0 0 9 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 3 ,   P 4 0 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 0 9 . 1 7 ;   O A S I S ,   2 0 0 7 ,   B U S   P R O C   E X   L A N G   W E B ;   P a g e   L . ,   1 9 9 8 ,   P A G E R A N K   C I T A T I O N   R A ;   S c h a l l   D . ,   2 0 0 9 ,   T H E S I S   V I E N N A   U   T E C H ;   S c h a l l   D ,   2 0 0 8 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 2 ,   P 6 2 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 0 8 . 6 6 ;   S k o p i k   F ,   2 0 1 0 ,   I N F O R M   S Y S T ,   V 3 5 ,   P 7 3 5 ,   D O I   1 0 . 1 0 1 6 / j . i s . 2 0 1 0 . 0 3 . 0 0 1 ;   W a t t s   D .   J . ,   2 0 0 3 ,   6   D E G R E E S   S C I   C O N N E C ;   Y a n g   J ,   2 0 0 8 ,   P   I N T   C   W E B L   S O C   M E D ;   Z h a n g   J . ,   2 0 0 7 ,   P   1 6   I N T   C   W O R L D   W I D ,   P 2 2 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 2 4 2 5 7 2 . 1 2 4 2 6 0 3 ;   Z i e g l e r   C N ,   2 0 0 7 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 3 ,   P 4 6 0 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 6 . 1 1 . 0 0 3 	 3 0 	 3 	 3 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 3 1 4   U S A 	 1 9 3 9 - 1 3 7 4 	 	 	 I E E E   T   S E R V   C O M P U T 	 I E E E   T r a n s .   S e r v .   C o m p u t . 	 A P R - J U N 	 2 0 1 2 	 5 	 2 	 	 	 	 	 2 3 3 	 2 4 5 	 	 1 0 . 1 1 0 9 / T S C . 2 0 1 1 . 2 	 	 1 3 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 9 5 0 T N 	 W O S : 0 0 0 3 0 4 6 7 2 1 0 0 0 0 8 	 	 
 J 	 P a p a c h a r i s s i ,   Z ;   O l i v e i r a ,   M D 	 	 	 	 P a p a c h a r i s s i ,   Z i z i ;   O l i v e i r a ,   M a r i a   d e   F a t i m a 	 	 	 A f f e c t i v e   N e w s   a n d   N e t w o r k e d   P u b l i c s :   T h e   R h y t h m s   o f   N e w s   S t o r y t e l l i n g   o n   # E g y p t 	 J O U R N A L   O F   C O M M U N I C A T I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 C O M M U N I C A T I O N ;   C R I S I S ;   M E D I A ;   F O R M 	 T h i s   s t u d y   t r a c e s   t h e   r h y t h m s   o f   n e w s   s t o r y t e l l i n g   o n   T w i t t e r   v i a   t h e   # e g y p t   h a s h t a g .   U s i n g   c o m p u t a t i o n a l   d i s c o u r s e   a n a l y s i s ,   w e   e x a m i n e   n e w s   v a l u e s   a n d   t h e   f o r m   o f   n e w s   e x h i b i t e d   i n   # e g y p t   f r o m   J a n u a r y   2 5   t o   F e b r u a r y   2 5 ,   2 0 1 1 ,   p r e -   a n d   p o s t - r e s i g n a t i o n   o f   H o s n i   M u b a r a k .   R e s u l t s   p o i n t   t o   a   h y b r i d i t y   o f   o l d   a n d   n e w e r   n e w s   v a l u e s ,   w i t h   e m p h a s i s   o n   t h e   d r a m a   o f   i n s t a n t a n e i t y ,   t h e   c r o w d s o u r c i n g   o f   e l i t e s ,   s o l i d a r i t y ,   a n d   a m b i e n c e .   T h e   r e s u l t i n g   s t r e a m   o f   n e w s   c o m b i n e s   n e w s ,   o p i n i o n ,   a n d   e m o t i o n   t o   t h e   p o i n t   w h e r e   d i s c e r n i n g   o n e   f r o m   t h e   o t h e r   i s   d i f f i c u l t   a n d   d o i n g   s o   m i s s e s   t h e   p o i n t .   W e   o f f e r   a   t h e o r y   o f   a f f e c t i v e   n e w s   t o   e x p l a i n   t h e   d i s t i n c t i v e   c h a r a c t e r   o f   c o n t e n t   p r o d u c e d   b y   n e t w o r k e d   p u b l i c s   i n   t i m e s   o f   p o l i t i c a l   c r i s i s . 	 [ P a p a c h a r i s s i ,   Z i z i ]   U n i v   I l l i n o i s ,   D e p t   C o m m u n ,   C h i c a g o ,   I L   6 0 6 0 7   U S A ;   [ O l i v e i r a ,   M a r i a   d e   F a t i m a ]   P r i m e   R e s ,   N e w   Y o r k ,   N Y   U S A 	 P a p a c h a r i s s i ,   Z   ( r e p r i n t   a u t h o r ) ,   U n i v   I l l i n o i s ,   D e p t   C o m m u n ,   C h i c a g o ,   I L   6 0 6 0 7   U S A . 	 z i z i @ u i c . e d u 	 	 	 	 	 A h m a d   A .   N . ,   2 0 1 0 ,   J   M E D I A   P R A C T I C E ,   V 1 1 ,   P 1 4 5 ;   [ A n o n y m o u s ] ,   2 0 0 9 ,   A M   J O U R N A L I S M   R E   A P R ;   B a r n h u r s t   K .   G . ,   2 0 0 2 ,   F O R M   N E W S   H I S T ;   B a r n h u r s t   K G ,   2 0 1 0 ,   J O U R N A L I S M   S T U D ,   V 1 1 ,   P 5 5 5 ,   D O I   1 0 . 1 0 8 0 / 1 4 6 1 6 7 0 1 0 0 3 6 3 8 4 2 6 ;   B a r n h u r s t   K G ,   2 0 1 1 ,   I N T   J   P R E S S / P O L I T ,   V 1 6 ,   P 5 7 3 ,   D O I   1 0 . 1 1 7 7 / 1 9 4 0 1 6 1 2 1 1 4 1 5 6 6 6 ;   B a r n h u r s t   K G ,   2 0 1 0 ,   I N T   J   C O M M U N - U S ,   V 4 ,   P 1 0 8 2 ;   B o c z k o w s k i   P a b l o   J . ,   2 0 1 0 ,   N E W S   W O R K   I M I T A T I O N ;   B o y d   D . ,   2 0 1 0 ,   I C W S M   1 0   P   I N T   A A A I ,   P 1 9 4 ;   C h r i s t e n s e n   C . ,   2 0 0 9 ,   I R A N   N E T W O R K E D   D I S S E ;   C o r m a n   S .   R . ,   2 0 0 6 ,   C R A W D A D   T E X T   A N A L   S Y ;   C o r m a n   S R ,   2 0 0 2 ,   H U M   C O M M U N   R E S ,   V 2 8 ,   P 1 5 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 8 - 2 9 5 8 . 2 0 0 2 . t b 0 0 8 0 2 . x ;   C r a w f o r d   K ,   2 0 0 9 ,   C O N T I N U U M - J   M E D I A   C U ,   V 2 3 ,   P 5 2 5 ,   D O I   1 0 . 1 0 8 0 / 1 0 3 0 4 3 1 0 9 0 3 0 0 3 2 7 0 ;   D a h l b e r g   L ,   2 0 0 9 ,   U T O P I A   G L O B A L I Z A T I O N ,   P 1 7 6 ;   D e a n   J o d i ,   2 0 1 0 ,   M E D I A   T R O P E S   E J O U R N A ,   V 2 ,   P 1 9 ;   E m m e t t   A ,   2 0 0 9 ,   A M   J O U R N A L I S M   R E   D E C ,   P 4 1 ;   E r i c k s o n   I ,   2 0 1 0 ,   A M   B E H A V   S C I ,   V 5 3 ,   P 1 1 9 4 ,   D O I   1 0 . 1 1 7 7 / 0 0 0 2 7 6 4 2 0 9 3 5 6 2 5 0 ;   E t t e m a   J .   S . ,   2 0 0 9 ,   J O U R N A L I S M ,   V 1 0 ,   P 3 1 9 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 4 6 4 8 8 4 9 0 9 1 0 2 5 9 1 ;   F a i r c l o u g h   N o r m a n ,   1 9 9 5 ,   M E D I A   D I S C O U R S E ;   G a l t u n g   J . ,   1 9 6 5 ,   J   P E A C E   R E S ,   V 2 ,   P 6 4 ,   D O I   D O I   1 0 . 1 1 7 7 / 0 0 2 2 3 4 3 3 6 5 0 0 2 0 0 1 0 4 ;   G a n s   H .   J . ,   1 9 8 4 ,   D E C I D I N G   W H A T S   N E W S ;   G a o   F . ,   2 0 1 0 ,   E L E C T   N E W S ,   V 4 ,   P 2 1 8 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 9 3 1 2 4 3 1 1 0 3 8 9 4 5 7 ;   H a m d y   N a i l a ,   2 0 1 0 ,   G L O B A L   M E D I A   J   A R A B I ,   V 1 ,   P 3 ;   H a r t l e y   J . ,   1 9 8 2 ,   U N D E R S T A N D I N G   N E W S ;   H a r t l e y   J o h n ,   2 0 0 2 ,   C O M M U N I C A T I O N   C U L T U R ;   H e r m i d a   A . ,   2 0 1 0 ,   J O U R N A L I S M   P R A C T I C E ,   V 4 ,   P 2 9 7 ,   D O I   D O I   1 0 . 1 0 8 0 / 1 7 5 1 2 7 8 1 0 0 3 6 4 0 7 0 3 ;   H o w a r d   P . ,   2 0 1 1 ,   D I G I T A L   O R I G I N S   D I C T ,   D O I   [ 1 0 . 1 0 9 3 / a c p r o f : o s o / 9 7 8 0 1 9 9 7 3 6 4 1 6 . 0 0 3 . 0 0 0 4 ,   D O I   1 0 . 1 0 9 3 / A C P R O F : O S O / 9 7 8 0 1 9 9 7 3 6 4 1 6 . 0 0 3 . 0 0 0 4 ] ;   I f u k o r   P . ,   2 0 1 0 ,   B   S C I   T E C H N O L   S O C ,   V 3 0 ,   P 3 9 8 ,   D O I   D O I   1 0 . 1 1 7 7 / 0 2 7 0 4 6 7 6 1 0 3 8 0 0 0 8 ;   J a n s e n   B J ,   2 0 0 9 ,   J   A M   S O C   I N F   S C I   T E C ,   V 6 0 ,   P 2 1 6 9 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 1 1 4 9 ;   J e w i t t   R o b e r t ,   2 0 0 9 ,   I N T   J   M E D I A   C U L T U R A L ,   V 5 ,   P 2 3 3 ,   D O I   D O I   1 0 . 1 3 8 6 / M A C P . 5 . 3 . 2 3 3 / 3 ;   K w a k   H . ,   2 0 1 0 ,   P   1 9   I N T   C   W O R L D   W I D ,   P 5 9 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 7 2 6 9 0 . 1 7 7 2 7 5 1 ;   M c N a i r   B ,   2 0 0 9 ,   J O U R N A L I S M ,   V 1 0 ,   P 3 4 7 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 4 6 4 8 8 4 9 0 9 1 0 4 7 5 6 ;   M c Q u a i l   D . ,   2 0 0 2 ,   M A S S   C O M M U N I C A T I O N   T ;   N e r o n e   J ,   2 0 0 1 ,   N E W   M E D I A   S O C ,   V 3 ,   P 4 6 7 ,   D O I   1 0 . 1 1 7 7 / 1 4 6 1 4 4 4 0 1 2 2 2 2 6 1 9 1 ;   O l i v e i r a   M D ,   2 0 0 9 ,   J   P U B L I C   R E L A T   R E S ,   V 2 1 ,   P 3 6 1 ,   D O I   1 0 . 1 0 8 0 / 1 0 6 2 7 2 6 0 9 0 2 9 6 6 4 2 5 ;   P a p a c h a r i s s i   Z i z i ,   2 0 1 0 ,   P R I V A T E   S P H E R E   D E M O C ;   R o b i n s o n   S ,   2 0 0 9 ,   N E W   A G E N D A S   C O M M U N ,   P 1 6 6 ;   S a k a k i   T ,   2 0 1 0 ,   W W W   1 0   P   1 9   I N T   C   W O ,   P 8 5 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 7 2 6 9 0 . 1 7 7 2 7 7 7 ;   S e m e t k o   H o l l i   A . ,   1 9 9 1 ,   F O R M A T I O N   C A M P A I G N   A ;   S i n g h   V .   K . ,   2 0 1 0 ,   W W W   1 0   P   2 0 1 0   A C M   C ,   P 2 4 1 ;   S O L O W N I E D E R M A N   A G ,   2 0 1 0 ,   I N T E R S E C T ,   V 3 ,   P 3 0 ;   W o o d   L .   A . ,   2 0 0 0 ,   D O I N G   D I S C O U R S E   A N A L ;   W u   S . ,   2 0 1 1 ,   P   2 0   I N T   C   W O R L D   W I D ,   P 7 0 5 ;   Y a r d i   S a r i t a ,   2 0 1 0 ,   B   S C I   T E C H N O L   S O C ,   V 3 0 ,   P 3 1 6 ,   D O I   [ 1 0 . 1 1 7 7 / 0 2 7 0 4 6 7 6 1 0 3 8 0 0 1 1 ,   D O I   1 0 . 1 1 7 7 / 0 2 7 0 4 6 7 6 1 0 3 8 0 0 1 1 ] 	 4 3 	 3 2 	 3 2 	 W I L E Y - B L A C K W E L L 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 0 0 2 1 - 9 9 1 6 	 	 	 J   C O M M U N 	 J .   C o m m u n . 	 A P R 	 2 0 1 2 	 6 2 	 2 	 	 	 	 	 2 6 6 	 2 8 2 	 	 1 0 . 1 1 1 1 / j . 1 4 6 0 - 2 4 6 6 . 2 0 1 2 . 0 1 6 3 0 . x 	 	 1 7 	 C o m m u n i c a t i o n 	 C o m m u n i c a t i o n 	 9 2 2 F Y 	 W O S : 0 0 0 3 0 2 5 3 3 6 0 0 0 0 7 	 	 
 J 	 S u n ,   Y Q ;   F a n g ,   Y L ;   L i m ,   K H 	 	 	 	 S u n ,   Y o n g q i a n g ;   F a n g ,   Y u l i n ;   L i m ,   K a i   H . 	 	 	 U n d e r s t a n d i n g   s u s t a i n e d   p a r t i c i p a t i o n   i n   t r a n s a c t i o n a l   v i r t u a l   c o m m u n i t i e s 	 D E C I S I O N   S U P P O R T   S Y S T E M S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 T r a n s a c t i o n a l   v i r t u a l   c o m m u n i t y ;   K n o w l e d g e   s h a r i n g ;   S o c i a l   l e a r n i n g ;   E x p e c t a n c y - v a l u e   t h e o r y ;   S u s t a i n e d   p a r t i c i p a t i o n ;   C r o w d s o u r c i n g 	 O P E N   S O U R C E   S O F T W A R E ;   O N L I N E   C O M M U N I T I E S ;   K N O W L E D G E   C O N T R I B U T I O N ;   I N T R I N S I C   M O T I V A T I O N ;   G O A L   O R I E N T A T I O N ;   S O C I A L - I N F L U E N C E ;   S E R V I C E   Q U A L I T Y ;   S E L F - E F F I C A C Y ;   M O D E L ;   P E R F O R M A N C E 	 T h i s   s t u d y   a i m s   t o   a d d r e s s   t w o   r e s e a r c h   g a p s   i n   p r i o r   s t u d i e s   o n   k n o w l e d g e   s h a r i n g   i n   v i r t u a l   c o m m u n i t i e s   ( V C s ) .   F i r s t ,   p r i o r   s t u d i e s   h a v e   f o c u s e d   o n   k n o w l e d g e   s h a r i n g   V C s   w i t h   n o   e x p l i c i t   r e w a r d   s y s t e m ,   b u t   V C s   s h a r i n g   k n o w l e d g e   b a s e d   o n   a   c o m p e t i t i o n - b a s e d   r e w a r d   s y s t e m   ( e . g . ,   t r a n s a c t i o n a l   V C s )   h a v e   n o t   b e e n   e x p l o r e d .   S e c o n d ,   p r i o r   r e l a t e d   s t u d i e s   h a v e   c o n c e n t r a t e d   o n   t h e   d e t e r m i n a n t s   o f   i n i t i a l   p a r t i c i p a t i o n   i n   s h a r i n g   k n o w l e d g e   r a t h e r   t h a n   s u s t a i n e d   p a r t i c i p a t i o n   d e s p i t e   t h e r e   b e i n g   i m p o r t a n t   d i s t i n c t i o n s   b e t w e e n   t h e s e   t w o   s t a g e s   o f   p a r t i c i p a t i o n   b e h a v i o r .   I n   t h i s   s t u d y ,   w e   f o c u s   o n   u n d e r s t a n d i n g   s u s t a i n e d   p a r t i c i p a t i o n   i n   k n o w l e d g e   s h a r i n g   i n   t r a n s a c t i o n a l   V C s   b y   d r a w i n g   o n   e x p e c t a n c y - v a l u e   t h e o r y   a n d   a   s o c i a l   l e a r n i n g   p r o c e s s .   C o n s i d e r i n g   t h a t   a   s o c i a l   l e a r n i n g   p r o c e s s   i s   i n v o l v e d   i n   m a i n t a i n i n g   s u s t a i n e d   p a r t i c i p a t i o n ,   w e   p r o p o s e   t h a t   t a s k   c o m p l e x i t y   a n d   s e l f - e f f i c a c y   -   t w o   s o c i a l   l e a r n i n g   f a c t o r s   -   m o d e r a t e   t h e   r e l a t i o n s h i p   b e t w e e n   m o t i v a t i o n   a n d   s u s t a i n e d   p a r t i c i p a t i o n .   A   f i e l d   s u r v e y   w i t h   2 0 5   s u b j e c t s   i n   a   t r a n s a c t i o n a l   v i r t u a l   c o m m u n i t y   w a s   c o n d u c t e d   t o   t e s t   t h e   r e s e a r c h   m o d e l .   A c c o r d i n g   t o   t h e   f i n d i n g s ,   e x t r i n s i c   a n d   i n t r i n s i c   m o t i v a t i o n s   s i g n i f i c a n t l y   i n f l u e n c e   s u s t a i n e d   p a r t i c i p a t i o n   i n t e n t i o n .   A   n e g a t i v e   i n t e r a c t i o n   e f f e c t   b e t w e e n   e x t r i n s i c   m o t i v a t i o n   a n d   t a s k   c o m p l e x i t y ,   a s   w e l l   a s   p o s i t i v e   i n t e r a c t i o n   e f f e c t   b e t w e e n   i n t r i n s i c   m o t i v a t i o n   a n d   s e l f - e f f i c a c y ,   w a s   a l s o   o b s e r v e d .   A   n o n - l i n e a r   i n t e r a c t i o n   e f f e c t   b e t w e e n   i n t r i n s i c   m o t i v a t i o n   a n d   t a s k   c o m p l e x i t y   w a s   a l s o   f o u n d .   S t u d y   i m p l i c a t i o n s   a n d   f u t u r e   r e s e a r c h   d i r e c t i o n s   a r e   a l s o   d i s c u s s e d .   ( C )   2 0 1 1   E l s e v i e r   B . V .   A l l   r i g h t s   r e s e r v e d . 	 [ S u n ,   Y o n g q i a n g ]   W u h a n   U n i v ,   S c h   I n f o r m a t   M a n a g e m e n t ,   W u h a n ,   P e o p l e s   R   C h i n a ;   [ F a n g ,   Y u l i n ;   L i m ,   K a i   H . ]   C i t y   U n i v   H o n g   K o n g ,   D e p t   I n f o r m a t   S y s t ,   H o n g   K o n g ,   H o n g   K o n g ,   P e o p l e s   R   C h i n a 	 S u n ,   Y Q   ( r e p r i n t   a u t h o r ) ,   W u h a n   U n i v ,   S c h   I n f o r m a t   M a n a g e m e n t ,   W u h a n ,   P e o p l e s   R   C h i n a . 	 s y q @ m a i l . u s t c . e d u . c n ;   y l f a n g @ c i t y u . e d u . h k ;   i s k l @ c i t y u . e d u . h k 	 	 	 R e s e a r c h   G r a n t s   C o u n c i l   o f   t h e   H o n g   K o n g   S p e c i a l   A d m i n i s t r a t i v e   R e g i o n ,   C h i n a   [ C i t y U   1 4 7 7 1 0 ] 	 T h e   a u t h o r s   a r e   g r a t e f u l   t o   t h e   e d i t o r   a n d   a n o n y m o u s   r e v i e w e r s   f o r   t h e i r   i n v a l u a b l e   g u i d a n c e   a n d   i n s i g h t f u l   c o m m e n t s .   T h e   w o r k   d e s c r i b e d   i n   t h i s   a r t i c l e   w a s   s u p p o r t e d   b y   a   g r a n t   f r o m   t h e   R e s e a r c h   G r a n t s   C o u n c i l   o f   t h e   H o n g   K o n g   S p e c i a l   A d m i n i s t r a t i v e   R e g i o n ,   C h i n a   ( P r o j e c t   N o .   C i t y U   1 4 7 7 1 0 ) . 	 A g e r f a l k   P J ,   2 0 0 8 ,   M I S   Q U A R T ,   V 3 2 ,   P 3 8 5 ;   A g u i n i s   H ,   2 0 1 0 ,   J   O R G A N   B E H A V ,   V 3 1 ,   P 7 7 6 ,   D O I   1 0 . 1 0 0 2 / j o b . 6 8 6 ;   A j z e n   I . ,   1 9 7 5 ,   B E L I E F   A T T I T U D E   I N T E ;   A N D E R S O N   J C ,   1 9 8 8 ,   P S Y C H O L   B U L L ,   V 1 0 3 ,   P 4 1 1 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 0 9 . 1 0 3 . 3 . 4 1 1 ;   A r a k j i   R ,   2 0 0 9 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 7 ,   P 2 4 5 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 9 . 0 2 . 0 0 7 ;   A r c h a k   N . ,   2 0 1 0 ,   3 1   I N T   C   I N F   S Y S T   S T ;   A r m s t r o n g   A ,   1 9 9 6 ,   H A R V A R D   B U S   R E V ,   V 7 4 ,   P 1 3 4 ;   B a l a s u b r a m a n i a n   S ,   2 0 0 1 ,   I N T   J   E L E C T R O N   C O M M ,   V 5 ,   P 1 0 3 ;   B A N D U R A   A ,   1 9 7 7 ,   P S Y C H O L   R E V ,   V 8 4 ,   P 1 9 1 ,   D O I   1 0 . 1 0 3 7 / / 0 0 3 3 - 2 9 5 X . 8 4 . 2 . 1 9 1 ;   B e r g q u i s t   M ,   2 0 0 1 ,   I N F O R M   S Y S T   J ,   V 1 1 ,   P 3 0 5 ,   D O I   1 0 . 1 0 4 6 / j . 1 3 6 5 - 2 5 7 5 . 2 0 0 1 . 0 0 1 1 1 . x ;   B h a t t a c h e r j e e   A ,   2 0 0 1 ,   M I S   Q U A R T ,   V 2 5 ,   P 3 5 1 ,   D O I   1 0 . 2 3 0 7 / 3 2 5 0 9 2 1 ;   B i e b e r   M ,   2 0 0 2 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 1 8 ,   P 1 1 ;   B l a n c h a r d   A L ,   2 0 0 8 ,   C O M P U T   H U M   B E H A V ,   V 2 4 ,   P 2 1 0 7 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 0 7 . 1 0 . 0 0 2 ;   C h i n   W . W . ,   2 0 0 0 ,   F R E Q U E N T L Y   A S K E D   Q U E ;   C h i u   C M ,   2 0 0 6 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 2 ,   P 1 8 7 2 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 6 . 0 4 . 0 0 1 ;   C O T E   J A ,   1 9 8 7 ,   J   M A R K E T I N G   R E S ,   V 2 4 ,   P 3 1 5 ,   D O I   1 0 . 2 3 0 7 / 3 1 5 1 6 4 2 ;   D a u g h e r t y   T . ,   2 0 0 5 ,   J   C O M P U T E R   M E D I A T E D ,   V 1 0 ;   D e c i   E .   L . ,   1 9 8 5 ,   I N T R I N S I C   M O T I V A T I O N ;   D e c i   E L ,   1 9 7 5 ,   I N T R I N S I C   M O T I V A T I O N ;   D h o l a k i a   U M ,   2 0 0 4 ,   I N T   J   R E S   M A R K ,   V 2 1 ,   P 2 4 1 ,   D O I   1 0 . 1 0 1 6 / j . i j r e s m a r . 2 0 0 3 . 1 2 . 0 0 4 ;   D u t t a   A . ,   2 0 1 0 ,   1 6   A M   C   I N F   S Y S T   L I M ,   P 4 4 1 ;   E b n e r   W . ,   2 0 0 8 ,   4 1   H A W   I N T   C   S Y S T   S C ,   P 4 1 7 ;   E c c l e s   J S ,   2 0 0 2 ,   A N N U   R E V   P S Y C H O L ,   V 5 3 ,   P 1 0 9 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v . p s y c h . 5 3 . 1 0 0 9 0 1 . 1 3 5 1 5 3 ;   F a n g   Y L ,   2 0 0 9 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 5 ,   P 9 ,   D O I   1 0 . 2 7 5 3 / M I S 0 7 4 2 - 1 2 2 2 2 5 0 4 0 1 ;   F r e y   B S ,   1 9 9 7 ,   A M   E C O N   R E V ,   V 8 7 ,   P 7 4 6 ;   G e f e n   D ,   2 0 0 8 ,   M I S   Q U A R T ,   V 3 2 ,   P 3 6 7 ;   H a g e l   J . ,   1 9 9 7 ,   N E T   G A I N   E X P A N D I N G   M ;   H a l l   H ,   2 0 0 4 ,   I N T   J   I N F O R M   M A N A G E ,   V 2 4 ,   P 2 3 5 ,   D O I   1 0 . 1 0 1 6 / j . i j i n f o m g t . 2 0 0 4 . 0 2 . 0 0 4 ;   H e   W ,   2 0 0 9 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 6 ,   P 8 2 6 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 8 . 1 1 . 0 0 7 ;   H e r t e l   G ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 1 5 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 4 7 - 7 ;   H o f s t e d e   G . ,   1 9 8 0 ,   C U L T U R E S   C O N S E Q U E N C E ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   P 1 ;   H s u   C L ,   2 0 0 8 ,   I N F O R M   M A N A G E - A M S T E R ,   V 4 5 ,   P 6 5 ,   D O I   1 0 . 1 0 1 6 / j . i m . 2 0 0 7 . 1 1 . 0 0 1 ;   H s u   M H ,   2 0 0 7 ,   I N T   J   H U M - C O M P U T   S T ,   V 6 5 ,   P 1 5 3 ,   D O I   1 0 . 1 0 1 6 / j . i j h c s . 2 0 0 6 . 0 9 . 0 0 3 ;   J i a n g   J J ,   2 0 0 2 ,   M I S   Q U A R T ,   V 2 6 ,   P 1 4 5 ,   D O I   1 0 . 2 3 0 7 / 4 1 3 2 3 2 4 ;   K a n k a n h a l l i   A ,   2 0 0 5 ,   M I S   Q U A R T ,   V 2 9 ,   P 1 1 3 ;   K e   W L ,   2 0 0 9 ,   I N T   J   E L E C T R O N   C O M M ,   V 1 3 ,   P 3 9 ,   D O I   1 0 . 2 7 5 3 / J E C 1 0 8 6 - 4 4 1 5 1 3 0 4 0 3 ;   K E T T I N G E R   W J ,   1 9 9 4 ,   D E C I S I O N   S C I ,   V 2 5 ,   P 7 3 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 9 1 5 . 1 9 9 4 . t b 0 1 8 6 8 . x ;   K o h   J ,   2 0 0 4 ,   E X P E R T   S Y S T   A P P L ,   V 2 6 ,   P 1 5 5 ,   D O I   1 0 . 1 0 1 6 / S 0 9 5 7 - 4 1 7 4 ( 0 3 ) 0 0 1 1 6 - 7 ;   K o h   J ,   2 0 0 7 ,   C O M M U N   A C M ,   V 5 0 ,   P 6 9 ;   L a k h a n i   K R ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 9 2 3 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 2 ) 0 0 0 9 5 - 1 ;   L a r c k e r   D .   F . ,   1 9 8 1 ,   J   M A R K E T I N G   R E S ,   V 1 8 ,   P 3 9 ,   D O I   D O I   1 0 . 2 3 0 7 / 3 1 5 1 3 1 2 ;   L e c h n e r   U ,   2 0 0 2 ,   I N T   J   E L E C T R O N   C O M M ,   V 6 ,   P 4 1 ;   L e i m e i s t e r   J M ,   2 0 0 9 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 6 ,   P 1 9 7 ,   D O I   1 0 . 2 7 5 3 / M I S 0 7 4 2 - 1 2 2 2 2 6 0 1 0 8 ;   L i n   H F ,   2 0 0 7 ,   J   I N F   S C I ,   V 3 3 ,   P 1 3 5 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 0 6 0 6 8 1 7 4 ;   L i n   H F ,   2 0 0 8 ,   I N F O R M   M A N A G E - A M S T E R ,   V 4 5 ,   P 5 2 2 ,   D O I   1 0 . 1 0 1 6 / j . i m . 2 0 0 8 . 0 8 . 0 0 2 ;   L i n   H F ,   2 0 0 7 ,   I N T E R N E T   R E S ,   V 1 7 ,   P 1 1 9 ,   D O I   1 0 . 1 1 0 8 / 1 0 6 6 2 2 4 0 7 1 0 7 3 6 9 9 7 ;   L i n   M J J ,   2 0 0 9 ,   C O M P U T   H U M   B E H A V ,   V 2 5 ,   P 9 2 9 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 0 9 . 0 3 . 0 0 8 ;   L j u n g b e r g   J ,   2 0 0 0 ,   E U R   J   I N F O R M   S Y S T ,   V 9 ,   P 2 0 8 ,   D O I   1 0 . 1 0 5 7 / p a l g r a v e / e j i s / 3 0 0 0 3 7 3 ;   L o c k e   E A ,   2 0 0 2 ,   A M   P S Y C H O L ,   V 5 7 ,   P 7 0 5 ,   D O I   1 0 . 1 0 3 7 / / 0 0 0 3 - 0 6 6 X . 5 7 . 9 . 7 0 5 ;   L u   Y . ,   2 0 0 9 ,   E L E C T R O N   C O M M E R   R   A ,   V 9 ,   P 3 4 6 ;   L u   Y . ,   2 0 1 0 ,   D E C I S   S U P P O R T   S Y S T ,   V 5 0 ,   P 5 2 9 ;   M a   M ,   2 0 0 7 ,   I N F O R M   S Y S T   R E S ,   V 1 8 ,   P 4 2 ,   D O I   1 0 . 1 2 8 7 / i s r e . 1 0 7 0 . 0 1 1 3 ;   N a d k a r n i   S ,   2 0 0 7 ,   M I S   Q U A R T ,   V 3 1 ,   P 5 0 1 ;   N i c k e r s o n   J . ,   2 0 0 9 ,   3 0   I N T   C   I N F   S Y S T   P H ;   O l s o n   M a n c u r ,   1 9 6 7 ,   L O G I C   C O L L E C T I V E   A C T ;   P a l m g r e e n   P . ,   1 9 8 4 ,   C O M M U N I C A T I O N   Y B ,   V 8 ,   P 6 1 ;   P o r t e r   C o n s t a n c e   E l i s e ,   2 0 0 4 ,   J   C O M P U T E R   M E D I A T E D ,   V 1 0 . 1 ;   Q u r e s h i   I ,   2 0 0 9 ,   M I S   Q U A R T ,   V 3 3 ,   P 1 9 7 ;   R A S C H   R H ,   1 9 9 2 ,   M I S   Q U A R T ,   V 1 6 ,   P 3 9 5 ,   D O I   1 0 . 2 3 0 7 / 2 4 9 5 3 5 ;   R h e i n g o l d   H . ,   1 9 9 3 ,   V I R T U A L   C O M M U N I T Y   H O ;   R o b e r t s   J A ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 9 8 4 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 5 4 ;   R o k e a c h   M . ,   1 9 7 9 ,   U N D E R S T A N D I N G   H U M A N ,   P 4 7 ;   R o u s s e a u   D .   M . ,   1 9 9 3 ,   R E S   O R G A N   B E H A V ,   P 1 ;   R y a n   R M ,   2 0 0 0 ,   C O N T E M P   E D U C   P S Y C H O L ,   V 2 5 ,   P 5 4 ,   D O I   1 0 . 1 0 0 6 / c e p s . 1 9 9 9 . 1 0 2 0 ;   R y a n   R M ,   2 0 0 0 ,   A M   P S Y C H O L ,   V 5 5 ,   P 6 8 ,   D O I   1 0 . 1 0 3 7 / / 0 0 0 3 - 0 6 6 X . 5 5 . 1 . 6 8 ;   S C H M I D T   F L ,   1 9 7 3 ,   O R G A N   B E H A V   H U M   P E R F ,   V 1 0 ,   P 2 4 3 ,   D O I   1 0 . 1 0 1 6 / 0 0 3 0 - 5 0 7 3 ( 7 3 ) 9 0 0 1 6 - 0 ;   S e i j t s   G H ,   2 0 0 4 ,   A C A D   M A N A G E   J ,   V 4 7 ,   P 2 2 7 ;   S h a h   J ,   1 9 9 7 ,   J   P E R S   S O C   P S Y C H O L ,   V 7 3 ,   P 4 4 7 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 7 3 . 3 . 4 4 7 ;   S i a   C L ,   2 0 0 9 ,   M I S   Q U A R T ,   V 3 3 ,   P 4 9 1 ;   S t o n e - R o m e r o   E F ,   2 0 0 2 ,   R E S   P E R S   H ,   V 2 1 ,   P 3 3 3 ;   T A Y L O R   M S ,   1 9 8 1 ,   O R G A N   B E H A V   H U M   P E R F ,   V 2 7 ,   P 2 5 5 ,   D O I   1 0 . 1 0 1 6 / 0 0 3 0 - 5 0 7 3 ( 8 1 ) 9 0 0 4 9 - 0 ;   T e o   H H ,   2 0 0 3 ,   I N T   J   H U M - C O M P U T   S T ,   V 5 9 ,   P 6 7 1 ,   D O I   1 0 . 1 0 1 6 / S 1 0 7 1 - 5 8 1 9 ( 0 3 ) 0 0 0 8 7 - 9 ;   v o n   H i p p e l   E ,   2 0 0 3 ,   O R G A N   S C I ,   V 1 4 ,   P 2 0 9 ;   V r o o m   V .   H . ,   1 9 6 4 ,   W O R K   M O T I V A T I O N ;   W a s k o   M M ,   2 0 0 0 ,   J   S T R A T E G I C   I N F   S Y S T ,   V 9 ,   P 1 5 5 ;   W a s k o   M M ,   2 0 0 9 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 7 ,   P 2 5 4 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 9 . 0 2 . 0 1 2 ;   W a s k o   M M ,   2 0 0 5 ,   M I S   Q U A R T ,   V 2 9 ,   P 3 5 ;   W e i n e r   B . ,   1 9 9 2 ,   H U M A N   M O T I V A T I O N   M E T ;   Y a n g   J . ,   2 0 0 8 ,   P   9   A C M   C   E L   C O M M   C H ;   Y a n g   Y . ,   2 0 0 9 ,   3 0   I N T   C   I N F   S Y S T   P H ;   Y e o   G B ,   2 0 0 4 ,   J   A P P L   P S Y C H O L ,   V 8 9 ,   P 2 3 1 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 1 - 9 0 1 0 . 8 9 . 2 . 2 3 1 ;   Z h a n g   Y X ,   2 0 1 0 ,   I N T   J   I N F O R M   M A N A G E ,   V 3 0 ,   P 4 2 5 ,   D O I   1 0 . 1 0 1 6 / j . i j i n f o m g t . 2 0 1 0 . 0 2 . 0 0 3 ;   Z h o u   K Z ,   2 0 0 7 ,   J   I N T   B U S   S T U D ,   V 3 8 ,   P 3 0 3 ,   D O I   1 0 . 1 0 5 7 / p a l g r a v e . j i b s . 8 4 0 0 2 5 9 	 8 4 	 8 	 1 0 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 0 1 6 7 - 9 2 3 6 	 	 	 D E C I S   S U P P O R T   S Y S T 	 D e c i s .   S u p p o r t   S y s t . 	 A P R 	 2 0 1 2 	 5 3 	 1 	 	 	 	 	 1 2 	 2 2 	 	 1 0 . 1 0 1 6 / j . d s s . 2 0 1 1 . 1 0 . 0 0 6 	 	 1 1 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 C o m p u t e r   S c i e n c e ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 9 2 8 K T 	 W O S : 0 0 0 3 0 2 9 8 2 3 0 0 0 0 2 	 	 
 J 	 E s t e l l e s - A r o l a s ,   E ;   G o n z a l e z - L a d r o n - d e - G u e v a r a ,   F 	 	 	 	 E s t e l l e s - A r o l a s ,   E n r i q u e ;   G o n z a l e z - L a d r o n - d e - G u e v a r a ,   F e r n a n d o 	 	 	 T o w a r d s   a n   i n t e g r a t e d   c r o w d s o u r c i n g   d e f i n i t i o n 	 J O U R N A L   O F   I N F O R M A T I O N   S C I E N C E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c r o w d s o u r c i n g ;   d e f i n i t i o n ;   i n n o v a t i o n 	 P A R T I C I P A T I O N ;   W E B 	 ' C r o w d s o u r c i n g '   i s   a   r e l a t i v e l y   r e c e n t   c o n c e p t   t h a t   e n c o m p a s s e s   m a n y   p r a c t i c e s .   T h i s   d i v e r s i t y   l e a d s   t o   t h e   b l u r r i n g   o f   t h e   l i m i t s   o f   c r o w d s o u r c i n g   t h a t   m a y   b e   i d e n t i f i e d   v i r t u a l l y   w i t h   a n y   t y p e   o f   i n t e r n e t - b a s e d   c o l l a b o r a t i v e   a c t i v i t y ,   s u c h   a s   c o - c r e a t i o n   o r   u s e r   i n n o v a t i o n .   V a r y i n g   d e f i n i t i o n s   o f   c r o w d s o u r c i n g   e x i s t ,   a n d   t h e r e f o r e   s o m e   a u t h o r s   p r e s e n t   c e r t a i n   s p e c i f i c   e x a m p l e s   o f   c r o w d s o u r c i n g   a s   p a r a d i g m a t i c ,   w h i l e   o t h e r s   p r e s e n t   t h e   s a m e   e x a m p l e s   a s   t h e   o p p o s i t e .   I n   t h i s   a r t i c l e ,   e x i s t i n g   d e f i n i t i o n s   o f   c r o w d s o u r c i n g   a r e   a n a l y s e d   t o   e x t r a c t   c o m m o n   e l e m e n t s   a n d   t o   e s t a b l i s h   t h e   b a s i c   c h a r a c t e r i s t i c s   o f   a n y   c r o w d s o u r c i n g   i n i t i a t i v e .   B a s e d   o n   t h e s e   e x i s t i n g   d e f i n i t i o n s ,   a n   e x h a u s t i v e   a n d   c o n s i s t e n t   d e f i n i t i o n   f o r   c r o w d s o u r c i n g   i s   p r e s e n t e d   a n d   c o n t r a s t e d   i n   1 1   c a s e s . 	 [ E s t e l l e s - A r o l a s ,   E n r i q u e ;   G o n z a l e z - L a d r o n - d e - G u e v a r a ,   F e r n a n d o ]   U n i v   P o l i t e c n   V a l e n c i a ,   V a l e n c i a   4 6 0 2 2 ,   S p a i n 	 E s t e l l e s - A r o l a s ,   E   ( r e p r i n t   a u t h o r ) ,   U n i v   P o l i t e c n   V a l e n c i a ,   C a m i n o   V e r a   S - N ,   V a l e n c i a   4 6 0 2 2 ,   S p a i n . 	 k i k e e s t e l l e s @ g m a i l . c o m 	 	 	 	 	 A l i a k b a r i a n   S ,   2 0 0 7 ,   P   2 0 0 6   I N T   C   C O M M   C I ,   P 1 5 6 2 ;   A l o n s o   O . ,   2 0 1 1 ,   P   4   A C M   I N T   C   W E B   S E ,   P 1 ,   D O I   1 0 . 1 1 4 5 / 1 9 3 5 8 2 6 . 1 9 3 5 8 3 1 ;   A n d r i o l e   S J ,   2 0 1 0 ,   C O M M U N   A C M ,   V 5 3 ,   P 6 7 ,   D O I   1 0 . 1 1 4 5 / 1 8 5 9 2 0 4 . 1 8 5 8 2 2 5 ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   C R O W D S ;   B e d e r s o n   B B ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 9 7 ;   B r a b h a m   D .   C . ,   R O U T L E D G E   H   I N   P R E S S ;   B r a b h a m   D .   C . ,   2 0 0 8 ,   1   M O N D A Y ,   V 1 3 ;   B r a b h a m   D C ,   2 0 0 9 ,   P L A N   T H E O R ,   V 8 ,   P 2 4 2 ,   D O I   1 0 . 1 1 7 7 / 1 4 7 3 0 9 5 2 0 9 1 0 4 8 2 4 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B r a b h a m   D C ,   2 0 1 0 ,   I N F O R M   C O M M U N   S O C ,   V 1 3 ,   P 1 1 2 2 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 1 0 0 3 6 2 4 0 9 0 ;   B u e c h e l e r   T ,   2 0 1 0 ,   A R T I F   L I F E ,   P 6 7 9 ;   B u r g e r - H e l m c h e n   T . ,   2 0 1 0 ,   W O R K S H   O P   S O U R C   I N N ;   C h a n a l   V ,   2 0 0 8 ,   E U R A M   L U B J   S L O V ;   C i s t e r n i n o   A n t o n i o ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S ,   P 4 2 5 ;   C o s m a   G ,   2 0 0 8 ,   I E E E   T   E D U C ,   V 5 1 ,   P 1 9 5 ,   D O I   1 0 . 1 1 0 9 / T E . 2 0 0 7 . 9 0 6 7 7 6 ;   D a h l a n d e r   L ,   2 0 1 0 ,   R E S   P O L I C Y ,   V 3 9 ,   P 6 9 9 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 1 0 . 0 1 . 0 1 3 ;   D e l g a d o   M ,   2 0 1 0 ,   R E V I S I O N   S I S T E M A T I C A ;   D e n y e r   D ,   2 0 0 8 ,   O R G A N   S T U D ,   V 2 9 ,   P 3 9 3 ,   D O I   1 0 . 1 1 7 7 / 0 1 7 0 8 4 0 6 0 7 0 8 8 0 2 0 ;   D i P a l a n t i n o   D . ,   2 0 0 9 ,   P   1 0   A C M   C   E L   C O M M ,   P 1 1 9 ,   D O I   1 0 . 1 1 4 5 / 1 5 6 6 3 7 4 . 1 5 6 6 3 9 2 ;   D i s t e f a n o   A l e s s a n d r a ,   2 0 1 0 ,   7   C   I T   C H A P T   A I S   I N F ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   E C M T   ( E u r o p e a n   C o m m i s s i o n   f o r   M o b i l i t y   a n d   T r a n s p o r t ) ,   2 0 1 1 ,   D O O R   T O   D O O R   C L I C K ;   E g g e r   M ,   2 0 0 1 ,   S Y S T E M A T I C   R E V   H L T H ;   F B I ,   2 0 1 1 ,   C R Y P T   H E L P   B R E A K   C O D ;   G e e r t s   S ,   2 0 0 9 ,   D I S C O V E R I N G   C R O W D S O U ;   G e i g e r   D . ,   2 0 1 1 ,   P   1 7   A M   C   I N F   S Y S T   D ;   G i u d i c e   K D ,   2 0 1 0 ,   P   7 3   A S I S   T   A N N   M   N A ,   V 4 7 ,   P 1 ,   D O I   1 0 . 1 0 0 2 / m e e t . 1 4 5 0 4 7 0 1 0 9 9 ;   G R I E R   D A ,   2 0 1 1 ,   C O M P U T E R ,   V 4 4 ,   P 6 ;   H E E R   J ,   2 0 1 0 ,   P   2 8   I N T   C   H U M   F A C T ,   P 2 0 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 5 3 3 2 6 . 1 7 5 3 3 5 7 ;   H e i z e r   J . ,   2 0 0 8 ,   O P E R A T I O N S   M A N A G E M E N ;   H e y m a n n   P ,   2 0 1 1 ,   P   2 0   I N T   C   W O R L D   W I D ,   P 4 7 7 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   P 1 4 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   P O W E R ;   H o w e   J . ,   2 0 0 6 ,   C R O W D S O U R C I N G   D E F I N I ;   H u b e r m a n   B A ,   2 0 0 9 ,   J   I N F   S C I ,   V 3 5 ,   P 7 5 8 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 0 9 3 4 6 7 8 6 ;   I n c ,   2 0 1 0 ,   U S   C R O W D S   C O N T R   I N V ;   K a z a i   G ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 6 1 1 ,   P 1 6 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 0 1 6 1 - 5 _ 1 7 ;   K l e e m a n n   F . ,   2 0 0 8 ,   S C I   T E C H N O L O G Y   I N N O V ,   V 4 ,   P 5 ;   L a k h a n i   K R ,   0 7 0 5 0   H A R V   B U S   S C H ;   L i n g   P ,   2 0 1 0 ,   C O M P U T E R ,   V 7 ,   P 1 ;   L i u   E d d i e ,   2 0 1 0 ,   V I N E ,   V 4 0 ,   D O I   1 0 . 1 1 0 8 / 0 3 0 5 5 7 2 1 0 1 1 0 7 1 4 4 9 ;   M a s l o w   A H ,   1 9 4 3 ,   P S Y C H O L   R E V ,   V 5 0 ,   P 3 7 0 ,   D O I   1 0 . 1 0 3 7 / h 0 0 5 4 3 4 6 ;   O l i v e i r a   F ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S ,   P 4 1 2 ;   O S I ,   O P E N   S O U R C   D E F ;   P e t i t t i   D .   B . ,   2 0 0 0 ,   M E T A A N A L Y S I S   D E C I S I O ;   P o e t z   M K ,   J   P R O D U C T   I   I N   P R E S S ;   P o r t a   M ,   2 0 0 8 ,   S T R A T E G Y   L E A D E R S H I P ,   V 3 6 ,   P 1 0 ,   D O I   1 0 . 1 1 0 8 / 1 0 8 7 8 5 7 0 8 1 0 8 8 8 7 1 3 ;   R e i c h w a l d   R . ,   2 0 0 6 ,   I N T E R A K T I V E   W E R T S C H O ;   R i b i e r e   V M ,   2 0 1 0 ,   V I N E ,   V 4 0 ;   S c h e n k   E ,   2 0 0 9 ,   C R O W D S O U R C I N G   W H A T   C ;   S i d d i q u e   H ,   G U A R D I A N ;   S l o a n e   P . ,   2 0 1 1 ,   S T R A T E G I C   D I R E C T I O N ,   V 2 7 ,   P 3 ;   S t e w a r t   O . ,   2 0 0 9 ,   P   A C M   S I G K D D   W O R K S H ,   P 5 0 ,   D O I   1 0 . 1 1 4 5 / 1 6 0 0 1 5 0 . 1 6 0 0 1 6 8 ;   S u p e r b o w l ,   S U P E R B O W L   C R A S H   S U P E ;   S u r o w i e c k i   J a m e s ,   2 0 0 5 ,   W I S D O M   C R O W D S ;   T a t a r k i e w i c z   W . ,   1 9 8 0 ,   H I S T   6   I D E A S   E S S A Y   A ;   V e a l   A .   J . ,   2 0 0 2 ,   L E I S U R E   T O U R I S M   P O L I ;   V u k o v i c   M a j a ,   2 0 0 9 ,   P r o c e e d i n g s   o f   t h e   2 0 0 9   I E E E   C o n g r e s s   o n   S e r v i c e s .   S E R V I C E S   2 0 0 9 ,   D O I   1 0 . 1 1 0 9 / S E R V I C E S - I . 2 0 0 9 . 5 6 ;   V u k o v i c   M ,   2 0 0 9 ,   S E R V I C E   O R I E N T E D   C O M ;   V u k o v i c   M ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 4 1 5 ,   P 4 2 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 6 5 5 8 - 0 _ 3 6 ;   W e x l e r   M . N . ,   2 0 1 1 ,   I N T   J   S O C I O L O G Y   S O C I ,   V 3 1 ,   P 6 ,   D O I   D O I   1 0 . 1 1 0 8 / 0 1 4 4 3 3 3 1 1 1 1 1 0 4 7 7 9 ;   W h i t l a   P . ,   2 0 0 9 ,   C O N T   M A N A G E M E N T   R E S ,   V 5 ,   P 1 5 ;   Y a n g   J ,   2 0 0 8 ,   P   9   A C M   C   E L   C O M M ,   P 2 4 6 ,   D O I   1 0 . 1 1 4 5 / 1 3 8 6 7 9 0 . 1 3 8 6 8 2 9 	 6 3 	 3 3 	 3 3 	 S A G E   P U B L I C A T I O N S   L T D 	 L O N D O N 	 1   O L I V E R S   Y A R D ,   5 5   C I T Y   R O A D ,   L O N D O N   E C 1 Y   1 S P ,   E N G L A N D 	 0 1 6 5 - 5 5 1 5 	 	 	 J   I N F   S C I 	 J .   I n f .   S c i . 	 A P R 	 2 0 1 2 	 3 8 	 2 	 	 	 	 	 1 8 9 	 2 0 0 	 	 1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 2 4 3 7 6 3 8 	 	 1 2 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 C o m p u t e r   S c i e n c e ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 9 2 3 O T 	 W O S : 0 0 0 3 0 2 6 2 9 3 0 0 0 0 7 	 	 
 J 	 B a s i o u k a ,   S ;   P o t s i o u ,   C 	 	 	 	 B a s i o u k a ,   S . ;   P o t s i o u ,   C . 	 	 	 V G I   i n   C a d a s t r e :   a   G r e e k   e x p e r i m e n t   t o   i n v e s t i g a t e   t h e   p o t e n t i a l   o f   c r o w d   s o u r c i n g   t e c h n i q u e s   i n   C a d a s t r a l   M a p p i n g 	 S U R V E Y   R E V I E W 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 V o l u n t e e r e d   g e o g r a p h i c   i n f o r m a t i o n ;   N e o g e o g r a p h y ;   C r o w d s o u r c i n g ;   C a d a s t r e 	 	 W h a t   m a k e   c i t i z e n s   p a r t i c i p a t e   i n   m a p p i n g   p r o j e c t s ?   W h a t   m o t i v a t e s   t h e m   t o   g e t   i n v o l v e d   i n   a   n o n - h i e r a r c h i c a l   n e t w o r k   o f   i n d i v i d u a l s   w h o   c o l l e c t ,   e d i t   a n d   s h a r e   g e o s p a t i a l   d a t a ?   W o u l d   t h e y   b e   w i l l i n g   t o   p a r t i c i p a t e   i n   c a d a s t r a l   m a p p i n g   a s   a n   a l t e r n a t i v e   w a y   t o   s p e e d   u p   t h e   c a d a s t r a l   s u r v e y   a n d   m i n i m i s e   t h e   c o s t s   a n d   e r r o r s   w h i c h   r i s e   w h e n   t r a d i t i o n a l   p r o c e d u r e s   a l l o w   l i m i t e d   o w n e r s '   p a r t i c i p a t i o n ?   T h e   a n s w e r s   a r e   s t i l l   a m b i g u o u s .   H o w e v e r ,   i t   i s   a   f a c t   t h a t   t h e   w a y   g e o s p a t i a l   d a t a   a r e   u s e d   a n d   t h e   w a y   c i t i z e n s   c o m p r e h e n d   i t s   i m p o r t a n c e   h a v e   c h a n g e d   d r a m a t i c a l l y   d u r i n g   t h e   l a s t   y e a r s .   T h e   p a p e r   b r i e f l y   g i v e s   a n   i n t r o d u c t i o n   o n   t h e   e v o l u t i o n   o f   N e o g e o g r a p h y   a n d   t h e   c i t i z e n s '   i n v o l v e m e n t   i n   s p a t i a l   d a t a   c o l l e c t i o n ,   e d i t i n g   a n d   u p l o a d i n g   o n   t h e   w e b ,   a n d   o f   t h e   i n t r o d u c t i o n   o f   t h e   t e r m   v o l u n t e e r e d   g e o g r a p h i c   i n f o r m a t i o n   ( V G I )   a n d   i t s   a d o p t i o n   b y   t h e   s c i e n t i f i c   c o m m u n i t y .   T h e   p a p e r   t h e n   p r e s e n t s   t h e   f i r s t   r e s u l t s   o f   a n   a c a d e m i c   r e s e a r c h   b e i n g   c o m p i l e d   a t   N T U A   i n   c o l l a b o r a t i o n   w i t h   F I G   C o m 3   W G   3 . 2 .   f o c u s i n g   o n   t h e   i n v e s t i g a t i o n   o f   t h e   p o t e n t i a l   f o r   i n t e r g r a d i n g   c r o w d   s o u r c i n g   t e c h n i q u e s   t o   c r e a t e   d r a f t   c a d a s t r a l   m a p s .   T h e   a p p l i c a t i o n   a r e a   c h o s e n   f o r   t h e   e x p e r i m e n t   i s   t h e   r u r a l   p a r t   o f   t h e   v i l l a g e   ' T s o u k a l a d e s ' ,   o n   t h e   G r e e k   i s l a n d   o f   L e f k a d a .   F i f t e e n   v o l u n t e e r   l a n d   o w n e r s   p a r t i c i p a t e d   t o   a   w e e k e n d   e x p e r i m e n t   a n d   c o l l e c t e d   g e o s p a t i a l   d a t a   f o r   t h e   d e l i n e a t i o n   o f   t h e i r   l a n d   p a r c e l   b o u n d a r i e s   o n   a   c a d a s t r a l   m a p ;   t h e   s p a t i a l   d a t a   w e r e   c o l l e c t e d   w i t h   t h e   a i d   o f   a   h a n d h e l d   G P S   a f t e r   a   b r i e f   t r a i n i n g ;   t h e   r e s o l u t i o n s   f r o m   t h e   i n t e r v i e w s   w i t h   t h e   l a n d   o w n e r s   a n d   t h e   r e s u l t i n g   c i t i z e n s '   c a d a s t r a l   m a p   a r e   p r e s e n t e d . 	 [ B a s i o u k a ,   S . ;   P o t s i o u ,   C . ]   N a t l   T e c h   U n i v   A t h e n s ,   S c h   R u r a l   &   S u r v e y i n g   E n g n ,   A t h e n s ,   G r e e c e 	 B a s i o u k a ,   S   ( r e p r i n t   a u t h o r ) ,   N a t l   T e c h   U n i v   A t h e n s ,   S c h   R u r a l   &   S u r v e y i n g   E n g n ,   A t h e n s ,   G r e e c e . 	 s . b a s i o u k a @ g m a i l . c o m 	 	 	 C o m m u n i t y   o f   T s o u k a l a d e s 	 A c k n o w l e d g e m e n t s   a n d   t h a n k s   t o   t h e   M u n i c i p a l i t y   o f   L e f k a d a ;   I r e n e   S t a m a t e l o u ,   P r e s i d e n t   o f   t h e   C o m m u n i t y   o f   T s o u k a l a d e s   f o r   p r o v i d i n g   s u p p o r t   a n d   h e l p   t o   t h e   i m p l e m e n t a t i o n   o f   t h e   c a s e   s t u d y ;   K t i m a t o l o g i o   S . A .   f o r   p r o v i d i n g   t h e   c a d a s t r a l   s u r v e y s   a t   ' T s o u k a l a d e s '   c o m m u n i t y ;   a n d   t o   a l l   v o l u n t e e r s   f o r   t h e i r   p a r t i c i p a t i o n .   S p e c i a l   t h a n k s   t o   P r o f e s s o r   C .   I o a n n i d i s ,   c h a i r   o f   F I G   C o m 3   W G   3 . 2   f o r   h i s   g u i d a n c e   a n d   c o n t r i b u t i o n   a n d   t o   S .   S o i l e ,   S u r v e y o r   E n g i n e e r   a t   t h e   L a b o r a t o r y   o f   P h o t o g r a m m e t r y   o f   N T U A   f o r   h e r   t e c h n i c a l   s u p p o r t . 	 A d l i n g t o n   G ,   2 0 1 1 ,   P   I N T   S   C A D   2   0   I N N S ;   A d l i n g t o n   G . ,   2 0 1 0 ,   P   4   R E G   C   C A D   S P A T   D ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   P R E F E C T U R E   L E F K A D A ;   A t h e r   A ,   2 0 0 9 ,   T H E S I S   U   C O L L   L O N D O N ;   B a s i o u k a   S ,   2 0 0 9 ,   T H E S I S   U   C O L L   L O N D O N ;   B l a u t   J M ,   2 0 0 3 ,   A N N   A S S O C   A M   G E O G R ,   V 9 3 ,   P 1 6 5 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 8 3 0 6 . 9 3 1 1 1 ;   B u d h a t h o k i   N . ,   2 0 0 8 ,   G E O J O U R N A L ,   V 7 2 ,   P 1 4 9 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 8 - 9 1 8 9 - X ;   D o m i ,   2 0 0 5 ,   E N C Y   D O M I ,   V 2 9 ,   P 4 0 7 ;   D o y t s h e r   Y . ,   2 0 1 0 ,   I N T   F E D E R A T I O N   S U R V E ,   V 4 8 ,   P 1 ;   E l   S i o u f i   M . ,   2 0 1 0 ,   P   2 4   F I G   I N T   C   2 0 1 0 ;   E l w o o d   S . ,   2 0 0 8 ,   G E O J O U R N A L ,   V 7 2 ,   P 1 7 3 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 0 8 - 0 0 8 - 9 1 8 6 - 0 ;   E l w o o d   S . ,   2 0 0 8 ,   G e o J o u r n a l ,   V 7 2 ,   P 1 3 3 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 0 8 - 0 0 8 - 9 1 8 7 - z ;   F l a n a g i n   A . ,   2 0 0 8 ,   G E O J O U R N A L ,   V 7 2 ,   P 1 3 7 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 8 - 9 1 8 8 - Y ;   G o o d c h i l d   M . ,   2 0 0 8 ,   G E O J O U R N A L ,   V 7 2 ,   P 2 3 9 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 8 - 9 1 9 0 - 4 ;   G o o d c h i l d   M . F . ,   2 0 0 7 ,   G E O J O U R N A L ,   V 6 9 ,   P 2 1 1 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 7 - 9 1 1 1 - Y ;   H A K L A Y   M ,   2 0 0 8 ,   E N V   P L A N N   B   I N   P R E S S ;   H a k l a y   M ,   2 0 1 0 ,   C A R T O G R   J ,   V 4 7 ,   P 3 1 5 ,   D O I   1 0 . 1 1 7 9 / 0 0 0 8 7 0 4 1 0 X 1 2 9 1 1 3 0 4 9 5 8 8 2 7 ;   H e l b i c h   M . ,   2 0 1 0 ,   P   G I S C I E N C E   2 0 1 0   W O R ;   H e l l e n i c   C a d a s t r e ,   2 0 1 1 ,   O R T H ;   H e l l e n i c   C a d a s t r e ,   2 0 1 1 ,   C A D   S U R V   C A D L   S U R V   S ;   H e l l e n i c   C a d a s t r e ,   2 0 1 1 ,   C A D   S U R V   R E G   C A D   S U R ;   K i n g s l e y   D . ,   2 0 0 7 ,   I N N O V A T I O N ,   V 2 0 ,   P 1 9 ;   K o u n a d i   O ,   2 0 0 9 ,   T H E S I S   U   C O L L   L O N D O N ;   L a a r a k k e r   P . ,   2 0 1 1 ,   P   F I G   W O R K   W E E K   2 0 1 1 ;   P a c i o n e   M i c h a e l ,   1 9 9 9 ,   A P P L   G E O G R A P H Y   P R I N C ;   P a p a d o p o u l o u   E . ,   2 0 1 0 ,   S E M   H E L L   C A D   T E C H N   C ;   P e r k i n s   C . ,   2 0 0 8 ,   N   W   G E O G R A P H Y ,   V 8 ,   P 1 9 ;   R o k o s   D ,   2 0 0 9 ,   P C C   J O I N T   W O R K S H   P L E ;   S e e g e r   C .   J . ,   2 0 0 8 ,   G e o J o u r n a l ,   V 7 2 ,   P 1 9 9 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 0 8 - 0 0 8 - 9 1 8 4 - 2 ;   S u i   D Z ,   2 0 0 8 ,   C O M P U T   E N V I R O N   U R B A N ,   V 3 2 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / j . c o m p e n v u r b s y s . 2 0 0 7 . 1 2 . 0 0 1 ;   T s e n k o v a   S . ,   2 0 0 9 ,   S E A R C H   S U S T A I N A B L E   S ,   P 1 1 3 ;   T u r n e r   J .   A . ,   2 0 0 6 ,   I N T R O   N E O G E O G R A P H Y ;   U e b e r s c h l a g   A ,   2 0 1 0 ,   1   A S S E S S M E N T   O P E N S T R ;   U n i t e d   N a t i o n s   E c o n o m i c   C o m m i s s i o n   f o r   E u r o p e ,   2 0 0 5 ,   L A N D   A D M   U N E C E   R E G ,   P 1 0 4 ;   W i l l i a m s o n   I . ,   2 0 1 1 ,   P   F I G   C O M M   7   A N N   M   2 ;   Z i e l s t r a   D ,   2 0 1 0 ,   P   1 3   A G I L E   I N T   C   G E O 	 3 6 	 1 	 1 	 M A N E Y   P U B L I S H I N G 	 L E E D S 	 S T E   1 C ,   J O S E P H S   W E L L ,   H A N O V E R   W A L K ,   L E E D S   L S 3   1 A B ,   W   Y O R K S ,   E N G L A N D 	 0 0 3 9 - 6 2 6 5 	 	 	 S U R V   R E V 	 S u r v .   R e v . 	 A P R 	 2 0 1 2 	 4 4 	 3 2 5 	 	 	 	 	 1 5 3 	 1 6 1 	 	 1 0 . 1 1 7 9 / 1 7 5 2 2 7 0 6 1 1 Y . 0 0 0 0 0 0 0 0 3 7 	 	 9 	 E n g i n e e r i n g ,   C i v i l ;   G e o s c i e n c e s ,   M u l t i d i s c i p l i n a r y ;   R e m o t e   S e n s i n g 	 E n g i n e e r i n g ;   G e o l o g y ;   R e m o t e   S e n s i n g 	 9 2 5 R K 	 W O S : 0 0 0 3 0 2 7 7 8 6 0 0 0 0 9 	 	 
 J 	 R o s s e n ,   B ;   L o k ,   B 	 	 	 	 R o s s e n ,   B r e n t ;   L o k ,   B e n j a m i n 	 	 	 A   c r o w d s o u r c i n g   m e t h o d   t o   d e v e l o p   v i r t u a l   h u m a n   c o n v e r s a t i o n a l   a g e n t s 	 I N T E R N A T I O N A L   J O U R N A L   O F   H U M A N - C O M P U T E R   S T U D I E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 V i r t u a l   h u m a n s ;   A g e n t s   a n d   i n t e l l i g e n t   s y s t e m s ;   H u m a n - c e n t e r e d   c o m p u t i n g ;   D i s t r i b u t e d   k n o w l e d g e   a c q u i s i t i o n ;   E n d - u s e r   p r o g r a m m i n g 	 S I M U L A T E D   P A T I E N T ;   M O D E L S 	 E d u c a t o r s   i n   m e d i c i n e ,   p s y c h o l o g y ,   a n d   t h e   m i l i t a r y   w a n t   t o   p r o v i d e   t h e i r   s t u d e n t s   w i t h   i n t e r p e r s o n a l   s k i l l s   p r a c t i c e .   V i r t u a l   h u m a n s   o f f e r   s t r u c t u r e d   l e a r n i n g   o f   i n t e r v i e w   s k i l l s ,   c a n   f a c i l i t a t e   l e a r n i n g   a b o u t   u n u s u a l   c o n d i t i o n s ,   a n d   a r e   a l w a y s   a v a i l a b l e .   H o w e v e r ,   t h e   c r e a t i o n   o f   v i r t u a l   h u m a n s   w i t h   t h e   a b i l i t y   t o   u n d e r s t a n d   a n d   r e s p o n d   t o   n a t u r a l   l a n g u a g e   r e q u i r e s   c o s t l y   e n g i n e e r i n g   b y   c o n v e r s a t i o n   k n o w l e d g e   e n g i n e e r s   ( g e n e r a l l y   c o m p u t e r   s c i e n t i s t s ) ,   a n d   i n c u r s   l o g i s t i c a l   c o s t   f o r   a c q u i r i n g   d o m a i n   k n o w l e d g e   f r o m   d o m a i n   e x p e r t s   ( e d u c a t o r s ) .   W e   a d d r e s s   t h e s e   p r o b l e m s   u s i n g   a   n o v e l   c r o w d s o u r c i n g   m e t h o d   e n t i t l e d   H u m a n - c e n t e r e d   D i s t r i b u t e d   C o n v e r s a t i o n a l   M o d e l i n g .   T h i s   m e t h o d   f a c i l i t a t e s   c o l l a b o r a t i v e   d e v e l o p m e n t   o f   v i r t u a l   h u m a n s   b y   t w o   g r o u p s   o f   e n d - u s e r s :   d o m a i n   e x p e r t s   ( e d u c a t o r s )   a n d   d o m a i n   n o v i c e s   ( s t u d e n t s ) .   W e   i m p l e m e n t e d   t h i s   m e t h o d   i n   a   w e b - b a s e d   a u t h o r i n g   t o o l   c a l l e d   V i r t u a l   P e o p l e   F a c t o r y .   U s i n g   V i r t u a l   P e o p l e   F a c t o r y ,   m e d i c a l   a n d   p h a r m a c y   e d u c a t o r s   a r e   n o w   c r e a t i n g   n a t u r a l   l a n g u a g e   v i r t u a l   p a t i e n t   i n t e r a c t i o n s   o n   t h e i r   o w n .   T h i s   a r t i c l e   p r e s e n t s   t h e   t h e o r e t i c a l   b a c k g r o u n d   f o r   H u m a n - c e n t e r e d   D i s t r i b u t e d   C o n v e r s a t i o n a l   M o d e l i n g ,   t h e   i m p l e m e n t a t i o n   o f   t h e   V i r t u a l   P e o p l e   F a c t o r y   a u t h o r i n g   t o o l ,   a n d   f i v e   c a s e   s t u d i e s   s h o w i n g   t h a t   H u m a n - c e n t e r e d   D i s t r i b u t e d   C o n v e r s a t i o n a l   M o d e l i n g   h a s   a d d r e s s e d   t h e   l o g i s t i c a l   c o s t   f o r   a c q u i r i n g   k n o w l e d g e .   P u b l i s h e d   b y   E l s e v i e r   L t d . 	 [ R o s s e n ,   B r e n t ;   L o k ,   B e n j a m i n ]   U n i v   F l o r i d a ,   G a i n e s v i l l e ,   F L   3 2 6 1 1   U S A 	 R o s s e n ,   B   ( r e p r i n t   a u t h o r ) ,   U n i v   F l o r i d a ,   G a i n e s v i l l e ,   F L   3 2 6 1 1   U S A . 	 b r o s s e n @ c i s e . u f l . e d u ;   l o k @ c i s e . u f l . e d u 	 	 	 U n i v e r s i t y   o f   F l o r i d a ;   N a t i o n a l   S c i e n c e   F o u n d a t i o n 	 S p e c i a l   t h a n k s   g o   t o   D r .   C a r o l e   K i m b e r l i n   a n d   D r .   D i a n e   B e c k   f o r   t h e i r   p a r t i c i p a t i o n   i n   t h e   p h a r m a c y   s t u d y ,   a n d   t o   D r .   S c o t t   L i n d ,   D r .   A d r i a n a   F o s t e r ,   a n d   D r .   H e v i l   S h a h   f o r   t h e i r   w o r k   o n   V H   p a t i e n t s   a n d   t h e i r   i n v a l u a b l e   f e e d b a c k   o n   V P F .   W e   a l s o   t h a n k   D r .   A a r o n   K o t r a n z a ,   D r .   R e g i s   K o p p e r ,   D r .   A n d r e w   R a i j ,   D r .   K y l e   J o h n s e n ,   J o o n   C h a u h ,   a n d   S h i v a   H a l a n   f o r   t h e i r   a d v i c e   a n d   a s s i s t a n c e   d u r i n g   V P F ' s   d e v e l o p m e n t   a n d   t h e   w r i t i n g   o f   t h i s   p a p e r .   T h i s   w o r k   w a s   m a d e   p o s s i b l e   b y   a   U n i v e r s i t y   o f   F l o r i d a   A l u m n i   F e l l o w s h i p   a n d   N a t i o n a l   S c i e n c e   F o u n d a t i o n   G r a n t s . 	 A A M O D T   A ,   1 9 9 4 ,   A I   C O M M U N ,   V 7 ,   P 3 9 ;   B e a r m a n   M ,   2 0 0 1 ,   M E D   E D U C ,   V 3 5 ,   P 8 2 4 ,   D O I   1 0 . 1 0 4 6 / j . 1 3 6 5 - 2 9 2 3 . 2 0 0 1 . 0 0 9 9 9 . x ;   B e n e d i c t   N . ,   2 0 1 0 ,   A M   J   P H A R M   E D U C ,   V 7 4 ,   P 8 ;   B e r g e r   B .   A . ,   2 0 0 6 ,   A M   J   P H A R M   E D U C ,   V 7 0 ,   P 2 ;   B e r g i n   R A ,   2 0 0 3 ,   C O M P U T   E D U C ,   V 4 0 ,   P 3 6 1 ,   D O I   1 0 . 1 0 1 6 / S 0 3 6 0 - 1 3 1 5 ( 0 2 ) 0 0 1 6 7 - 7 ;   C a s s e l l   J ,   2 0 0 1 ,   A I   M A G ,   V 2 2 ,   P 6 7 ;   D A V I S   F D ,   1 9 8 9 ,   M I S   Q U A R T ,   V 1 3 ,   P 3 1 9 ,   D O I   1 0 . 2 3 0 7 / 2 4 9 0 0 8 ;   D e l a d i s m a   A . ,   2 0 0 7 ,   A S S   S U R G   E D   2 0 0 7   S U R ;   D i c k e r s o n   R . ,   2 0 0 5 ,   S C S   2 0 0 5   I N T   C   H U M   C ,   P 7 9 ;   F a l l   L H ,   2 0 0 5 ,   A C A D   M E D ,   V 8 0 ,   P 8 4 7 ,   D O I   1 0 . 1 0 9 7 / 0 0 0 0 1 8 8 8 - 2 0 0 5 0 9 0 0 0 - 0 0 0 1 2 ;   F o s t e r ,   2 0 1 0 ,   E V A L U A T I O N   M E D   S T U D E ;   G l a s s   J . ,   2 0 0 5 ,   C O M P U T   A I D E D   D E S I G N ,   V I V ,   P 3 4 9 ;   H i l l   R ,   2 0 0 3 ,   K U N S T L I C H E   I N T E L L I G E ,   V 4 ,   P 5 ;   H u a n g   G ,   2 0 0 7 ,   A C A D   M E D ,   V 8 2 ,   P 4 4 6 ,   D O I   1 0 . 1 0 9 7 / A C M . 0 b 0 1 3 e 3 1 8 0 3 e 8 a 0 a ;   H u b a l   R   C ,   2 0 0 0 ,   S t u d   H e a l t h   T e c h n o l   I n f o r m ,   V 7 0 ,   P 1 3 3 ;   J a c k s o n   J . ,   2 0 1 0 ,   U S F   H L T H   V I R T U A L   S T A ;   J a c o b e l l i   F . ,   2 0 0 7 ,   E T H N I C   I D E N T I T Y   E N G A ;   J o h n s e n   K . ,   2 0 0 8 ,   D E S I G N   V A L I D A T I O N   V I ,   P 1 4 6 ;   J o h n s e n   K . ,   2 0 0 7 ,   V A L I D I T Y   V I R T U A L   H U M ;   K e n n y   P . ,   2 0 0 8 ,   E V   J U S T   V I R T   P A T   P T S ;   K e n n y   P ,   2 0 0 7 ,   B U I L D I N G   I N T E R A C T I V E ,   V 2 0 0 7 ;   L e u s k i   A . ,   2 0 0 6 ,   P   7   S I G D I A L   W O R K S H   D ;   L i d w e l l   W . ,   2 0 0 3 ,   U N I V E R S A L   P R I N C I P L E S ;   N a n t h a   S u r k u n a l i n g a m   J . W . ,   2 0 0 9 ,   A M   O S T   A S S   N A T   C ;   P a r s o n s   T D ,   2 0 0 8 ,   S T   H E A L   T ,   V 1 3 2 ,   P 3 5 7 ;   R a i j   A B ,   2 0 0 7 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 3 ,   P 4 4 3 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 0 7 . 1 0 3 6 ;   R e i t e r   E ,   2 0 0 3 ,   J   A R T I F   I N T E L L   R E S ,   V 1 8 ,   P 4 9 1 ;   R o s s e n   B . ,   2 0 1 0 ,   M Y S Q L   A J A X   D A T A B A S E ;   R u t t k a y   Z . ,   2 0 0 4 ,   E V A L U A T I N G   E M B O D I E D ;   S a l e h   N ,   2 0 1 0 ,   A N N   B E H A V   S C I   M E D   E D ,   V 1 6 ,   P 2 9 ;   S h a h   H . ,   2 0 0 9 ,   N A T   C   F A M   M E D   R E S   M E ;   S h a h   H . ,   2 0 1 2 ,   A C A D   P S Y C H I   I N   P R E S S ;   S h o r t l i f f e   E .   H . ,   1 9 7 6 ,   C O M P U T E R   B A S E D   M E D   C ;   S i n g h   P . ,   2 0 0 2 ,   O P E N   M I N D   C O M M O N   S E N ,   P 1 2 2 3 ;   S l a t e r   M ,   1 9 9 9 ,   I E E E   C O M P U T   G R A P H ,   V 1 9 ,   P 6 ,   D O I   1 0 . 1 1 0 9 / 3 8 . 7 4 9 1 1 6 ;   T r a u m   D ,   2 0 0 8 ,   L E C T   N O T E S   A R T I F   I N T ,   V 4 9 3 0 ,   P 2 9 6 ;   T r i o l a   M . M . ,   2 0 0 7 ,   A M I A   A N N   S   A M   M E D   I N ;   U l l r i c h   S ,   2 0 0 8 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 2 0 8 ,   P 2 8 1 ;   v o n   A h n   L . ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 3 1 9 ,   D O I   1 0 . 1 1 4 5 / 9 8 5 6 9 2 . 9 8 5 7 3 3 ;   W e s t b e r g   J ,   2 0 0 1 ,   F O S T E R I N G   R E F L E C T I O N ;   Y e d i d i a   M J ,   2 0 0 3 ,   J A M A - J   A M   M E D   A S S O C ,   V 2 9 0 ,   P 1 1 5 7 ,   D O I   1 0 . 1 0 0 1 / j a m a . 2 9 0 . 9 . 1 1 5 7 ;   Z A N B A K A   C .   A . ,   2 0 0 7 ,   P   S I G C H I   C   H U M   F A C T ,   P 1 5 6 1 ,   D O I   1 0 . 1 1 4 5 / 1 2 4 0 6 2 4 . 1 2 4 0 8 6 1 	 4 2 	 1 	 1 	 A C A D E M I C   P R E S S   L T D -   E L S E V I E R   S C I E N C E   L T D 	 L O N D O N 	 2 4 - 2 8   O V A L   R D ,   L O N D O N   N W 1   7 D X ,   E N G L A N D 	 1 0 7 1 - 5 8 1 9 	 	 	 I N T   J   H U M - C O M P U T   S T 	 I n t .   J .   H u m . - C o m p u t .   S t u d . 	 A P R 	 2 0 1 2 	 7 0 	 4 	 	 	 	 	 3 0 1 	 3 1 9 	 	 1 0 . 1 0 1 6 / j . i j h c s . 2 0 1 1 . 1 1 . 0 0 4 	 	 1 9 	 C o m p u t e r   S c i e n c e ,   C y b e r n e t i c s ;   E r g o n o m i c s ;   P s y c h o l o g y ,   M u l t i d i s c i p l i n a r y 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   P s y c h o l o g y 	 9 0 5 Y W 	 W O S : 0 0 0 3 0 1 3 1 3 1 0 0 0 0 4 	 	 
 J 	 S w a n ,   M 	 	 	 	 S w a n ,   M e l a n i e 	 	 	 C r o w d s o u r c e d   H e a l t h   R e s e a r c h   S t u d i e s :   A n   I m p o r t a n t   E m e r g i n g   C o m p l e m e n t   t o   C l i n i c a l   T r i a l s   i n   t h e   P u b l i c   H e a l t h   R e s e a r c h   E c o s y s t e m 	 J O U R N A L   O F   M E D I C A L   I N T E R N E T   R E S E A R C H 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C o m m u n i t y - B a s e d   P a r t i c i p a t o r y   R e s e a r c h ;   P r e v e n t i v e   M e d i c i n e ;   P e r s o n a l i z e d   M e d i c i n e ;   I n d i v i d u a l i z e d   M e d i c i n e ;   C o n s u m e r   P a r t i c i p a t i o n ;   H e a l t h   S e r v i c e s   R e s e a r c h ;   H e a l t h   C a r e   R e s e a r c h ;   P u b l i c   H e a l t h ;   G e n o m i c s ;   M e d i c i n e 	 A M Y O T R O P H I C - L A T E R A L - S C L E R O S I S ;   P A T I E N T - R E P O R T E D   O U T C O M E S ;   U N R E A S O N A B L E   E F F E C T I V E N E S S ;   S E L F - E X P E R I M E N T A T I O N ;   O N L I N E   C O M M U N I T Y ;   M E D I C I N E 	 B a c k g r o u n d :   C r o w d s o u r c e d   h e a l t h   r e s e a r c h   s t u d i e s   a r e   t h e   n e x u s   o f   t h r e e   c o n t e m p o r a r y   t r e n d s :   1 )   c i t i z e n   s c i e n c e   ( n o n - p r o f e s s i o n a l l y   t r a i n e d   i n d i v i d u a l s   c o n d u c t i n g   s c i e n c e - r e l a t e d   a c t i v i t i e s ) ;   2 )   c r o w d s o u r c i n g   ( u s e   o f   w e b - b a s e d   t e c h n o l o g i e s   t o   r e c r u i t   p r o j e c t   p a r t i c i p a n t s ) ;   a n d   3 )   m e d i c i n e   2 . 0   / h e a l t h   2 . 0   ( a c t i v e   p a r t i c i p a t i o n   o f   i n d i v i d u a l s   i n   t h e i r   h e a l t h   c a r e   p a r t i c u l a r l y   u s i n g   w e b   2 . 0   t e c h n o l o g i e s ) .   C r o w d s o u r c e d   h e a l t h   r e s e a r c h   s t u d i e s   h a v e   a r i s e n   a s   a   n a t u r a l   e x t e n s i o n   o f   t h e   a c t i v i t i e s   o f   h e a l t h   s o c i a l   n e t w o r k s   ( o n l i n e   h e a l t h   i n t e r e s t   c o m m u n i t i e s ) ,   a n d   c a n   b e   r e s e a r c h e r - o r g a n i z e d   o r   p a r t i c i p a n t - o r g a n i z e d .   I n   t h e   l a s t   f e w   y e a r s ,   p r o f e s s i o n a l   r e s e a r c h e r s   h a v e   b e e n   c r o w d s o u r c i n g   c o h o r t s   f r o m   h e a l t h   s o c i a l   n e t w o r k s   f o r   t h e   c o n d u c t   o f   t r a d i t i o n a l   s t u d i e s .   P a r t i c i p a n t s   h a v e   a l s o   b e g u n   t o   o r g a n i z e   t h e i r   o w n   r e s e a r c h   s t u d i e s   t h r o u g h   h e a l t h   s o c i a l   n e t w o r k s   a n d   h e a l t h   c o l l a b o r a t i o n   c o m m u n i t i e s   c r e a t e d   e s p e c i a l l y   f o r   t h e   p u r p o s e   o f   s e l f - e x p e r i m e n t a t i o n   a n d   t h e   i n v e s t i g a t i o n   o f   h e a l t h - r e l a t e d   c o n c e r n s .   O b j e c t i v e :   T h e   o b j e c t i v e   o f   t h i s   a n a l y s i s   i s   t o   u n d e r t a k e   a   c o m p r e h e n s i v e   n a r r a t i v e   r e v i e w   o f   c r o w d s o u r c e d   h e a l t h   r e s e a r c h   s t u d i e s .   T h i s   r e v i e w   w i l l   a s s e s s   t h e   s t a t u s ,   i m p a c t ,   a n d   p r o s p e c t s   o f   c r o w d s o u r c e d   h e a l t h   r e s e a r c h   s t u d i e s .   M e t h o d s :   C r o w d s o u r c e d   h e a l t h   r e s e a r c h   s t u d i e s   w e r e   i d e n t i f i e d   t h r o u g h   a   s e a r c h   o f   l i t e r a t u r e   p u b l i s h e d   f r o m   2 0 0 0   t o   2 0 1 1   a n d   i n f o r m a l   i n t e r v i e w s   c o n d u c t e d   2 0 0 8 - 2 0 1 1 .   K e y w o r d   t e r m s   r e l a t e d   t o   c r o w d s o u r c i n g   w e r e   s o u g h t   i n   M e d l i n e / P u b M e d .   P a p e r s   t h a t   p r e s e n t e d   r e s u l t s   f r o m   h u m a n   h e a l t h   s t u d i e s   t h a t   i n c l u d e d   c r o w d s o u r c e d   p o p u l a t i o n s   w e r e   s e l e c t e d   f o r   i n c l u s i o n .   C r o w d s o u r c e d   h e a l t h   r e s e a r c h   s t u d i e s   n o t   p u b l i s h e d   i n   t h e   s c i e n t i f i c   l i t e r a t u r e   w e r e   i d e n t i f i e d   b y   a t t e n d i n g   i n d u s t r y   c o n f e r e n c e s   a n d   e v e n t s ,   i n t e r v i e w i n g   a t t e n d e e s ,   a n d   r e v i e w i n g   r e l a t e d   w e b s i t e s .   R e s u l t s :   P a r t i c i p a t o r y   h e a l t h   i s   a   g r o w i n g   a r e a   w i t h   i n d i v i d u a l s   u s i n g   h e a l t h   s o c i a l   n e t w o r k s ,   c r o w d s o u r c e d   s t u d i e s ,   s m a r t p h o n e   h e a l t h   a p p l i c a t i o n s ,   a n d   p e r s o n a l   h e a l t h   r e c o r d s   t o   a c h i e v e   p o s i t i v e   o u t c o m e s   f o r   a   v a r i e t y   o f   h e a l t h   c o n d i t i o n s .   P a t i e n t s L i k e M e   a n d   2 3 a n d M e   a r e   t h e   l e a d i n g   o p e r a t o r s   o f   r e s e a r c h e r - o r g a n i z e d ,   c r o w d s o u r c e d   h e a l t h   r e s e a r c h   s t u d i e s .   T h e s e   o p e r a t o r s   h a v e   p u b l i s h e d   f i n d i n g s   i n   t h e   a r e a s   o f   d i s e a s e   r e s e a r c h ,   d r u g   r e s p o n s e ,   u s e r   e x p e r i e n c e   i n   c r o w d s o u r c e d   s t u d i e s ,   a n d   g e n e t i c   a s s o c i a t i o n .   Q u a n t i f i e d   S e l f ,   G e n o m e r a ,   a n d   D I Y g e n o m i c s   a r e   c o m m u n i t i e s   o f   p a r t i c i p a n t - o r g a n i z e d   h e a l t h   r e s e a r c h   s t u d i e s   w h e r e   i n d i v i d u a l s   c o n d u c t   s e l f - e x p e r i m e n t a t i o n   a n d   g r o u p   s t u d i e s .   C r o w d s o u r c e d   h e a l t h   r e s e a r c h   s t u d i e s   h a v e   a   d i v e r s i t y   o f   i n t e n d e d   o u t c o m e s   a n d   l e v e l s   o f   s c i e n t i f i c   r i g o r .   C o n c l u s i o n s :   P a r t i c i p a t o r y   h e a l t h   i n i t i a t i v e s   a r e   b e c o m i n g   p a r t   o f   t h e   p u b l i c   h e a l t h   e c o s y s t e m   a n d   t h e i r   r a p i d   g r o w t h   i s   f a c i l i t a t e d   b y   I n t e r n e t   a n d   s o c i a l   n e t w o r k i n g   i n f l u e n c e s .   L a r g e - s c a l e   p a r a m e t e r - s t r a t i f i e d   c o h o r t s   h a v e   p o t e n t i a l   t o   f a c i l i t a t e   a   n e x t - g e n e r a t i o n   u n d e r s t a n d i n g   o f   d i s e a s e   a n d   d r u g   r e s p o n s e .   N o t   o n l y   i s   t h e   l a r g e   s i z e   o f   c r o w d s o u r c e d   c o h o r t s   a n   a s s e t   t o   m e d i c a l   d i s c o v e r y ,   t o o   i s   t h e   n e a r - i m m e d i a t e   s p e e d   a t   w h i c h   m e d i c a l   f i n d i n g s   m i g h t   b e   t e s t e d   a n d   a p p l i e d .   P a r t i c i p a t o r y   h e a l t h   i n i t i a t i v e s   a r e   e x p a n d i n g   t h e   s c o p e   o f   m e d i c i n e   f r o m   a   t r a d i t i o n a l   f o c u s   o n   d i s e a s e   c u r e   t o   a   p e r s o n a l i z e d   p r e v e n t i v e   a p p r o a c h .   C r o w d s o u r c e d   h e a l t h   r e s e a r c h   s t u d i e s   a r e   a   p r o m i s i n g   c o m p l e m e n t   a n d   e x t e n s i o n   t o   t r a d i t i o n a l   c l i n i c a l   t r i a l s   a s   a   m o d e l   f o r   t h e   c o n d u c t   o f   h e a l t h   r e s e a r c h . 	 M S   F u t u r e s   G r p ,   P a l o   A l t o ,   C A   9 4 3 0 6   U S A 	 S w a n ,   M   ( r e p r i n t   a u t h o r ) ,   M S   F u t u r e s   G r p ,   P O B   6 1 2 5 8 ,   P a l o   A l t o ,   C A   9 4 3 0 6   U S A . 	 m @ m e l a n i e s w a n . c o m 	 	 	 	 	 [ A n o n y m o u s ] ,   2 0 1 1 ,   2 3 A N D M E   D A T   S U R P   1 0 0 ;   A s s o c i a t i o n   f o r   t h e   A d v a n c e m e n t   o f   A r t i f i c i a l   I n t e l l i g e n c e ,   2 0 1 2 ,   S E L F   T R A C K   C O L L   I N T ;   B e d l a c k   R S ,   2 0 1 0 ,   A M Y O T R O P H   L A T E R A L   S C ,   V 1 1 ,   P 5 0 2 ,   D O I   1 0 . 3 1 0 9 / 1 7 4 8 2 9 6 8 . 2 0 1 0 . 4 8 4 4 9 4 ;   B e h r e n d   T S ,   2 0 1 1 ,   B E H A V   R E S   M E T H O D S ,   V 4 3 ,   P 8 0 0 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 0 8 1 - 0 ;   B r a d b u r y   D ,   2 0 1 1 ,   G U A R D I A N                 1 1 0 8 ;   B r o w n s t e i n   C A ,   2 0 0 9 ,   N A T   B I O T E C H N O L ,   V 2 7 ,   P 8 8 8 ,   D O I   1 0 . 1 0 3 8 / n b t 1 0 0 9 - 8 8 8 ;   B r o w n s t e i n   C A ,   2 0 1 0 ,   C L I N   O R T H O P   R E L A T   R ,   V 4 6 8 ,   P 2 5 8 1 ,   D O I   1 0 . 1 0 0 7 / s 1 1 9 9 9 - 0 1 0 - 1 3 7 3 - x ;   B u r k e   A . ,   2 0 1 1 ,   F O R B E S                     1 0 2 4 ;   B u r k e   A ,   2 0 1 1 ,   F O R B E S                     1 0 2 6 ;   C o o k   G . ,   2 0 1 1 ,   B O S T O N   G L O B E         1 1 1 1 ;   D o   C B ,   2 0 1 1 ,   P L O S   G E N E T ,   V 7 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p g e n . 1 0 0 2 1 4 1 ;   D o b k i n   B H ,   2 0 1 1 ,   N E U R O R E H A B   N E U R A L   R E ,   V 2 5 ,   P 7 8 8 ,   D O I   1 0 . 1 1 7 7 / 1 5 4 5 9 6 8 3 1 1 4 2 5 9 0 8 ;   D u f a u   S ,   2 0 1 1 ,   P L O S   O N E ,   V 6 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 2 4 9 7 4 ;   E r i k s s o n   N ,   2 0 1 0 ,   P L O S   G E N E T ,   V 6 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p g e n . 1 0 0 0 9 9 3 ;   F o r n a i   F ,   2 0 0 8 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 5 ,   P 2 0 5 2 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 7 0 8 0 2 2 1 0 5 ;   F o x   S ,   2 0 1 1 ,   S O C I A L   L I F E   H L T H   I N F ;   F r o s t   J ,   2 0 1 1 ,   J   M E D   I N T E R N E T   R E S ,   V 1 3 ,   P 1 2 9 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 6 4 3 ;   F r o s t   J H ,   2 0 0 8 ,   J   M E D   I N T E R N E T   R E S ,   V 1 0 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 0 5 3 ;   F r o s t   J H ,   2 0 0 8 ,   A M I A   A N N   S   P ;   F r y d m a n   G ,   2 0 1 0 ,   P A T I E N T   C E N T R I C   D E F I ;   G a v u r a   S ,   2 0 1 1 ,   S C I   B A S E D   M E D       0 4 1 4 ;   G i b s o n   G ,   2 0 1 0 ,   P L O S   G E N E T ,   V 6 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p g e n . 1 0 0 0 9 6 5 ;   H a l e v y   A ,   2 0 0 9 ,   I E E E   I N T E L L   S Y S T ,   V 2 4 ,   P 8 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 0 9 . 3 6 ;   H e y w o o d   J ,   T E D   P A R T N E R   S E R I E S   T ;   H o o d   L e e ,   2 0 1 1 ,   N a t   B i o t e c h n o l ,   V 2 9 ,   P 1 9 1 ,   D O I   1 0 . 1 0 3 8 / n b t . 1 8 0 9 ;   H u g h e s   B ,   2 0 0 8 ,   J   M E D   I N T E R N E T   R E S ,   V 1 0 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 0 5 6 ;   I r w i n   A ,   2 0 0 1 ,   P U B L I C   U N D E R S T   S C I ,   V 1 0 ,   P 1 ,   D O I   1 0 . 1 0 8 8 / 0 9 6 3 - 6 6 2 5 / 1 0 / 1 / 3 0 1 ;   K e l l y   K ,   2 0 0 8 ,   T E C H N I U M   B L O G       0 6 2 8 ;   L e n n o n   G ,   2 0 1 1 ,   G E O F F R E Y L E N N O N     0 5 1 7 ;   L e v i n a   M ,   2 0 1 0 ,   J C O M ,   V 9 ;   M a c D o n a l d   C ,   2 0 0 9 ,   G E N E T I C   E N G   B I O   1 0 1 5 ;   M a n n i n g   L ,   2 0 1 1 ,   Y E A R   F O O D   C O N S U M P T I O ;   M a r k o f f   J ,   2 0 1 1 ,   N Y   T I M E S                 0 1 1 0 ;   M a r t i n   R ,   2 0 1 1 ,   4 0   A N N   M   A M   A G   A S S   J ;   N a t i o n a l   A u d u b o n   S o c i e t y ,   2 0 1 1 ,   C H R I S T M   B I R D   C O U N T ;   Q u a n t i f i e d   S e l f ,   2 0 1 1 ,   Q U A N T   S E L F   I N   C   M A Y ;   R A R E   P r o j e c t ,   2 0 1 1 ,   P A T I E N T S L I K E M E   R A R E ;   R o b e r t s   S ,   2 0 1 0 ,   M E D   H Y P O T H E S E S ,   V 7 5 ,   P 4 8 2 ,   D O I   1 0 . 1 0 1 6 / j . m e h y . 2 0 1 0 . 0 4 . 0 3 0 ;   R o b e r t s   S ,   2 0 1 1 ,   R E S U L T S   B U T T E R M I N D   E ;   R o b e r t s   S ,   2 0 0 4 ,   B E H A V   B R A I N   S C I ,   V 2 7 ,   P 2 2 7 ;   S a r a s o h n - K a h n   J . ,   2 0 0 8 ,   W I S D O M   P A T I E N T S   H L T H ;   S h a m b r o o m   J R ,   2 0 1 2 ,   J   S L E E P   R E S ,   V 2 1 ,   P 2 2 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 8 6 9 . 2 0 1 1 . 0 0 9 4 4 . x ;   S H I R K Y   C L A Y ,   2 0 0 8 ,   H E R E   C O M E S   E V E R Y B O D Y ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   S w a n   M ,   2 0 0 9 ,   I N T   J   E N V   R E S   P U B   H E ,   V 6 ,   P 4 9 2 ,   D O I   1 0 . 3 3 9 0 / i j e r p h 6 0 2 0 4 9 2 ;   S w a n   M ,   2 0 1 2 ,   P E R S O N A L I Z E D   M E D ;   S w a n   M ,   2 0 1 1 ,   P R O C E S S I N G   R E A L I T Y   I ;   S w a n   M ,   2 0 1 0 ,   G E N E T   M E D ,   V 1 2 ,   P 2 7 9 ,   D O I   1 0 . 1 0 9 7 / G I M . 0 b 0 1 3 e 3 1 8 1 d 5 f 7 3 b ;   S w a n   M ,   2 0 1 0 ,   V I T A M I N   B   9   M T H F R   V A ;   S w a n   M . ,   2 0 1 0 ,   J   P A R T I C I P A T ,   V 2 ,   p e 2 0 ;   T a l a n   J ,   2 0 1 1 ,   N E U R O L O G Y   T O D A Y ,   V 1 1 ,   P 3 8 ,   D O I   [ 1 0 . 1 0 9 7 / 0 1 . N T . 0 0 0 0 4 0 5 1 4 0 . 2 8 7 8 9 . 7 6 ,   D O I   1 0 . 1 0 9 7 / 0 1 . N T . 0 0 0 0 4 0 5 1 4 0 . 2 8 7 8 9 . 7 6 ] ;   T a p s c o t t   D . ,   2 0 0 6 ,   W I K I N O M I C S   M A S S   C O L L ;   T u n g   J Y ,   2 0 1 1 ,   P L O S   O N E ,   V 6 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 2 3 4 7 3 ;   T u n g   J Y ,   2 0 1 1 ,   1 2   I N T   C   H U M   G E N   A M ;   T u r n e r   M R ,   2 0 1 1 ,   J   N E U R O L   N E U R O S U R   P S ,   V 8 2 ,   P 8 5 3 ,   D O I   1 0 . 1 1 3 6 / j n n p . 2 0 1 0 . 2 0 8 4 1 3 ;   W i c k s   P ,   2 0 1 0 ,   J   M E D   I N T E R N E T   R E S ,   V 1 2 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 5 4 9 ;   W i c k s   P ,   2 0 1 1 ,   N A T   B I O T E C H N O L ,   V 2 9 ,   P 4 1 1 ,   D O I   1 0 . 1 0 3 8 / n b t . 1 8 3 7 ;   W i c k s   P ,   2 0 1 1 ,   J   M E D   I N T E R N E T   R E S ,   V 1 3 ,   P 1 1 7 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 6 8 7 ;   W i c k s   P ,   2 0 0 9 ,   E U R   J   N E U R O L ,   V 1 6 ,   P 3 5 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 8 - 1 3 3 1 . 2 0 0 8 . 0 2 4 3 4 . x ;   W i c k s   P ,   2 0 0 9 ,   M O V E M E N T   D I S O R D ,   V 2 4 ,   P 1 0 8 5 ,   D O I   1 0 . 1 0 0 2 / m d s . 2 2 5 2 8 	 6 0 	 2 8 	 2 9 	 J O U R N A L   M E D I C A L   I N T E R N E T   R E S E A R C H 	 T O R O N T O 	 T O R O N T O   G E N E R A L   H O S P I T A L ,   R   F R A S E R   E L L I O T T   B L D G ,   4 T H   F L ,   R   4 S 4 3 5 ,   1 9 0   E L I Z A B E T H   S T ,   T O R O N T O ,   O N   M 5 G   2 C 4 ,   C A N A D A 	 1 4 3 8 - 8 8 7 1 	 	 	 J   M E D   I N T E R N E T   R E S 	 J .   M e d .   I n t e r n e t   R e s . 	 M A R - A P R 	 2 0 1 2 	 1 4 	 2 	 	 	 	 	 	 	 e 4 6 	 1 0 . 2 1 9 6 / j m i r . 1 9 8 8 	 	 1 3 	 H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s ;   M e d i c a l   I n f o r m a t i c s 	 H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s ;   M e d i c a l   I n f o r m a t i c s 	 9 4 8 V L 	 W O S : 0 0 0 3 0 4 5 3 0 8 0 0 0 1 5 	 2 2 3 9 7 8 0 9 	 
 J 	 K e r n ,   R ;   T h i e s ,   H ;   Z i r p i n s ,   C ;   S a t z g e r ,   G 	 	 	 	 K e r n ,   R o b e r t ;   T h i e s ,   H a n s ;   Z i r p i n s ,   C h r i s t i a n ;   S a t z g e r ,   G e r h a r d 	 	 	 D Y N A M I C   A N D   G O A L - B A S E D   Q U A L I T Y   M A N A G E M E N T   F O R   H U M A N - B A S E D   E L E C T R O N I C   S E R V I C E S 	 I N T E R N A T I O N A L   J O U R N A L   O F   C O O P E R A T I V E   I N F O R M A T I O N   S Y S T E M S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   s t a t i s t i c a l   q u a l i t y   c o n t r o l ;   h u m a n   c o m p u t a t i o n ;   e S e r v i c e s ;   p e o p l e   s e r v i c e s 	 	 C r o w d s o u r c i n g   i n   t h e   f o r m   o f   h u m a n - b a s e d   e l e c t r o n i c   s e r v i c e s   ( p e o p l e   s e r v i c e s )   p r o v i d e s   a   p o w e r f u l   w a y   o f   o u t s o u r c i n g   t a s k s   t o   a   l a r g e   c r o w d   o f   r e m o t e   w o r k e r s   o v e r   t h e   I n t e r n e t .   R e s e a r c h   h a s   s h o w n   t h a t   m u l t i p l e   r e d u n d a n t   r e s u l t s   d e l i v e r e d   b y   d i f f e r e n t   w o r k e r s   c a n   b e   a g g r e g a t e d   i n   o r d e r   t o   a c h i e v e   a   r e l i a b l e   r e s u l t .   H o w e v e r ,   b a s i c   i m p l e m e n t a t i o n s   o f   t h i s   a p p r o a c h   a r e   r a t h e r   i n e f f i c i e n t   a s   t h e y   m u l t i p l y   t h e   e f f o r t   f o r   t a s k   e x e c u t i o n   a n d   a r e   n o t   a b l e   t o   g u a r a n t e e   a   c e r t a i n   q u a l i t y   l e v e l .   I n   t h i s   p a p e r ,   w e   a r e   a d d r e s s i n g   t h e s e   c h a l l e n g e s   b y   e l a b o r a t i n g   o n   a   s t a t i s t i c a l   a p p r o a c h   f o r   q u a l i t y   m a n a g e m e n t   o f   p e o p l e   s e r v i c e s   w h i c h   w e   h a d   p r e v i o u s l y   p r o p o s e d .   T h e   a p p r o a c h   c o m b i n e s   e l e m e n t s   o f   s t a t i s t i c a l   q u a l i t y   m a n a g e m e n t   w i t h   d y n a m i c   g r o u p   d e c i s i o n s .   W e   p r e s e n t   a   c o m p r e h e n s i v e   s t a t i s t i c a l   m o d e l   t h a t   e n h a n c e s   o u r   o r i g i n a l   w o r k   a n d   m a k e s   i t   m o r e   t r a n s p a r e n t .   W e   a l s o   p r o v i d e   a n   e x t e n d i b l e   t o o l k i t   t h a t   i m p l e m e n t s   o u r   m o d e l   a n d   f a c i l i t a t e s   i t s   a p p l i c a t i o n   t o   r e a l - t i m e   e x p e r i m e n t s   a s   w e l l   a s   t o   s i m u l a t i o n s .   A   q u a n t i t a t i v e   a n a l y s i s   b a s e d   o n   a n   o p t i c a l   c h a r a c t e r   r e c o g n i t i o n   ( O C R )   s c e n a r i o   c o n f i r m s   t h e   e f f i c i e n c y   a n d   r e a c h   o f   o u r   m o d e l . 	 [ K e r n ,   R o b e r t ;   Z i r p i n s ,   C h r i s t i a n ;   S a t z g e r ,   G e r h a r d ]   K I T ,   K a r l s r u h e   S e r v   R e s   I n s t ,   D - 7 6 1 3 1   K a r l s r u h e ,   G e r m a n y ;   [ T h i e s ,   H a n s ]   S A P   R e s ,   C H - 9 0 0 0   S t   G a l l e n ,   S w i t z e r l a n d 	 K e r n ,   R   ( r e p r i n t   a u t h o r ) ,   K I T ,   K a r l s r u h e   S e r v   R e s   I n s t ,   E n g l e r s t r   1 1 ,   D - 7 6 1 3 1   K a r l s r u h e ,   G e r m a n y . 	 r o b e r t . k e r n @ k i t . e d u ;   h a n s . t h i e s @ s a p . c o m ;   c h r i s t i a n . z i r p i n s @ k i t . e d u ;   g e r h a r d . s a t z g e r @ k i t . e d u 	 	 	 	 	 B e r m b a c h   D . ,   2 0 1 1 ,   W O R K S H   2 5   A A A I   C   A R T ;   C o n d o r c e t   J . d e   A . ,   1 7 8 5 ,   E S S A I   A P P L   A N A L   P R O B ;   D a w i d   A . P . ,   1 9 7 9 ,   J   R O Y A L   S T A T   S O C   C ,   V 2 8 ,   P 2 0 ;   D o d g e   H . ,   1 9 5 1 ,   I N D   Q U A L I T Y   C O N T R O L ,   P 7 ;   G o s h   D .   T . ,   1 9 9 6 ,   I N D I A N   J   S T A T ,   V 5 8 ,   P 1 0 5 ;   G r a h a m   R .   L . ,   1 9 9 4 ,   C O N C R E T E   M A T H   F D N   C O ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   X R D S   C R O S S R O A D S   A C M ,   V 1 7 ,   P 1 6 ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 6 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 9 0 6 ;   J u r a n   J .   M . ,   2 0 0 0 ,   J U R A N S   Q U A L I T Y   H D B ;   K e r n   R . ,   2 0 1 0 ,   P   1 6   A M   C   I N F   S Y S T   A ;   K e r n   R ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 3 8 5 s ,   P 4 2 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 6 9 8 5 - 4 _ 3 9 ;   K e r n   R ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 4 7 0 ,   P 2 4 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 7 3 5 8 - 5 _ 1 7 ;   K e r n   R ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 4 7 2 ,   P 3 0 4 ;   L a t i f - S h a b g a h i   G ,   2 0 0 4 ,   I E E E   T   R E L I A B ,   V 5 3 ,   P 3 1 9 ,   D O I   1 0 . 1 1 0 9 / T R . 2 0 0 4 . 8 3 2 8 1 9 ;   L I E B E R M A N   G J ,   1 9 5 5 ,   A N N   M A T H   S T A T ,   V 2 6 ,   P 6 8 6 ,   D O I   1 0 . 1 2 1 4 / a o m s / 1 1 7 7 7 2 8 4 2 8 ;   L i t t l e   G . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 5 7 ,   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 4 0 ;   L I T T L E S T O N E   N ,   1 9 9 4 ,   I N F O R M   C O M P U T ,   V 1 0 8 ,   P 2 1 2 ,   D O I   1 0 . 1 0 0 6 / i n c o . 1 9 9 4 . 1 0 0 9 ;   L o p r e s t i   D ,   2 0 0 9 ,   I N T   J   D O C   A N A L   R E C O G ,   V 1 2 ,   P 1 4 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 0 3 2 - 0 0 9 - 0 0 9 4 - 8 ;   M a r s c h a k   J . ,   1 9 5 8 ,   C O W L E S   F D N   D I S C U S S   A ;   M i t t a g   H . - J . ,   1 9 9 3 ,   S T A T   M E T H O D S   Q U A L I T Y ;   M o n t g o m e r y   D .   C ,   2 0 0 8 ,   I N T R O   S T A T   Q U A L I T Y   C ;   R a y k a r   V . ,   2 0 1 0 ,   J   M A C H   L E A R N   R E S ,   V 9 9 ,   P 1 2 9 7 ;   R e v o w   M ,   1 9 9 6 ,   I E E E   T   P A T T E R N   A N A L ,   V 1 8 ,   P 5 9 2 ,   D O I   1 0 . 1 1 0 9 / 3 4 . 5 0 6 4 1 0 ;   R o s s   J . ,   2 0 1 0 ,   P   2 8   I N T   C   H U M   F A C T ,   P 2 8 6 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 5 3 8 4 6 . 1 7 5 3 8 7 3 . A C C E S S E D ;   S n o w   R . ,   2 0 0 8 ,   E M N L P ,   P 2 5 4 ;   S o r o k i n   A ,   2 0 0 8 ,   C V P R W   2 0 0 8 ,   P 1 ,   D O I   D O I   1 0 . 1 1 0 9 / C V P R W . 2 0 0 8 . 4 5 6 2 9 5 3 ;   W a n g   R C ,   1 9 9 7 ,   J   A P P L   S T A T ,   V 2 4 ,   P 5 3 9 ;   W h i t e h i l l   J . ,   2 0 0 9 ,   A D V   N E U R A L   I N F O R M   P R ,   V 2 2 ,   P 2 0 3 5 	 2 8 	 1 	 1 	 W O R L D   S C I E N T I F I C   P U B L   C O   P T E   L T D 	 S I N G A P O R E 	 5   T O H   T U C K   L I N K ,   S I N G A P O R E   5 9 6 2 2 4 ,   S I N G A P O R E 	 0 2 1 8 - 8 4 3 0 	 	 	 I N T   J   C O O P   I N F   S Y S T 	 I n t .   J .   C o o p .   I n f .   S y s t . 	 M A R 	 2 0 1 2 	 2 1 	 1 	 	 	 S I 	 	 3 	 2 9 	 	 1 0 . 1 1 4 2 / S 0 2 1 8 8 4 3 0 1 2 4 0 0 0 1 1 	 	 2 7 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 9 1 6 E H 	 W O S : 0 0 0 3 0 2 0 8 0 6 0 0 0 0 2 	 	 
 J 	 N g u y e n ,   T B ;   W a n g ,   S J ;   A n u g u ,   V ;   R o s e ,   N ;   M c K e n n a ,   M ;   P e t r i c k ,   N ;   B u r n s ,   J E ;   S u m m e r s ,   R M 	 	 	 	 N g u y e n ,   T a n   B . ;   W a n g ,   S h i j u n ;   A n u g u ,   V i s h a l ;   R o s e ,   N a t a l i e ;   M c K e n n a ,   M a t t h e w ;   P e t r i c k ,   N i c h o l a s ;   B u r n s ,   J o s e p h   E . ;   S u m m e r s ,   R o n a l d   M . 	 	 	 D i s t r i b u t e d   H u m a n   I n t e l l i g e n c e   f o r   C o l o n i c   P o l y p   C l a s s i f i c a t i o n   i n   C o m p u t e r - a i d e d   D e t e c t i o n   f o r   C T   C o l o n o g r a p h y 	 R A D I O L O G Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 T O M O G R A P H I C   V I R T U A L   C O L O N O S C O P Y ;   O B S E R V E R   P E R F O R M A N C E ;   F E A S I B I L I T Y ;   P O P U L A T I O N ;   C U R V E S ;   R E A D E R 	 P u r p o s e :   T o   a s s e s s   t h e   d i a g n o s t i c   p e r f o r m a n c e   o f   d i s t r i b u t e d   h u m a n   i n t e l l i g e n c e   f o r   t h e   c l a s s i f i c a t i o n   o f   p o l y p   c a n d i d a t e s   i d e n t i f i e d   w i t h   c o m p u t e r - a i d e d   d e t e c t i o n   ( C A D )   f o r   c o m p u t e d   t o m o g r a p h i c   ( C T )   c o l o n o g r a p h y .   M a t e r i a l s   a n d   M e t h o d s :   T h i s   s t u d y   w a s   a p p r o v e d   b y   t h e   i n s t i t u t i o n a l   O f f i c e   o f   H u m a n   S u b j e c t s   R e s e a r c h .   T h e   r e q u i r e m e n t   f o r   i n f o r m e d   c o n s e n t   w a s   w a i v e d   f o r   t h i s   H I P A A - c o m p l i a n t   s t u d y .   C T   i m a g e s   f r o m   2 4   p a t i e n t s ,   e a c h   w i t h   a t   l e a s t   o n e   p o l y p   o f   6   m m   o r   l a r g e r ,   w e r e   a n a l y z e d   b y   u s i n g   C A D   s o f t w a r e   t o   i d e n t i f y   2 6 8   p o l y p   c a n d i d a t e s .   T w e n t y   k n o w l e d g e   w o r k e r s   ( K W s )   f r o m   a   c r o w d s o u r c i n g   p l a t f o r m   l a b e l e d   e a c h   p o l y p   c a n d i d a t e   a s   a   t r u e   o r   f a l s e   p o l y p .   T w o   t r i a l s   i n v o l v i n g   2 2 8   K W s   w e r e   c o n d u c t e d   t o   a s s e s s   r e p r o d u c i b i l i t y .   P e r f o r m a n c e   w a s   a s s e s s e d   b y   c o m p a r i n g   t h e   a r e a   u n d e r   t h e   r e c e i v e r   o p e r a t i n g   c h a r a c t e r i s t i c   c u r v e   ( A U C )   o f   K W s   w i t h   t h e   A U C   o f   C A D   f o r   p o l y p   c l a s s i f i c a t i o n .   R e s u l t s :   T h e   d e t e c t i o n - l e v e l   A U C   f o r   K W s   w a s   0 . 8 4 5   + / -   0 . 0 4 5   ( s t a n d a r d   e r r o r )   i n   t r i a l   1   a n d   0 . 8 5 5   + / -   0 . 0 4 4   i n   t r i a l   2 .   T h e s e   w e r e   n o t   s i g n i f i c a n t l y   d i f f e r e n t   f r o m   t h e   A U C   f o r   C A D ,   w h i c h   w a s   0 . 8 5 9   + / -   0 . 0 4 3 .   W h e n   p o l y p   c a n d i d a t e s   w e r e   s t r a t i f i e d   b y   d i f f i c u l t y ,   K W s   p e r f o r m e d   b e t t e r   t h a n   C A D   o n   e a s y   d e t e c t i o n s ;   A U C s   w e r e   0 . 9 5 1   + / -   0 . 0 3 2   i n   t r i a l   1 ,   0 . 9 6 6   + / -   0 . 0 2 7   i n   t r i a l   2 ,   a n d   0 . 8 7 7   + / -   0 . 0 4 8   f o r   C A D   ( P   =   . 0 3 9   f o r   t r i a l   2 ) .   K W s   w h o   p a r t i c i p a t e d   i n   b o t h   t r i a l s   s h o w e d   a   s i g n i f i c a n t   i m p r o v e m e n t   i n   p e r f o r m a n c e   g o i n g   f r o m   t r i a l   1   t o   t r i a l   2 ;   A U C s   w e r e   0 . 7 5 9   + / -   0 . 0 5 2   i n   t r i a l   1   a n d   0 . 8 3 9   + / -   0 . 0 4 6   i n   t r i a l   2   ( P   =   . 0 4 1 ) .   C o n c l u s i o n :   T h e   p e r f o r m a n c e   o f   d i s t r i b u t e d   h u m a n   i n t e l l i g e n c e   i s   n o t   s i g n i f i c a n t l y   d i f f e r e n t   f r o m   t h a t   o f   C A D   f o r   c o l o n i c   p o l y p   c l a s s i f i c a t i o n . 	 [ N g u y e n ,   T a n   B . ;   W a n g ,   S h i j u n ;   A n u g u ,   V i s h a l ;   R o s e ,   N a t a l i e ;   M c K e n n a ,   M a t t h e w ;   B u r n s ,   J o s e p h   E . ;   S u m m e r s ,   R o n a l d   M . ]   N I H ,   I m a g i n g   B i o m a r k e r s   &   C o m p   A i d e d   D i a g   L a b ,   C t r   C l i n ,   B e t h e s d a ,   M D   2 0 8 9 2   U S A ;   [ P e t r i c k ,   N i c h o l a s ]   U S   F D A ,   C t r   D e v i c e s   &   R a d i o l   H l t h ,   S i l v e r   S p r i n g ,   M D   U S A ;   [ B u r n s ,   J o s e p h   E . ]   U n i v   C a l i f   I r v i n e ,   I r v i n e   M e d   C t r ,   D e p t   R a d i o l   S c i ,   O r a n g e ,   C A   9 2 6 6 8   U S A 	 S u m m e r s ,   R M   ( r e p r i n t   a u t h o r ) ,   N I H ,   I m a g i n g   B i o m a r k e r s   &   C o m p   A i d e d   D i a g   L a b ,   C t r   C l i n ,   1 0   C t r   D r , B l d g   1 0 , R o o m   1 C 2 2 4 D , M S C   1 1 8 2 ,   B e t h e s d a ,   M D   2 0 8 9 2   U S A . 	 r m s @ n i h . g o v 	 	 	 N a t i o n a l   I n s t i t u t e s   o f   H e a l t h ,   C l i n i c a l   C e n t e r ;   C l i n i c a l   R e s e a r c h   T r a i n i n g   P r o g r a m ;   N a t i o n a l   I n s t i t u t e s   o f   H e a l t h ;   P f i z e r ;   i C A D   M e d i c a l ;   i C A D 	 J . E . B . ,   a n d   R . M . S .   s u p p o r t e d   b y   t h e   I n t r a m u r a l   R e s e a r c h   P r o g r a m s   o f   t h e   N a t i o n a l   I n s t i t u t e s   o f   H e a l t h ,   C l i n i c a l   C e n t e r .   T . B . N .   s u p p o r t e d   i n   p a r t   t h r o u g h   t h e   C l i n i c a l   R e s e a r c h   T r a i n i n g   P r o g r a m ,   a   p u b l i c - p r i v a t e   p a r t n e r s h i p   s u p p o r t e d   j o i n t l y   b y   t h e   N a t i o n a l   I n s t i t u t e s   o f   H e a l t h   a n d   P f i z e r   ( v i a   a   g r a n t   t o   t h e   F o u n d a t i o n   f o r   t h e   N a t i o n a l   I n s t i t u t e s   o f   H e a l t h   f r o m   P f i z e r ) . T . B . N .   F i n a n c i a l   a c t i v i t i e s   r e l a t e d   t o   t h e   p r e s e n t   a r t i c l e :   r e c e i v e d   g r a n t   t h r o u g h   t h e   C l i n i c a l   R e s e a r c h   T r a i n i n g   P r o g r a m ,   a   p u b l i c - p r i v a t e   p a r t n e r s h i p   s u p p o r t e d   j o i n t l y   b y   t h e   N a t i o n a l   I n s t i t u t e s   o f   H e a l t h   a n d   P f i z e r   ( v i a   a   g r a n t   t o   t h e   F o u n d a t i o n   f o r   t h e   N a t i o n a l   I n s t i t u t e s   o f   H e a l t h   f r o m   P f i z e r ) .   F i n a n c i a l   a c t i v i t i e s   n o t   r e l a t e d   t o   t h e   p r e s e n t   a r t i c l e :   n o n e   t o   d i s c l o s e .   O t h e r   r e l a t i o n s h i p s :   n o n e   t o   d i s c l o s e .   S .   W .   N o   p o t e n t i a l   c o n f l i c t s   o f   i n t e r e s t   t o   d i s c l o s e .   V .   A .   N o   p o t e n t i a l   c o n f l i c t s   o f   i n t e r e s t   t o   d i s c l o s e .   N . R .   N o   p o t e n t i a l   c o n f l i c t s   o f   i n t e r e s t   t o   d i s c l o s e .   M .   M .   N o   p o t e n t i a l   c o n f l i c t s   o f   i n t e r e s t   t o   d i s c l o s e .   N . P .   F i n a n c i a l   a c t i v i t i e s   r e l a t e d   t o   t h e   p r e s e n t   a r t i c l e :   n o n e   t o   d i s c l o s e .   F i n a n c i a l   a c t i v i t i e s   n o t   r e l a t e d   t o   t h e   p r e s e n t   a r t i c l e :   a u t h o r   a n d   i n s t i t u t i o n   h a v e   p a t e n t   a p p l i c a t i o n s   s u b m i t t e d   i n   r e l a t e d   a r e a s   f o r   t h e   N a t i o n a l   I n s t i t u t e s   o f   H e a l t h   a n d   t h e   F o o d   a n d   D r u g   A d m i n i s t r a t i o n .   O t h e r   r e l a t i o n s h i p s :   n o n e   t o   d i s c l o s e .   J . E . B .   N o   p o t e n t i a l   c o n f l i c t s   o f   i n t e r e s t   t o   d i s c l o s e .   R .   M .   S .   F i n a n c i a l   a c t i v i t i e s   r e l a t e d   t o   t h e   p r e s e n t   a r t i c l e :   n o n e   t o   d i s c l o s e .   F i n a n c i a l   a c t i v i t i e s   n o t   r e l a t e d   t o   t h e   p r e s e n t   a r t i c l e :   r e c e i v e d   g r a n t   f r o m   i C A D   M e d i c a l ;   a u t h o r   a n d   i n s t i t u t i o n   r e c e i v e   r o y a l t i e s   f o r   a   p a t e n t   l i c e n s e   f r o m   i C A D   M e d i c a l   a n d   s o f t w a r e   l i c e n s e   f r o m   T r a n s l a t i o n a l   S c i e n c e s   C o r p o r a t i o n   a n d   h a v e   p a t e n t s   i s s u e d   a n d   p e n d i n g   i n   r e l a t e d   a r e a s .   O t h e r   r e l a t i o n s h i p s :   V i a t r o n i x   p r o v i d e d   t h e   V 3 D - C o l o n   s o f t w a r e   f r e e   o f   c h a r g e   t o   a u t h o r ' s   l a b o r a t o r y ,   a n d   s o f t w a r e   w a s   u s e d   i n   t h e   s u b m i t t e d   w o r k ;   a u t h o r ' s   l a b o r a t o r y   i s   s u p p o r t e d   i n   p a r t   b y   a   C o o p e r a t i v e   R e s e a r c h   a n d   D e v e l o p m e n t   A g r e e m e n t   w i t h   i C A D ;   i s   a   s t o c k h o l d e r   o f   J o h n s o n   &   J o h n s o n . 	 B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B U N C H   P C ,   1 9 7 8 ,   J   A P P L   P H O T O G R   E N G ,   V 4 ,   P 1 6 6 ;   C h a k r a b o r t y   D P ,   2 0 0 8 ,   A C A D   R A D I O L ,   V 1 5 ,   P 1 5 5 4 ,   D O I   1 0 . 1 0 1 6 / j . a c r a . 2 0 0 8 . 0 7 . 0 1 8 ;   D a c h m a n   A H ,   2 0 1 0 ,   R A D I O L O G Y ,   V 2 5 6 ,   P 8 2 7 ,   D O I   1 0 . 1 1 4 8 / r a d i o l . 1 0 0 9 1 8 9 0 ;   H o c k   D ,   2 0 0 8 ,   R A D I O L O G Y ,   V 2 4 8 ,   P 8 6 0 ,   D O I   1 0 . 1 1 4 8 / r a d i o l . 2 4 8 2 0 7 0 8 9 5 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   P 1 4 ;   I o r d a n e s c u   G ,   2 0 0 5 ,   A C A D   R A D I O L ,   V 1 2 ,   P 1 8 2 ,   D O I   1 0 . 1 0 1 6 / j . a c r a . 2 0 0 4 . 1 1 . 0 1 3 ;   J e m a l   A ,   2 0 1 0 ,   C A - C A N C E R   J   C L I N ,   V 6 0 ,   P 2 7 7 ,   D O I   [ 1 0 . 3 3 2 2 / c a a c . 2 0 0 7 3 ,   1 0 . 1 0 0 2 / c a a c . 2 0 0 7 3 ] ;   J e r e b k o   A K ,   2 0 0 3 ,   I N T   P   C   S E R ,   P 1 0 1 9 ;   J o h n s t o n   S C ,   2 0 0 9 ,   A N N   N E U R O L ,   V 6 5 ,   p A 7 ,   D O I   [ 1 0 . 1 0 0 2 / a n a . 2 1 7 3 5 ,   1 0 . 1 0 0 2 / a n a . 2 1 7 9 1 ] ;   L i   Q ,   2 0 0 6 ,   M E D   P H Y S ,   V 3 3 ,   P 8 6 8 ,   D O I   1 0 . 1 1 1 8 / 1 . 2 1 7 9 7 5 0 ;   M a l l e y   J D ,   2 0 0 3 ,   S P I E   M E D   I M A G I N G ,   P 5 7 0 ;   M e t z   C E ,   1 9 9 8 ,   S T A T   M E D ,   V 1 7 ,   P 1 0 3 3 ,   D O I   1 0 . 1 0 0 2 / ( S I C I ) 1 0 9 7 - 0 2 5 8 ( 1 9 9 8 0 5 1 5 ) 1 7 : 9 < 1 0 3 3 : : A I D - S I M 7 8 4 > 3 . 3 . C O ; 2 - Q ;   O p r e a   T I ,   2 0 0 9 ,   N A T   C H E M   B I O L ,   V 5 ,   P 4 4 1 ,   D O I   1 0 . 1 0 3 8 / n c h e m b i o 0 7 0 9 - 4 4 1 ;   P a o l a c c i   G ,   2 0 1 0 ,   J U D G M   D E C I S   M A K ,   V 5 ,   P 4 1 1 ;   P e t r i c k   N ,   2 0 0 8 ,   R A D I O L O G Y ,   V 2 4 6 ,   P 1 4 8 ,   D O I   1 0 . 1 1 4 8 / r a d i o l . 2 4 5 3 0 6 2 1 6 1 ;   P i c k h a r d t   P J ,   2 0 0 3 ,   N E W   E N G L   J   M E D ,   V 3 4 9 ,   P 2 1 9 1 ,   D O I   1 0 . 1 0 5 6 / N E J M o a 0 3 1 6 1 8 ;   P i c k h a r d t   P J ,   2 0 0 3 ,   A M   J   R O E N T G E N O L ,   V 1 8 1 ,   P 7 9 9 ;   R a y k a r   V C ,   2 0 1 0 ,   J   M A C H   L E A R N   R E S ,   V 1 1 ,   P 1 2 9 7 ;   S h a l i z i   C ,   2 0 1 0 ,   A M   S C I ,   V 9 8 ,   P 1 8 6 ;   S m i t h   R A ,   2 0 1 0 ,   C A - C A N C E R   J   C L I N ,   V 6 0 ,   P 9 9 ,   D O I   1 0 . 3 3 2 2 / c a a c . 2 0 0 6 3 ;   S u m m e r s   R M ,   2 0 0 2 ,   R A D I O L O G Y ,   V 2 2 5 ,   P 3 9 1 ,   D O I   1 0 . 1 1 4 8 / r a d i o l . 2 2 5 2 0 1 1 6 1 9 ;   S u m m e r s   R M ,   2 0 0 1 ,   R A D I O L O G Y ,   V 2 1 9 ,   P 5 1 ;   S u m m e r s   R M ,   2 0 0 5 ,   G A S T R O E N T E R O L O G Y ,   V 1 2 9 ,   P 1 8 3 2 ,   D O I   1 0 . 1 0 5 3 / j . g a s t r o . 2 0 0 5 . 0 8 . 0 5 4 ;   S u m m e r s   R M ,   2 0 0 5 ,   A M   J   R O E N T G E N O L ,   V 1 8 4 ,   P 1 0 5 ;   S u m m e r s   R M ,   2 0 0 9 ,   H D B   M E D   I M A G E   P E R C E P ,   P 3 1 1 ;   S u m m e r s   R o n a l d   M ,   2 0 1 0 ,   G a s t r o i n t e s t   E n d o s c   C l i n   N   A m ,   V 2 0 ,   P 2 4 5 ,   D O I   1 0 . 1 0 1 6 / j . g i e c . 2 0 1 0 . 0 2 . 0 0 4 ;   S u m m e r s   R M ,   2 0 0 0 ,   R A D I O L O G Y ,   V 2 1 6 ,   P 2 8 4 ;   T a y l o r   S A ,   2 0 0 8 ,   R A D I O L O G Y ,   V 2 4 6 ,   P 4 6 3 ,   D O I   1 0 . 1 1 4 8 / r a d i o 1 . 2 4 6 1 0 7 0 1 9 0 ;   W a n g   S J ,   2 0 1 1 ,   I   S   B I O M E D   I M A G I N G ,   P 1 6 0 ;   Y a o   J ,   2 0 0 4 ,   S P I E   M E D   I M A G I N G ,   P 2 8 0 	 3 1 	 9 	 9 	 R A D I O L O G I C A L   S O C   N O R T H   A M E R I C A 	 O A K   B R O O K 	 8 2 0   J O R I E   B L V D ,   O A K   B R O O K ,   I L   6 0 5 2 3   U S A 	 0 0 3 3 - 8 4 1 9 	 	 	 R A D I O L O G Y 	 R a d i o l o g y 	 M A R 	 2 0 1 2 	 2 6 2 	 3 	 	 	 	 	 8 2 4 	 8 3 3 	 	 1 0 . 1 1 4 8 / r a d i o l . 1 1 1 1 0 9 3 8 	 	 1 0 	 R a d i o l o g y ,   N u c l e a r   M e d i c i n e   &   M e d i c a l   I m a g i n g 	 R a d i o l o g y ,   N u c l e a r   M e d i c i n e   &   M e d i c a l   I m a g i n g 	 9 1 6 R R 	 W O S : 0 0 0 3 0 2 1 2 1 4 0 0 0 1 1 	 2 2 2 7 4 8 3 9 	 
 J 	 S w a n ,   M 	 	 	 	 S w a n ,   M e l a n i e 	 	 	 S c a l i n g   c r o w d s o u r c e d   h e a l t h   s t u d i e s :   t h e   e m e r g e n c e   o f   a   n e w   f o r m   o f   c o n t r a c t   r e s e a r c h   o r g a n i z a t i o n 	 P E R S O N A L I Z E D   M E D I C I N E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c i t i z e n   s c i e n c e ;   c l i n i c a l   t r i a l s ;   c r o w d s o u r c e d   h e a l t h   s t u d i e s ;   c r o w d s o u r c i n g ;   h e a l t h   r e s e a r c h 	 	 A c c e s s i n g   c r o w d s o u r c e d   c o h o r t s   f o r   h e a l t h   s t u d i e s   i s   a   s i g n i f i c a n t   e m e r g i n g   o p p o r t u n i t y   t h a t   c o u l d   h a v e   a   p o s i t i v e   i m p a c t   o n   p u b l i c   h e a l t h   r e s e a r c h ,   p a r t i c u l a r l y   a s   o u t c o m e s   s h i f t   t o   t h e   p e r s o n a l i z e d ,   p r e v e n t i v e   m e d i c i n e   o f   t h e   f u t u r e .   H e a l t h   s o c i a l   n e t w o r k s   h a v e   g r o w n   t o   b e c o m e   s o m e   o f   t h e   l a r g e s t   a g g r e g a t e   p a t i e n t   r e g i s t r i e s   a n d   o f f e r   c o s t   a n d   e f f i c i e n c y   b e n e f i t s   f o r   s t u d y   r e c r u i t m e n t   a n d   o p e r a t i o n   b y   b o t h   t r a d i t i o n a l   r e s e a r c h e r s   a n d   c i t i z e n   s c i e n t i s t s .   H e r e ,   a   m o d e l   i s   p r o p o s e d   f o r   e x t e n d i n g   c r o w d s o u r c e d   s t u d i e s   b e y o n d   s m a l l - g r o u p   e x p e r i m e n t a t i o n   t o   l a r g e - s c a l e   i n t e r v e n t i o n - b a s e d   r e s e a r c h   s t u d i e s   t h a t   a r e   p r o f e s s i o n a l l y   r u n   a n d   s c i e n t i f i c a l l y   r i g o r o u s ,   i n   e f f e c t   c r e a t i n g   a   n e w   f o r m   o f   c o n t r a c t   r e s e a r c h   o r g a n i z a t i o n . 	 M S   F u t u r e s   G r p ,   P a l o   A l t o ,   C A   9 4 3 0 6   U S A 	 S w a n ,   M   ( r e p r i n t   a u t h o r ) ,   M S   F u t u r e s   G r p ,   P O B   6 1 2 5 8 ,   P a l o   A l t o ,   C A   9 4 3 0 6   U S A . 	 m @ m e l a n i e s w a n . c o m 	 	 	 	 	 A m i r   O r n a ,   2 0 0 7 ,   J   D i a b e t e s   S c i   T e c h n o l ,   V 1 ,   P 4 6 3 ;   [ A n o n y m o u s ] ,   K E E P   C O N F I D E N T I A L   E M ;   D o   C B ,   2 0 1 1 ,   P L O S   G E N E T ,   V 7 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p g e n . 1 0 0 2 1 4 1 ;   D u f a u   S ,   2 0 1 1 ,   P L O S   O N E ,   V 6 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 2 4 9 7 4 ;   F o x   S ,   2 0 1 1 ,   S O C I A L   L I F E   H L T H   I N F ;   G i b s o n   G ,   2 0 1 0 ,   P L O S   G E N E T ,   V 6 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p g e n . 1 0 0 0 9 6 5 ;   H a r v e y   A ,   2 0 1 0 ,   S O C I O L   H E A L T H   I L L ,   V 3 2 ,   P 3 6 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 5 6 6 . 2 0 0 9 . 0 1 2 0 2 . x ;   H o g a r t h   S ,   2 0 0 8 ,   A N N U   R E V   G E N O M   H U M   G ,   V 9 ,   P 1 6 1 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v . g e n o m . 9 . 0 8 1 3 0 7 . 1 6 4 3 1 9 ;   H o o d   L ,   2 0 1 0 ,   P E R S   M E D   W O R L D   C   M O U ;   H o o d   L ,   2 0 1 1 ,   N A T   R E V   C L I N   O N C O L ,   V 8 ,   P 1 8 4 ,   D O I   1 0 . 1 0 3 8 / n r c l i n o n c . 2 0 1 0 . 2 2 7 ;   K a p u r   S a n j a y ,   2 0 0 8 ,   J   D i a b e t e s   S c i   T e c h n o l ,   V 2 ,   P 2 3 6 ;   K o h a n e   I S ,   2 0 0 5 ,   N E W   E N G L   J   M E D ,   V 3 5 3 ,   P 2 0 7 4 ,   D O I   1 0 . 1 0 5 6 / N E J M s b 0 5 1 2 2 0 ;   L u c e   J M ,   2 0 0 9 ,   C H E S T ,   V 1 3 5 ,   P 1 0 6 1 ,   D O I   1 0 . 1 3 7 8 / c h e s t . 0 8 - 2 6 2 1 ;   M c G o w a n   M L ,   2 0 1 0 ,   N E W   G E N E T   S O C ,   V 2 9 ,   P 2 6 1 ,   D O I   1 0 . 1 0 8 0 / 1 4 6 3 6 7 7 8 . 2 0 1 0 . 5 0 7 4 8 5 ;   R u b i n s t e i n   J ,   2 3   M E   D A T A B A S E   S U R P A ;   S h i r k y   C ,   2 0 0 8 ,   H E R E   C O M E S   E V E R Y B O D Y ,   P 1 4 3 ;   S o n g   J J ,   2 0 1 1 ,   J   C L I N   I N V E S T ,   V 1 2 1 ,   P 3 5 1 7 ,   D O I   1 0 . 1 1 7 2 / J C I 4 6 3 8 7 ;   S w a n   M ,   2 0 0 9 ,   I N T   J   E N V   R E S   P U B   H E ,   V 2 ,   P 4 9 2 ;   S w a n   M ,   2 0 1 1 ,   I N T   3 7   H L T H   S E M   L A U S ;   S w a n   M . ,   2 0 1 0 ,   J   P A R T I C I P A T ,   V 2 ,   p e 2 0 ;   T u t t o n   R ,   2 0 1 1 ,   S O C I O L   H E A L T H   I L L ,   V 3 3 ,   P 1 0 8 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 5 6 6 . 2 0 1 1 . 0 1 3 4 8 . x ;   Z a w a t i   M H ,   2 0 1 1 ,   H U M   G E N E T ,   V 1 3 0 ,   P 4 2 5 ,   D O I   1 0 . 1 0 0 7 / s 0 0 4 3 9 - 0 1 1 - 1 0 1 9 - 4 ;   Z h e n g   R ,   2 0 1 1 ,   B I O M E D   O P T   E X P R E S S ,   V 2 ,   P 2 7 3 1 ,   D O I   1 0 . 1 3 6 4 / B O E . 2 . 0 0 2 7 3 1 	 2 3 	 6 	 6 	 F U T U R E   M E D I C I N E   L T D 	 L O N D O N 	 U N I T E C   H O U S E ,   3 R D   F L O O R ,   2   A L B E R T   P L A C E ,   F I N C H L E Y   C E N T R A L ,   L O N D O N ,   N 3   1 Q B ,   E N G L A N D 	 1 7 4 1 - 0 5 4 1 	 	 	 P E R S   M E D 	 P e r s .   M e d . 	 M A R 	 2 0 1 2 	 9 	 2 	 	 	 	 	 2 2 3 	 2 3 4 	 	 1 0 . 2 2 1 7 / P M E . 1 1 . 9 7 	 	 1 2 	 P h a r m a c o l o g y   &   P h a r m a c y 	 P h a r m a c o l o g y   &   P h a r m a c y 	 9 0 2 K K 	 W O S : 0 0 0 3 0 1 0 3 6 8 0 0 0 2 4 	 	 
 J 	 B o g e r s ,   M ;   W e s t ,   J 	 	 	 	 B o g e r s ,   M a r c e l ;   W e s t ,   J o e l 	 	 	 M a n a g i n g   D i s t r i b u t e d   I n n o v a t i o n :   S t r a t e g i c   U t i l i z a t i o n   o f   O p e n   a n d   U s e r   I n n o v a t i o n 	 C R E A T I V I T Y   A N D   I N N O V A T I O N   M A N A G E M E N T 	 	 	 E n g l i s h 	 R e v i e w 	 	 	 	 	 	 	 O P E N - S O U R C E   S O F T W A R E ;   R E S E A R C H - A N D - D E V E L O P M E N T ;   T E C H N O L O G I C A L   I N N O V A T I O N ;   V E R T I C A L   I N T E G R A T I O N ;   C O L L E C T I V E   I N V E N T I O N ;   O R G A N I Z A T I O N   S C I E N C E ;   M A N U F A C T U R I N G   F I R M S ;   P R O D U C T   D E V E L O P M E N T ;   S T I C K Y   I N F O R M A T I O N ;   C O M M U N I T I E S 	 R e s e a r c h   f r o m   a   v a r i e t y   o f   p e r s p e c t i v e s   h a s   a r g u e d   t h a t   i n n o v a t i o n   n o   l o n g e r   t a k e s   p l a c e   w i t h i n   a   s i n g l e   o r g a n i z a t i o n ,   b u t   r a t h e r   i s   d i s t r i b u t e d   a c r o s s   m u l t i p l e   s t a k e h o l d e r s   i n   a   v a l u e   n e t w o r k .   H e r e   w e   c o n t r a s t   t h e   v e r t i c a l l y   i n t e g r a t e d   i n n o v a t i o n   m o d e l   t o   o p e n   i n n o v a t i o n ,   u s e r   i n n o v a t i o n ,   a s   w e l l   a s   o t h e r   d i s t r i b u t e d   p r o c e s s e s   ( c u m u l a t i v e   i n n o v a t i o n ,   c o m m u n i t i e s   o r   s o c i a l   p r o d u c t i o n ,   a n d   c o - c r e a t i o n ) ,   w h i l e   w e   a l s o   d i s c u s s   o p e n   s o u r c e   s o f t w a r e   a n d   c r o w d s o u r c i n g   a s   a p p l i c a t i o n s   o f   t h e   p e r s p e c t i v e s .   W e   c o n s i d e r   d i f f e r e n c e s   i n   t h e   n a t u r e   o f   d i s t r i b u t e d   i n n o v a t i o n ,   a s   w e l l   a s   i t s   o r i g i n s   a n d   i t s   e f f e c t s .   F r o m   t h i s ,   w e   c o n t r a s t   t h e   p r e d i c t i o n s   o f   t h e   p e r s p e c t i v e s   o n   t h e   s o u r c e s ,   m o t i v a t i o n   a n d   v a l u e   a p p r o p r i a t i o n   o f   e x t e r n a l   i n n o v a t i o n ,   a n d   t h e r e b y   p r o v i d e   a   f r a m e w o r k   f o r   t h e   s t r a t e g i c   m a n a g e m e n t   o f   d i s t r i b u t e d   i n n o v a t i o n . 	 [ B o g e r s ,   M a r c e l ]   U n i v   S o   D e n m a r k ,   O d e n s e ,   D e n m a r k 	 B o g e r s ,   M   ( r e p r i n t   a u t h o r ) ,   U n i v   S o   D e n m a r k ,   O d e n s e ,   D e n m a r k . 	 b o g e r s @ m c i . s d u . d k ;   j o e l @ O p e n I n n o v a t i o n . n e t 	 	 	 	 	 A B E R N A T H Y   W J ,   1 9 7 8 ,   T E C H N O L   R E V ,   V 8 0 ,   P 4 0 ;   A L L E N   R C ,   1 9 8 3 ,   J   E C O N   B E H A V   O R G A N ,   V 4 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / 0 1 6 7 - 2 6 8 1 ( 8 3 ) 9 0 0 2 3 - 9 ;   A l m i r a l l   E ,   2 0 1 0 ,   A C A D   M A N A G E   R E V ,   V 3 5 ,   P 2 7 ;   A r c h a k   N . ,   2 0 1 0 ,   W W W   1 0   P   1 9   I N T   C   W O ;   A R M O U R   H O ,   1 9 8 0 ,   R E V   E C O N   S T A T ,   V 6 2 ,   P 4 7 0 ,   D O I   1 0 . 2 3 0 7 / 1 9 2 7 1 1 8 ;   A r o r a   A . ,   2 0 0 1 ,   M A R K E T S   T E C H N O L O G Y   E ;   B a l d w i n   C ,   2 0 0 6 ,   R E S   P O L I C Y ,   V 3 5 ,   P 1 2 9 1 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 6 . 0 4 . 0 1 2 ;   B a l d w i n   C ,   2 0 1 1 ,   O R G A N   S C I ,   V 2 2 ,   P 1 3 9 9 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 1 0 0 . 0 6 1 8 ;   B e n k l e r   Y . ,   2 0 0 6 ,   W E A L T H   N E T W O R K S   S O C I ;   B o g e r s   M ,   2 0 1 0 ,   J   M A N A G E ,   V 3 6 ,   P 8 5 7 ,   D O I   1 0 . 1 1 7 7 / 0 1 4 9 2 0 6 3 0 9 3 5 3 9 4 4 ;   B o g e r s   M ,   2 0 1 1 ,   I N D   I N N O V ,   V 1 8 ,   P 5 8 1 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 6 2 7 1 6 . 2 0 1 1 . 5 9 1 9 7 2 ;   B r u s o n i   S ,   2 0 0 1 ,   A D M I N   S C I   Q U A R T ,   V 4 6 ,   P 5 9 7 ,   D O I   1 0 . 2 3 0 7 / 3 0 9 4 8 2 5 ;   C h a n d l e r   A l f r e d   D . ,   1 9 7 7 ,   V I S I B L E   H A N D   M A N A G E R ;   C h a n d l e r   J r   A l f r e d   D . ,   1 9 9 0 ,   S C A L E   S C O P E   D Y N A M I C S ;   C h e s b r o u g h   H . ,   2 0 0 6 ,   O P E N   B U S I N E S S   M O D E L S ;   C h e s b r o u g h   H . ,   2 0 0 3 ,   O P E N   I N N O V A T I O N   N E W ;   C h e s b r o u g h   H ,   2 0 0 2 ,   I N D   C O R P   C H A N G E ,   V 1 1 ,   P 5 2 9 ,   D O I   1 0 . 1 0 9 3 / i c c / 1 1 . 3 . 5 2 9 ;   C h e s b r o u g h   H ,   2 0 0 8 ,   I N T   J   T E C H N O L   M A N A G E ,   V 4 2 ,   P 4 1 4 ,   D O I   1 0 . 1 5 0 4 / I J T M . 2 0 0 8 . 0 1 9 3 8 3 ;   C h e s b r o u g h   H . ,   2 0 0 6 ,   O P E N   I N N O V A T I O N   R E S ,   P 1 ;   C h e s b r o u g h   H W ,   2 0 0 3 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 4 ,   P 3 5 ;   C h r i s t e n s e n   C M ,   1 9 9 7 ,   I N N O V A T O R S   D I L E M M A   N ;   C h r i s t e n s e n   J F ,   2 0 0 5 ,   R E S   P O L I C Y ,   V 3 4 ,   P 1 5 3 3 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 5 . 0 7 . 0 0 2 ;   C l o o d t   M . ,   2 0 0 6 ,   O P E N   I N N O V A T I O N   R E S ,   P 2 5 8 ;   C o o p e r   R .   G . ,   2 0 0 1 ,   W I N N I N G   N E W   P R O D U C T S ;   D a h l a n d e r   L ,   2 0 1 0 ,   R E S   P O L I C Y ,   V 3 9 ,   P 6 9 9 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 1 0 . 0 1 . 0 1 3 ;   D a h l a n d e r   L ,   2 0 0 6 ,   R E S   P O L I C Y ,   V 3 5 ,   P 1 2 4 3 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 6 . 0 9 . 0 1 1 ;   D a v i d   P A ,   2 0 0 2 ,   S T U D I E S   R E G U L A T ,   P 3 3 ;   D a v i d   P A ,   1 9 9 8 ,   A M   E C O N   R E V ,   V 8 8 ,   P 1 5 ;   D e d r i c k   J a s o n ,   1 9 9 8 ,   A S I A S   C O M P U T E R   C H A L L ;   d e   J o n g   J P J ,   2 0 0 9 ,   R E S   P O L I C Y ,   V 3 8 ,   P 1 1 8 1 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 9 . 0 4 . 0 0 5 ;   D o d g s o n   M ,   2 0 0 6 ,   R & D   M A N A G E ,   V 3 6 ,   P 3 3 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 6 . 0 0 4 2 9 . x ;   E n k e l   E ,   2 0 0 9 ,   R & D   M A N A G E ,   V 3 9 ,   P 3 1 1 ;   F a b r i z i o   K R ,   2 0 0 8 ,   R E S   P O L I C Y ,   V 3 7 ,   P 9 1 4 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 8 . 0 1 . 0 1 0 ;   F a e m s   D ,   2 0 1 0 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 7 ,   P 7 8 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 1 0 . 0 0 7 5 2 . x ;   F r a n k e   N ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 1 9 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 4 9 - 0 ;   F r a n k e   N ,   2 0 0 4 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 1 ,   P 4 0 1 ,   D O I   1 0 . 1 1 1 1 / j . 0 7 3 7 - 6 7 8 2 . 2 0 0 4 . 0 0 0 9 4 . x ;   F r a n k e   N ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 5 7 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 2 ) 0 0 0 0 6 - 9 ;   F r e e m a n   C ,   1 9 8 2 ,   E C   I N D   I N N O V A T I O N ;   G a l u n i c   D C ,   1 9 9 8 ,   S T R A T E G I C   M A N A G E   J ,   V 1 9 ,   P 1 1 9 3 ,   D O I   1 0 . 1 0 0 2 / ( S I C I ) 1 0 9 7 - 0 2 6 6 ( 1 9 9 8 1 2 0 ) 1 9 : 1 2 < 1 1 9 3 : : A I D - S M J 5 > 3 . 0 . C O ; 2 - F ;   G a r u d   R a g h u ,   1 9 9 7 ,   A D V   S T R A T E G   M A N A G E ,   V 1 4 ,   P 8 1 ;   G r a n s t r a n d   O . ,   2 0 0 0 ,   E C   M A N A G E M E N T   I N T E L L ;   H a g e d o o r n   J ,   2 0 0 2 ,   R E S   P O L I C Y ,   V 3 1 ,   P 4 7 7 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 1 ) 0 0 1 2 0 - 2 ;   H a r h o f f   D ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 7 5 3 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 6 1 - 1 ;   H e n k e l   J ,   2 0 0 9 ,   I N D   C O R P   C H A N G E ,   V 1 8 ,   P 4 3 5 ,   D O I   1 0 . 1 0 9 3 / i c c / d t n 0 4 6 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D   M A G A Z I N E     0 6 1 4 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   H u s t o n   L ,   2 0 0 6 ,   H A R V A R D   B U S   R E V ,   V 8 4 ,   P 5 8 ;   J e p p e s e n   L B ,   2 0 1 0 ,   O R G A N   S C I ,   V 2 1 ,   P 1 0 1 6 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 9 0 . 0 4 9 1 ;   J e p p e s e n   L B ,   2 0 0 6 ,   O R G A N   S C I ,   V 1 7 ,   P 4 5 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 5 0 . 0 1 5 6 ;   K O G U T   B ,   1 9 9 2 ,   O R G A N   S C I ,   V 3 ,   P 3 8 3 ,   D O I   1 0 . 1 2 8 7 / o r s c . 3 . 3 . 3 8 3 ;   L a k h a n i   K .   R . ,   2 0 0 5 ,   P E R S P E C T I V E S   F R E E   O P ,   P 3 ;   L a k h a n i   K .   R . ,   2 0 0 7 ,   I N N O V A T I O N S   T E C H N O L O ,   V 2 ,   P 9 7 ,   D O I   1 0 . 1 1 6 2 / i t g g . 2 0 0 7 . 2 . 3 . 9 7 ;   L a k h a n i   K R ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 9 2 3 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 2 ) 0 0 0 9 5 - 1 ;   L a u r s e n   K ,   2 0 0 6 ,   S T R A T E G I C   M A N A G E   J ,   V 2 7 ,   P 1 3 1 ,   D O I   1 0 . 1 0 0 2 / s m j . 5 0 7 ;   L e i f e r   R . ,   2 0 0 0 ,   R A D I C A L   I N N O V A T I O N   M ;   L e s s i g   L . ,   2 0 0 4 ,   F R E E   C U L T U R E   B I G   M E D ;   L e t t l   C ,   2 0 0 6 ,   I N T   J   T E C H N O L   M A N A G E ,   V 3 3 ,   P 2 5 ,   D O I   1 0 . 1 5 0 4 / I J T M . 2 0 0 6 . 0 0 8 1 9 0 ;   L i c h t e n t h a l e r   U ,   2 0 0 7 ,   R & D   M A N A G E ,   V 3 7 ,   P 3 8 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 7 . 0 0 4 8 7 . x ;   L i l i e n   G L ,   2 0 0 2 ,   M A N A G E   S C I ,   V 4 8 ,   P 1 0 4 2 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 8 . 8 . 1 0 4 2 . 1 7 1 ;   L u t h j e   C ,   2 0 0 5 ,   R E S   P O L I C Y ,   V 3 4 ,   P 9 5 1 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 5 . 0 5 . 0 0 5 ;   M e r t o n   R . K . ,   1 9 7 3 ,   S O C I O L O G Y   S C I ;   M o w e r y   D C ,   1 9 9 6 ,   S T R A T E G I C   M A N A G E   J ,   V 1 7 ,   P 7 7 ;   M u r r a y   F ,   2 0 0 7 ,   O R G A N   S C I ,   V 1 8 ,   P 1 0 0 6 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 7 0 . 0 3 2 5 ;   N u v o l a r i   A ,   2 0 0 4 ,   C A M B   J   E C O N ,   V 2 8 ,   P 3 4 7 ,   D O I   1 0 . 1 0 9 3 / c j e / b e h 0 1 1 ;   O ' M a h o n y   S . ,   2 0 0 7 ,   J   M A N A G E M E N T   G O V E R N A ,   V 1 1 ,   P 1 3 9 ,   D O I   1 0 . 1 0 0 7 / s 1 0 9 9 7 - 0 0 7 - 9 0 2 4 - 7 ;   O g a w a   S ,   2 0 0 6 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 7 ,   P 6 5 ;   O g a w a   S ,   1 9 9 8 ,   R E S   P O L I C Y ,   V 2 6 ,   P 7 7 7 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 9 7 ) 0 0 0 4 7 - 4 ;   P e r k m a n n   M ,   2 0 0 7 ,   I N T   J   M A N A G   R E V ,   V 9 ,   P 2 5 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 8 - 2 3 7 0 . 2 0 0 7 . 0 0 2 2 5 . x ;   P o e t z   M . ,   2 0 1 0 ,   V A L U E   C R O W D S O U R C I N G ;   P r a h a l a d   C .   K . ,   2 0 0 3 ,   F U T U R E   C O M P E T I T I O N   C ;   R a i   A r t i   K . ,   2 0 0 1 ,   B E R K E L E Y   T E C H   L   J ,   V 1 6 ,   P 8 1 3 ;   R a y m o n d   E . ,   2 0 0 1 ,   C A T H E D R A L   B A Z A A R   M U S ;   R e n   Y . ,   2 0 1 0 ,   A C   M A N   M   M O N T R   A U G ;   R O B E R T S   E B ,   1 9 8 8 ,   R E S   T E C H N O L   M A N A G E ,   V 3 1 ,   P 1 1 ;   R O B E R T S O N   P L ,   1 9 9 5 ,   R E S   P O L I C Y ,   V 2 4 ,   P 5 4 3 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 9 4 ) 0 0 7 8 6 - 1 ;   R O G E R S   E . M . ,   1 9 9 5 ,   D I F F U S I O N   I N N O V A T I O N ;   S a w h n e y   M ,   2 0 0 5 ,   J   I N T E R A C T   M A R K ,   V 1 9 ,   P 4 ,   D O I   1 0 . 1 0 0 2 / d i r . 2 0 0 4 6 ;   S c h u m p e t e r   J . ,   1 9 3 4 ,   T H E O R Y   E C   D E V   I N Q U I R ;   S c o t c h m e r   S . ,   2 0 0 4 ,   I N N O V A T I O N   I N C E N T I V E ;   S h a h   S K ,   2 0 0 7 ,   S T R A T E G   E N T R E P   J ,   V 1 ,   P 1 2 3 ,   D O I   1 0 . 1 0 0 2 / s e j . 1 5 ;   S h a h   S K ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 1 0 0 0 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 5 3 ;   S p i t h o v e n   A ,   2 0 1 0 ,   T E C H N O V A T I O N ,   V 3 0 ,   P 1 3 0 ,   D O I   1 0 . 1 0 1 6 / j . t e c h n o v a t i o n . 2 0 0 9 . 0 8 . 0 0 4 ;   T E E C E   D J ,   1 9 8 6 ,   R E S   P O L I C Y ,   V 1 5 ,   P 2 8 5 ,   D O I   1 0 . 1 0 1 6 / 0 0 4 8 - 7 3 3 3 ( 8 6 ) 9 0 0 2 7 - 2 ;   T U S H M A N   M L ,   1 9 8 6 ,   A D M I N   S C I   Q U A R T ,   V 3 1 ,   P 4 3 9 ,   D O I   1 0 . 2 3 0 7 / 2 3 9 2 8 3 2 ;   U t t e r b a c k   J .   M . ,   1 9 9 4 ,   M A S T E R I N G   D Y N A M I C S   I ;   U T T E R B A C K   J M ,   1 9 9 3 ,   R E S   P O L I C Y ,   V 2 2 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / 0 0 4 8 - 7 3 3 3 ( 9 3 ) 9 0 0 3 0 - L ;   V A N D E R W E R F   P A ,   1 9 9 2 ,   R E S   P O L I C Y ,   V 2 1 ,   P 3 1 5 ,   D O I   1 0 . 1 0 1 6 / 0 0 4 8 - 7 3 3 3 ( 9 2 ) 9 0 0 3 1 - X ;   v a n   d e   V r a n d e   V ,   2 0 0 9 ,   T E C H N O V A T I O N ,   V 2 9 ,   P 4 2 3 ,   D O I   1 0 . 1 0 1 6 / j . t e c h n o v a t i o n . 2 0 0 8 . 1 0 . 0 0 1 ;   V a n h a v e r b e k e   W . ,   2 0 0 6 ,   O P E N   I N N O V A T I O N   R E S ,   P 2 0 5 ;   V a n h a v e r b e k e   W . ,   2 0 0 8 ,   C R E A T I V I T Y   I N N O V A T I O ,   V 1 7 ,   P 2 5 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 6 9 1 . 2 0 0 8 . 0 0 4 9 9 . x ;   V a r g o   S L ,   2 0 0 4 ,   J   M A R K E T I N G ,   V 6 8 ,   P 1 ,   D O I   1 0 . 1 5 0 9 / j m k g . 6 8 . 1 . 1 . 2 4 0 3 6 ;   V e u g e l e r s   R ,   1 9 9 9 ,   R E S   P O L I C Y ,   V 2 8 ,   P 6 3 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 9 8 ) 0 0 1 0 6 - 1 ;   V o n   H i p p e l   E ,   1 9 8 8 ,   S O U R C E S   I N N O V A T I O N ;   V o n   H i p p e l   E . ,   2 0 0 5 ,   J   T E C H N O L O G Y   T R A N S F E ,   V 3 0 ,   P 7 3 ;   v o n   H i p p e l   E ,   1 9 7 6 ,   R E S   P O L I C Y ,   V 5 ,   P 2 1 2 ,   D O I   D O I   1 0 . 1 0 1 6 / 0 0 4 8 - 7 3 3 3 ( 7 6 ) 9 0 0 2 8 - 7 ;   v o n   H i p p e l   E r i c ,   2 0 0 5 ,   D E M O C R A T I Z I N G   I N N O V A ;   v o n   H i p p e l   E ,   2 0 0 7 ,   I N D   C O R P   C H A N G E ,   V 1 6 ,   P 2 9 3 ,   D O I   1 0 . 1 0 9 3 / i c c / d t m 0 0 5 ;   v o n   H i p p e l   E ,   2 0 0 2 ,   M A N A G E   S C I ,   V 4 8 ,   P 8 2 1 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 8 . 7 . 8 2 1 . 2 8 1 7 ;   V O N H I P P E L   E ,   1 9 9 4 ,   M A N A G E   S C I ,   V 4 0 ,   P 4 2 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 0 . 4 . 4 2 9 ;   v o n   H i p p e l   E ,   2 0 0 3 ,   O R G A N   S C I ,   V 1 4 ,   P 2 0 9 ;   v o n   K r o g h   G ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 9 7 5 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 6 0 ;   W e b e r   S . ,   2 0 0 4 ,   S U C C E S S   O P E N   S O U R C E ;   W e s t   J ,   2 0 0 8 ,   I N D   I N N O V ,   V 1 5 ,   P 1 4 5 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 6 2 7 1 0 8 0 1 9 7 0 1 4 2 ;   W e s t   J . ,   2 0 0 6 ,   O P E N   I N N O V A T I O N   R E S ,   P 2 8 5 ;   W e s t   J . ,   2 0 0 6 ,   O P E N   I N N O V A T I O N   R E S ,   P 1 0 9 ;   W e s t   J ,   2 0 0 8 ,   I N D   I N N O V ,   V 1 5 ,   P 2 2 3 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 6 2 7 1 0 8 0 2 0 3 3 7 3 4 ;   W e s t   J ,   2 0 0 6 ,   R & D   M A N A G E ,   V 3 6 ,   P 3 1 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 6 . 0 0 4 3 6 . x 	 1 0 7 	 8 	 8 	 W I L E Y - B L A C K W E L L 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 0 9 6 3 - 1 6 9 0 	 	 	 C R E A T   I N N O V   M A N A G 	 C r e a t .   I n n o v .   M a n a g . 	 M A R 	 2 0 1 2 	 2 1 	 1 	 	 	 	 	 6 1 	 7 5 	 	 1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 6 9 1 . 2 0 1 1 . 0 0 6 2 2 . x 	 	 1 5 	 M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 8 9 7 T L 	 W O S : 0 0 0 3 0 0 6 8 0 0 0 0 0 0 6 	 	 
 J 	 M a s o n ,   W ;   S u r i ,   S 	 	 	 	 M a s o n ,   W i n t e r ;   S u r i ,   S i d d h a r t h 	 	 	 C o n d u c t i n g   b e h a v i o r a l   r e s e a r c h   o n   A m a z o n ' s   M e c h a n i c a l   T u r k 	 B E H A V I O R   R E S E A R C H   M E T H O D S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   O n l i n e   r e s e a r c h ;   M e c h a n i c a l   t u r k 	 S A M P L E   S E L E C T I O N   B I A S ;   D A T A - C O L L E C T I O N ;   O N L I N E   P A N E L S ;   I N T E R N E T ;   C O O P E R A T I O N ;   I N C E N T I V E S ;   P S Y C H O L O G Y ;   Q U A L I T Y ;   M A R K E T 	 A m a z o n ' s   M e c h a n i c a l   T u r k   i s   a n   o n l i n e   l a b o r   m a r k e t   w h e r e   r e q u e s t e r s   p o s t   j o b s   a n d   w o r k e r s   c h o o s e   w h i c h   j o b s   t o   d o   f o r   p a y .   T h e   c e n t r a l   p u r p o s e   o f   t h i s   a r t i c l e   i s   t o   d e m o n s t r a t e   h o w   t o   u s e   t h i s   W e b   s i t e   f o r   c o n d u c t i n g   b e h a v i o r a l   r e s e a r c h   a n d   t o   l o w e r   t h e   b a r r i e r   t o   e n t r y   f o r   r e s e a r c h e r s   w h o   c o u l d   b e n e f i t   f r o m   t h i s   p l a t f o r m .   W e   d e s c r i b e   g e n e r a l   t e c h n i q u e s   t h a t   a p p l y   t o   a   v a r i e t y   o f   t y p e s   o f   r e s e a r c h   a n d   e x p e r i m e n t s   a c r o s s   d i s c i p l i n e s .   W e   b e g i n   b y   d i s c u s s i n g   s o m e   o f   t h e   a d v a n t a g e s   o f   d o i n g   e x p e r i m e n t s   o n   M e c h a n i c a l   T u r k ,   s u c h   a s   e a s y   a c c e s s   t o   a   l a r g e ,   s t a b l e ,   a n d   d i v e r s e   s u b j e c t   p o o l ,   t h e   l o w   c o s t   o f   d o i n g   e x p e r i m e n t s ,   a n d   f a s t e r   i t e r a t i o n   b e t w e e n   d e v e l o p i n g   t h e o r y   a n d   e x e c u t i n g   e x p e r i m e n t s .   W h i l e   o t h e r   m e t h o d s   o f   c o n d u c t i n g   b e h a v i o r a l   r e s e a r c h   m a y   b e   c o m p a r a b l e   t o   o r   e v e n   b e t t e r   t h a n   M e c h a n i c a l   T u r k   o n   o n e   o r   m o r e   o f   t h e   a x e s   o u t l i n e d   a b o v e ,   w e   w i l l   s h o w   t h a t   w h e n   t a k e n   a s   a   w h o l e   M e c h a n i c a l   T u r k   c a n   b e   a   u s e f u l   t o o l   f o r   m a n y   r e s e a r c h e r s .   W e   w i l l   d i s c u s s   h o w   t h e   b e h a v i o r   o f   w o r k e r s   c o m p a r e s   w i t h   t h a t   o f   e x p e r t s   a n d   l a b o r a t o r y   s u b j e c t s .   T h e n   w e   w i l l   i l l u s t r a t e   t h e   m e c h a n i c s   o f   p u t t i n g   a   t a s k   o n   M e c h a n i c a l   T u r k ,   i n c l u d i n g   r e c r u i t i n g   s u b j e c t s ,   e x e c u t i n g   t h e   t a s k ,   a n d   r e v i e w i n g   t h e   w o r k   t h a t   w a s   s u b m i t t e d .   W e   a l s o   p r o v i d e   s o l u t i o n s   t o   c o m m o n   p r o b l e m s   t h a t   a   r e s e a r c h e r   m i g h t   f a c e   w h e n   e x e c u t i n g   t h e i r   r e s e a r c h   o n   t h i s   p l a t f o r m ,   i n c l u d i n g   t e c h n i q u e s   f o r   c o n d u c t i n g   s y n c h r o n o u s   e x p e r i m e n t s ,   m e t h o d s   f o r   e n s u r i n g   h i g h - q u a l i t y   w o r k ,   h o w   t o   k e e p   d a t a   p r i v a t e ,   a n d   h o w   t o   m a i n t a i n   c o d e   s e c u r i t y . 	 [ M a s o n ,   W i n t e r ;   S u r i ,   S i d d h a r t h ]   Y a h o o   R e s ,   N e w   Y o r k ,   N Y   1 0 0 1 8   U S A 	 M a s o n ,   W   ( r e p r i n t   a u t h o r ) ,   Y a h o o   R e s ,   N e w   Y o r k ,   N Y   1 0 0 1 8   U S A . 	 m @ w i n t e r a m . c o m ;   s u r i @ y a h o o - i n c . c o m 	 	 	 	 	 A K E R L O F   G A ,   1 9 7 0 ,   Q   J   E C O N ,   V 8 4 ,   P 4 8 8 ,   D O I   1 0 . 2 3 0 7 / 1 8 7 9 4 3 1 ;   A l o n s o   O . ,   2 0 0 9 ,   P   S I G I R   2 0 0 9   W O R K S H ,   P 1 5 ;   A n d r e w s   D ,   2 0 0 3 ,   I N T   J   H U M - C O M P U T   I N T ,   V 1 6 ,   P 1 8 5 ,   D O I   1 0 . 1 2 0 7 / S 1 5 3 2 7 5 9 0 I J H C 1 6 0 2 _ 0 4 ;   B a r c h a r d   K A ,   2 0 0 8 ,   B E H A V   R E S   M E T H O D S ,   V 4 0 ,   P 1 1 1 1 ,   D O I   1 0 . 3 7 5 8 / B R M . 4 0 . 4 . 1 1 1 1 ;   B A R O N   J ,   1 9 8 8 ,   J   P E R S   S O C   P S Y C H O L ,   V 5 4 ,   P 5 6 9 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 2 - 3 5 1 4 . 5 4 . 4 . 5 6 9 ;   B E R K   R A ,   1 9 8 3 ,   A M   S O C I O L   R E V ,   V 4 8 ,   P 3 8 6 ,   D O I   1 0 . 2 3 0 7 / 2 0 9 5 2 3 0 ;   B i r n b a u m   M .   H . ,   2 0 0 0 ,   P S Y C H O L   E X P T   I N T E R N E ;   B i r n b a u m   M H ,   2 0 0 4 ,   A N N U   R E V   P S Y C H O L ,   V 5 5 ,   P 8 0 3 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v . p s y c h . 5 5 . 0 9 0 9 0 2 . 1 4 1 6 0 1 ;   B u h r m e s t e r   M .   D . ,   P E R S P E C T I V E   I N   P R E S S ;   C a m e r e r   C F ,   1 9 9 9 ,   J   R I S K   U N C E R T A I N T Y ,   V 1 9 ,   P 7 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 0 7 8 5 0 6 0 5 1 2 9 ;   C e n t o l a   D ,   2 0 1 0 ,   S C I E N C E ,   V 3 2 9 ,   P 1 1 9 4 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 8 5 2 3 1 ;   C h i l t o n   L .   B . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 1 ,   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 8 8 9 ;   C o o p e r   R ,   1 9 9 6 ,   G A M E   E C O N   B E H A V ,   V 1 2 ,   P 1 8 7 ,   D O I   1 0 . 1 0 0 6 / g a m e . 1 9 9 6 . 0 0 1 3 ;   C o u p e r   M P ,   2 0 0 0 ,   P U B L I C   O P I N   Q U A R T ,   V 6 4 ,   P 4 6 4 ,   D O I   1 0 . 1 0 8 6 / 3 1 8 6 4 1 ;   C o u p e r   M P ,   2 0 0 8 ,   P U B L I C   O P I N   Q U A R T ,   V 7 2 ,   P 8 3 1 ,   D O I   1 0 . 1 0 9 3 / p o q / n f n 0 6 6 ;   D I X O N   W J ,   1 9 5 3 ,   B I O M E T R I C S ,   V 9 ,   P 7 4 ,   D O I   1 0 . 2 3 0 7 / 3 0 0 1 6 3 4 ;   F e h r   E ,   2 0 0 0 ,   A M   E C O N   R E V ,   V 9 0 ,   P 9 8 0 ,   D O I   1 0 . 1 2 5 7 / a e r . 9 0 . 4 . 9 8 0 ;   F e l s t i n e r   A ,   2 0 1 0 ,   W O R K I N G   C R O W D   E M P L O Y ;   F r i c k   A ,   2 0 0 1 ,   D I M E N S I O N S   I N T E R N E T ,   P 2 0 9 ;   G o r i t z   A . ,   2 0 0 6 ,   I N T   J   I N T E R N E T   S C I ,   V 1 ,   P 5 8 ;   G o r i t z   A S ,   2 0 0 8 ,   B E H A V   R E S   M E T H O D S ,   V 4 0 ,   P 1 1 4 4 ,   D O I   [ 1 0 . 3 7 5 8 / B R M . 4 0 . 4 . 1 1 4 4 ,   1 0 . 3 7 5 8 / B R M . 4 0 . 4 . U 4 4 ] ;   G o r i t z   A S ,   2 0 0 8 ,   F I E L D   M E T H O D ,   V 2 0 ,   P 2 1 1 ,   D O I   1 0 . 1 1 7 7 / 1 5 2 5 8 2 2 X 0 8 3 1 7 0 6 9 ;   G o r i t z   A S ,   2 0 0 8 ,   B E H A V   R E S   M E T H O D S ,   V 4 0 ,   P 3 2 2 ,   D O I   1 0 . 3 7 5 8 / B R M . 4 0 . 1 . 3 2 2 ;   G o s l i n g   S .   D . ,   2 0 1 0 ,   A D V   M E T H O D S   C O N D U C T I ;   G r e g   L i t t l e ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 6 8 ,   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 9 0 7 ;   H E C K M A N   J J ,   1 9 7 9 ,   E C O N O M E T R I C A ,   V 4 7 ,   P 1 5 3 ,   D O I   1 0 . 2 3 0 7 / 1 9 1 2 3 5 2 ;   H o r t o n   J .   J . ,   E X P T   E C   I N   P R E S S ;   H o s s a i n   T . ,   2 0 0 6 ,   A D V   E C   A N A L   P O L I C Y ,   V 6 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   I p e i r o t i s   P . ,   2 0 1 0 ,   C E D E R 1 0 0 1 ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   X R D S   C R O S S R O A D S   A C M ,   V 1 7 ,   P 1 6 ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 6 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 9 0 6 ;   K i t t u r   A . ,   2 0 0 8 ,   P   2 6   A N N   S I G C H I   C   H U ,   P 4 5 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 5 7 0 5 4 . 1 3 5 7 1 2 7 ;   K r a u t   R ,   2 0 0 4 ,   A M   P S Y C H O L ,   V 5 9 ,   P 1 0 5 ,   D O I   1 0 . 1 0 3 7 / 0 0 0 3 - 0 6 6 X . 5 9 . 2 . 1 0 5 ;   M a o   A ,   2 0 1 1 ,   P   2 5   A A A I   C   A R T   I N T ;   M a r g e   M ,   2 0 1 0 ,   I N T   C O N F   A C O U S T   S P E E ,   P 5 2 7 0 ,   D O I   1 0 . 1 1 0 9 / I C A S S P . 2 0 1 0 . 5 4 9 4 9 7 9 ;   M a s o n   W ,   2 0 0 9 ,   P   A C M   S I G K D D   W O R K S H ,   P 7 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 6 0 0 1 5 0 . 1 6 0 0 1 7 5 ;   M c C r e a d i e   R .   M . ,   2 0 1 0 ,   P   A C M   S I G I R   2 0 1 0   W O R ,   P 3 1 ;   M u s c h   J . ,   2 0 0 2 ,   O N L I N E   S O C I A L   S C I ,   P 1 8 1 ;   N o s e k   B A ,   2 0 0 7 ,   C U R R   D I R   P S Y C H O L   S C I ,   V 1 6 ,   P 6 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 7 2 1 . 2 0 0 7 . 0 0 4 7 7 . x ;   P a o l a c c i   G ,   2 0 1 0 ,   J U D G M   D E C I S   M A K ,   V 5 ,   P 4 1 1 ;   P o n t i n   J ,   2 0 0 7 ,   N Y   T I M E S                   M A R ;   R a n d   D .   G ,   J   T H E O R E T I C   I N   P R E S S ;   R e i l e y   D ,   1 9 9 9 ,   A M   E C O N   R E V ,   V 8 9 ,   P 1 0 6 3 ;   R e i p s   U D ,   2 0 0 2 ,   E X P   P S Y C H O L ,   V 4 9 ,   P 2 4 3 ,   D O I   1 0 . 1 0 2 7 / / 1 6 1 8 - 3 1 6 9 . 4 9 . 4 . 2 4 3 ;   R e i p s   U . - D . ,   2 0 0 0 ,   P S Y C H O L   E X P T   I N T E R N E ,   P 8 9 ,   D O I   1 0 . 1 0 1 6 / B 9 7 8 - 0 1 2 0 9 9 9 8 0 - 4 / 5 0 0 0 5 - 8 ;   R e i p s   U . - D . ,   2 0 1 1 ,   H D B   H U M A N   F A C T O R S   W E ,   P 5 6 3 ;   R e i p s   U D ,   2 0 0 1 ,   B E H A V   R E S   M E T H   I N S   C ,   V 3 3 ,   P 2 0 1 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 1 9 5 3 6 6 ;   R o s s   J . ,   2 0 1 0 ,   P   2 8   I N T   C   H U M   F A C T ,   P 2 8 6 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 5 3 8 4 6 . 1 7 5 3 8 7 3 . A C C E S S E D ;   R y a n   K J ,   1 9 7 9 ,   B E L M O N T   R E P O R T   E T H I C ;   S a l g a n i k   M J ,   2 0 0 6 ,   S C I E N C E ,   V 3 1 1 ,   P 8 5 4 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 2 1 0 6 6 ;   S c h m i d t   W .   C . ,   2 0 0 7 ,   O X F O R D   H D B   I N T E R N E T ,   P 4 6 1 ;   S h a r i f f   A F ,   2 0 0 7 ,   P S Y C H O L   S C I ,   V 1 8 ,   P 8 0 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 2 8 0 . 2 0 0 7 . 0 1 9 8 3 . x ;   S h e n g   V .   S . ,   2 0 0 8 ,   P   1 4   A C M   S I G K D D   I N T ,   P 6 1 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 0 1 8 9 0 . 1 4 0 1 9 6 5 ;   S m i t h   M A ,   1 9 9 7 ,   B E H A V   R E S   M E T H   I N S   C ,   V 2 9 ,   P 4 9 6 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 2 1 0 6 0 1 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   S u r i   S ,   2 0 1 1 ,   P L O S   O N E ,   V 6 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 1 6 8 3 6 ;   T V E R S K Y   A ,   1 9 8 1 ,   S C I E N C E ,   V 2 1 1 ,   P 4 5 3 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 7 4 5 5 6 8 3 ;   T V E R S K Y   A ,   1 9 8 3 ,   P S Y C H O L   R E V ,   V 9 0 ,   P 2 9 3 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 5 X . 9 0 . 4 . 2 9 3 ;   U r b a n o   J u l i a n ,   2 0 1 0 ,   P   A C M   S I G I R   2 0 1 0   W O R ,   P 9 ;   V o r a c e k   M . ,   2 0 0 1 ,   D I M E N S I O N S   I N T E R N E T ;   Z h u   D o n g q i n g ,   2 0 1 0 ,   P   A C M   S I G I R   2 0 1 0   W O R ,   P 2 1 	 6 2 	 1 2 8 	 1 2 9 	 S P R I N G E R 	 N E W   Y O R K 	 2 3 3   S P R I N G   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 3   U S A 	 1 5 5 4 - 3 5 1 X 	 1 5 5 4 - 3 5 2 8 	 	 B E H A V   R E S   M E T H O D S 	 B e h a v .   R e s .   M e t h o d s 	 M A R 	 2 0 1 2 	 4 4 	 1 	 	 	 	 	 1 	 2 3 	 	 1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 1 2 4 - 6 	 	 2 3 	 P s y c h o l o g y ,   M a t h e m a t i c a l ;   P s y c h o l o g y ,   E x p e r i m e n t a l 	 P s y c h o l o g y 	 8 9 2 W X 	 W O S : 0 0 0 3 0 0 3 1 7 4 0 0 0 0 1 	 2 1 7 1 7 2 6 6 	 
 J 	 P o e t z ,   M K ;   S c h r e i e r ,   M 	 	 	 	 P o e t z ,   M a r i o n   K . ;   S c h r e i e r ,   M a r t i n 	 	 	 T h e   V a l u e   o f   C r o w d s o u r c i n g :   C a n   U s e r s   R e a l l y   C o m p e t e   w i t h   P r o f e s s i o n a l s   i n   G e n e r a t i n g   N e w   P r o d u c t   I d e a s ? 	 J O U R N A L   O F   P R O D U C T   I N N O V A T I O N   M A N A G E M E N T 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 L O C A L   S E A R C H ;   I N N O V A T I O N ;   C O M M U N I T I E S ;   I N F O R M A T I O N ;   C R E A T I V I T Y ;   C U S T O M E R ;   P E R F O R M A N C E ;   E C O N O M I C S ;   C O N S U M E R S ;   I N S T R U M E N T S 	 G e n e r a t i n g   i d e a s   f o r   n e w   p r o d u c t s   u s e d   t o   b e   t h e   e x c l u s i v e   d o m a i n   o f   m a r k e t e r s ,   e n g i n e e r s ,   a n d / o r   d e s i g n e r s .   U s e r s   h a v e   o n l y   r e c e n t l y   b e e n   r e c o g n i z e d   a s   a n   a l t e r n a t i v e   s o u r c e   o f   n e w   p r o d u c t   i d e a s .   W h e r e a s   s o m e   h a v e   a t t r i b u t e d   g r e a t   p o t e n t i a l   t o   o u t s o u r c i n g   i d e a   g e n e r a t i o n   t o   t h e   c r o w d   o f   u s e r s   ( c r o w d s o u r c i n g ) ,   o t h e r s   h a v e   c l e a r l y   b e e n   m o r e   s k e p t i c a l .   T h e   a u t h o r s   j o i n   t h i s   d e b a t e   b y   p r e s e n t i n g   a   r e a l - w o r l d   c o m p a r i s o n   o f   i d e a s   a c t u a l l y   g e n e r a t e d   b y   a   f i r m ' s   p r o f e s s i o n a l s   w i t h   t h o s e   g e n e r a t e d   b y   u s e r s   i n   t h e   c o u r s e   o f   a n   i d e a   g e n e r a t i o n   c o n t e s t .   B o t h   p r o f e s s i o n a l s   a n d   u s e r s   p r o v i d e d   i d e a s   t o   s o l v e   a n   e f f e c t i v e   a n d   r e l e v a n t   p r o b l e m   i n   t h e   c o n s u m e r   g o o d s   m a r k e t   f o r   b a b y   p r o d u c t s .   E x e c u t i v e s   f r o m   t h e   u n d e r l y i n g   c o m p a n y   e v a l u a t e d   a l l   i d e a s   ( b l i n d   t o   t h e i r   s o u r c e )   i n   t e r m s   o f   k e y   q u a l i t y   d i m e n s i o n s   i n c l u d i n g   n o v e l t y ,   c u s t o m e r   b e n e f i t ,   a n d   f e a s i b i l i t y .   T h e   s t u d y   r e v e a l s   t h a t   t h e   c r o w d s o u r c i n g   p r o c e s s   g e n e r a t e d   u s e r   i d e a s   t h a t   s c o r e   s i g n i f i c a n t l y   h i g h e r   i n   t e r m s   o f   n o v e l t y   a n d   c u s t o m e r   b e n e f i t ,   a n d   s o m e w h a t   l o w e r   i n   t e r m s   o f   f e a s i b i l i t y .   H o w e v e r ,   t h e   a v e r a g e   v a l u e s   f o r   f e a s i b i l i t y i n   s h a r p   c o n t r a s t   t o   n o v e l t y   a n d   c u s t o m e r   b e n e f i t t e n d e d   t o   b e   r e l a t i v e l y   h i g h   o v e r a l l ,   m e a n i n g   t h a t   f e a s i b i l i t y   d i d   n o t   c o n s t i t u t e   a   n a r r o w   b o t t l e n e c k   i n   t h i s   s t u d y .   E v e n   m o r e   i n t e r e s t i n g l y ,   i t   i s   f o u n d   t h a t   u s e r   i d e a s   a r e   p l a c e d   m o r e   f r e q u e n t l y   t h a n   e x p e c t e d   a m o n g   t h e   v e r y   b e s t   i n   t e r m s   o f   n o v e l t y   a n d   c u s t o m e r   b e n e f i t .   T h e s e   f i n d i n g s ,   w h i c h   a r e   q u i t e   c o u n t e r i n t u i t i v e   f r o m   t h e   p e r s p e c t i v e   o f   c l a s s i c   n e w   p r o d u c t   d e v e l o p m e n t   ( N P D )   l i t e r a t u r e ,   s u g g e s t   t h a t ,   a t   l e a s t   u n d e r   c e r t a i n   c o n d i t i o n s ,   c r o w d s o u r c i n g   m i g h t   c o n s t i t u t e   a   p r o m i s i n g   m e t h o d   t o   g a t h e r   u s e r   i d e a s   t h a t   c a n   c o m p l e m e n t   t h o s e   o f   a   f i r m ' s   p r o f e s s i o n a l s   a t   t h e   i d e a   g e n e r a t i o n   s t a g e   i n   N P D . 	 [ P o e t z ,   M a r i o n   K . ]   C o p e n h a g e n   S c h   E c o n   &   B u s i n e s s   A d m ,   D e p t   I n n o v a t   &   O r g   E c o n ,   D K - 2 0 0 0   C o p e n h a g e n ,   D e n m a r k ;   [ S c h r e i e r ,   M a r t i n ]   B o c c o n i   U n i v ,   D e p t   M k t ,   M i l a n ,   I t a l y 	 P o e t z ,   M K   ( r e p r i n t   a u t h o r ) ,   C o p e n h a g e n   S c h   E c o n   &   B u s i n e s s   A d m ,   D e p t   I n n o v a t   &   O r g   E c o n ,   K i l e v e j   1 4   A ,   D K - 2 0 0 0   C o p e n h a g e n ,   D e n m a r k . 	 m p . i n o @ c b s . d k 	 	 	 	 	 A g e r f a l k   P J ,   2 0 0 8 ,   M I S   Q U A R T ,   V 3 2 ,   P 3 8 5 ;   A m a b i l e   T M ,   1 9 9 6 ,   A C A D   M A N A G E   J ,   V 3 9 ,   P 1 1 5 4 ,   D O I   1 0 . 2 3 0 7 / 2 5 6 9 9 5 ;   A m a b i l e   T M ,   2 0 0 5 ,   A D M I N   S C I   Q U A R T ,   V 5 0 ,   P 3 6 7 ;   A m a b i l e   T M ,   1 9 9 8 ,   H A R V A R D   B U S   R E V ,   V 7 6 ,   P 7 6 ;   B a g o z z i   R P ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 1 0 9 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 4 5 ;   B a l d w i n   C ,   2 0 0 6 ,   R E S   P O L I C Y ,   V 3 5 ,   P 1 2 9 1 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 6 . 0 4 . 0 1 2 ;   B e n n e t t   R .   C . ,   1 9 8 1 ,   M C K I N S E Y   Q ,   V 3 ,   P 5 2 ;   B e r t h o n   P .   R . ,   2 0 0 7 ,   B U S   H O R I Z O N S ,   V 5 0 ,   P 3 9 ,   D O I   1 0 . 1 0 1 6 / j . b u s h o r . 2 0 0 6 . 0 5 . 0 0 5 ;   C h e s b r o u g h   H .   W . ,   2 0 0 3 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 4 ,   P 2 5 ;   C O O P E R   R G ,   1 9 9 0 ,   B U S   H O R I Z O N S ,   V 3 3 ,   P 4 4 ,   D O I   1 0 . 1 0 1 6 / 0 0 0 7 - 6 8 1 3 ( 9 0 ) 9 0 0 4 0 - I ;   C o o p e r   R .   G . ,   2 0 0 1 ,   W I N N I N G   N E W   P R O D U C T S ;   C r a w f o r d   C .   M . ,   2 0 0 6 ,   N E W   P R O D U C T S   M A N A G E M ;   D a h a n   E ,   2 0 0 2 ,   J   P R O D   I N N O V A T   M A N A G ,   V 1 9 ,   P 3 3 2 ,   D O I   1 0 . 1 1 1 1 / 1 5 4 0 - 5 8 8 5 . 1 9 5 0 3 3 2 ;   D a h a n   E ,   2 0 1 0 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 7 ,   P 9 3 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 1 0 . 0 0 7 6 3 . x ;   D a h a n   E ,   2 0 0 1 ,   M A N A G E   S C I ,   V 4 7 ,   P 1 0 2 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 7 . 1 . 1 0 2 . 1 0 6 6 6 ;   F l e m i n g   L ,   2 0 0 7 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 9 ,   P 6 9 ;   F r a n k e   N ,   2 0 0 6 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 3 ,   P 3 0 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 0 6 . 0 0 2 0 3 . x ;   F r a n k e   N ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 5 7 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 2 ) 0 0 0 0 6 - 9 ;   F r a n k e   N . ,   2 0 0 9 ,   R O L E   P E R C E I V E D   F A I R N ;   F u c h s   C ,   2 0 1 1 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 8 ,   P 1 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 1 0 . 0 0 7 7 8 . x ;   F u l l e r   J ,   2 0 0 8 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 5 ,   P 6 0 8 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 0 8 . 0 0 3 2 5 . x ;   F u l l e r   J ,   2 0 0 7 ,   J   B U S   R E S ,   V 6 0 ,   P 6 0 ,   D O I   1 0 . 1 0 1 6 / j . j b u s r e s . 2 0 0 6 . 0 9 . 0 1 9 ;   G o l d e n b e r g   J ,   2 0 0 1 ,   M A N A G E   S C I ,   V 4 7 ,   P 6 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 7 . 1 . 6 9 . 1 0 6 7 0 ;   G R I F F I N   A ,   1 9 9 3 ,   M A R K E T   S C I ,   V 1 2 ,   P 1 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 2 . 1 . 1 ;   H a r h o f f   D ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 7 5 3 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 6 1 - 1 ;   H A U S E R   J R ,   1 9 8 8 ,   H A R V A R D   B U S   R E V ,   V 6 6 ,   P 6 3 ;   H a y e s   A .   F . ,   2 0 0 7 ,   C O M M U N I C A T I O N   M E T H O D ,   V 1 ,   P 7 7 ,   D O I   D O I   1 0 . 1 0 8 0 / 1 9 3 1 2 4 5 0 7 0 9 3 3 6 6 6 4 ;   H E L F A T   C E ,   1 9 9 4 ,   O R G A N   S C I ,   V 5 ,   P 1 7 3 ,   D O I   1 0 . 1 2 8 7 / o r s c . 5 . 2 . 1 7 3 ;   H i e n e r t h   C . ,   2 0 0 7 ,   D R U I D   S U M M   C   C O P ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   P 1 4 ;   I m   S ,   2 0 0 3 ,   J   A C A D   M A R K E T   S C I ,   V 3 1 ,   P 6 1 ,   D O I   1 0 . 1 1 7 7 / 0 0 9 2 0 7 0 3 0 2 2 3 8 6 0 2 ;   J e p p e s e n   L B ,   2 0 1 0 ,   O R G A N   S C I ,   V 2 1 ,   P 1 0 1 6 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 9 0 . 0 4 9 1 ;   J e p p e s e n   L B ,   2 0 0 6 ,   O R G A N   S C I ,   V 1 7 ,   P 4 5 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 5 0 . 0 1 5 6 ;   K a t i l a   R ,   2 0 0 2 ,   A C A D   M A N A G E   J ,   V 4 5 ,   P 1 1 8 3 ,   D O I   1 0 . 2 3 0 7 / 3 0 6 9 4 3 3 ;   K I R T O N   M ,   1 9 7 6 ,   J   A P P L   P S Y C H O L ,   V 6 1 ,   P 6 2 2 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 1 - 9 0 1 0 . 6 1 . 5 . 6 2 2 ;   K r i p p e n d o r f f   K . ,   2 0 0 4 ,   C O N T E N T   A N A L   I N T R O   I ;   K r i s t e n s s o n   P ,   2 0 0 4 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 1 ,   P 4 ,   D O I   1 0 . 1 1 1 1 / j . 0 7 3 7 - 6 7 8 2 . 2 0 0 4 . 0 0 0 5 0 . x ;   L a k h a n i   K .   R . ,   2 0 0 7 ,   0 7 0 5 0   H A R V   B U S   S C H ;   L a k h a n i   K R ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 9 2 3 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 2 ) 0 0 0 9 5 - 1 ;   L A R K I N   J ,   1 9 8 0 ,   S C I E N C E ,   V 2 0 8 ,   P 1 3 3 5 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 2 0 8 . 4 4 5 0 . 1 3 3 5 ;   L e o n a r d   D ,   1 9 9 7 ,   H A R V A R D   B U S   R E V ,   V 7 5 ,   P 1 0 2 ;   L e r n e r   J ,   2 0 0 2 ,   J   I N D   E C O N ,   V 5 0 ,   P 1 9 7 ;   L e r n e r   J ,   2 0 0 5 ,   J   E C O N   P E R S P E C T ,   V 1 9 ,   P 9 9 ,   D O I   1 0 . 1 2 5 7 / 0 8 9 5 3 3 0 0 5 4 0 4 8 6 7 8 ;   L e t t l   C ,   2 0 0 6 ,   I N T   J   T E C H N O L   M A N A G E ,   V 3 3 ,   P 2 5 ,   D O I   1 0 . 1 5 0 4 / I J T M . 2 0 0 6 . 0 0 8 1 9 0 ;   L i l i e n   G L ,   2 0 0 2 ,   M A N A G E   S C I ,   V 4 8 ,   P 1 0 4 2 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 8 . 8 . 1 0 4 2 . 1 7 1 ;   L u t h j e   C ,   2 0 0 4 ,   T E C H N O V A T I O N ,   V 2 4 ,   P 6 8 3 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 6 - 4 9 7 2 ( 0 2 ) 0 0 1 5 0 - 5 ;   L u t h j e   C ,   2 0 0 5 ,   R E S   P O L I C Y ,   V 3 4 ,   P 9 5 1 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 5 . 0 5 . 0 0 5 ;   M a g e e   G B ,   2 0 0 5 ,   J   E C O N   B E H A V   O R G A N ,   V 5 7 ,   P 2 9 ,   D O I   1 0 . 1 0 1 6 / j . j e b o . 2 0 0 3 . 1 1 . 0 1 2 ;   M a g n u s s o n   P .   R . ,   2 0 0 3 ,   J   S E R V   R E S - U S ,   V 6 ,   P 1 1 1 ,   D O I   1 0 . 1 1 7 7 / 1 0 9 4 6 7 0 5 0 3 2 5 7 0 2 8 ;   M a g n u s s o n   P R ,   2 0 0 9 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 6 ,   P 5 7 8 ;   M a j c h r z a k   A ,   2 0 0 4 ,   M A N A G E   S C I ,   V 5 0 ,   P 1 7 4 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 3 0 . 0 1 1 6 ;   M a r c h   J G ,   1 9 9 1 ,   O R G A N   S C I ,   V 2 ,   P 7 1 ,   D O I   1 0 . 1 2 8 7 / o r s c . 2 . 1 . 7 1 ;   M a r t i n   X ,   1 9 9 8 ,   R E S   P O L I C Y ,   V 2 6 ,   P 7 5 3 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 9 7 ) 0 0 0 3 7 - 1 ;   M o r e a u   P a g e   C . ,   2 0 0 5 ,   J   C O N S U M   R E S ,   V 3 2 ,   P 1 3 ;   M o r r i s o n   P D ,   2 0 0 0 ,   M A N A G E   S C I ,   V 4 6 ,   P 1 5 1 3 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 6 . 1 2 . 1 5 1 3 . 1 2 0 7 6 ;   N e l s o n   R .   R . ,   1 9 8 2 ,   E V O L U T I O N A R Y   T H E O R Y ;   O g a w a   S ,   2 0 0 6 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 7 ,   P 6 5 ;   P i l l e r   F T ,   2 0 0 6 ,   R & D   M A N A G E ,   V 3 6 ,   P 3 0 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 6 . 0 0 4 3 2 . x ;   P i s a n o   G P ,   2 0 0 8 ,   H A R V A R D   B U S   R E V ,   V 8 6 ,   P 7 8 ;   P i t t   L F ,   2 0 0 6 ,   J   A C A D   M A R K E T   S C I ,   V 3 4 ,   P 1 1 5 ,   D O I   1 0 . 1 1 7 7 / 0 0 9 2 0 7 0 3 0 5 2 8 4 9 7 2 ;   R I G G S   W ,   1 9 9 4 ,   R E S   P O L I C Y ,   V 2 3 ,   P 4 5 9 ,   D O I   1 0 . 1 0 1 6 / 0 0 4 8 - 7 3 3 3 ( 9 4 ) 9 0 0 0 8 - 6 ;   S a w h n e y   M ,   2 0 0 5 ,   J   I N T E R A C T   M A R K ,   V 1 9 ,   P 4 ,   D O I   1 0 . 1 0 0 2 / d i r . 2 0 0 4 6 ;   S a w h n e y   M ,   2 0 0 0 ,   C A L I F   M A N A G E   R E V ,   V 4 2 ,   P 2 4 ;   S c h r e i e r   M ,   2 0 0 8 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 5 ,   P 3 3 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 0 8 . 0 0 3 0 5 . x ;   S c h u l z e   A ,   2 0 0 8 ,   R E S   P O L I C Y ,   V 3 7 ,   P 1 7 4 2 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 8 . 0 7 . 0 0 2 ;   S t u a r t   T E ,   1 9 9 6 ,   S T R A T E G I C   M A N A G E   J ,   V 1 7 ,   P 2 1 ;   S U R O W I E C K I   J A M E S ,   2 0 0 4 ,   W I S D O M   C R O W D S ;   T e r w i e s c h   C . ,   2 0 0 9 ,   I N N O V A T I O N   T O U R N A M E N ;   T o u b i a   O ,   2 0 0 7 ,   M A R K E T   S C I ,   V 2 6 ,   P 3 4 2 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 0 7 0 . 0 2 7 3 ;   U l r i c h   K .   T . ,   2 0 0 8 ,   P R O D U C T   D E S I G N   D E V ;   U l r i c h   K a r l   T . ,   2 0 0 7 ,   D E S I G N   C R E A T I O N   A R T E ;   U r b a n   G .   L . ,   1 9 9 3 ,   D E S I G N   M A R K E T I N G   N E W ;   U r b a n   G L ,   1 9 9 7 ,   J   M A R K E T I N G   R E S ,   V 3 4 ,   P 1 4 3 ,   D O I   1 0 . 2 3 0 7 / 3 1 5 2 0 7 1 ;   U R B A N   G L ,   1 9 8 8 ,   M A N A G E   S C I ,   V 3 4 ,   P 5 6 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 3 4 . 5 . 5 6 9 ;   V i n c e n t i   W .   G . ,   1 9 9 0 ,   W H A T   E N G   K N O W   T H E Y   K ;   v o n   H i p p e l   E r i c ,   2 0 0 5 ,   D E M O C R A T I Z I N G   I N N O V A ;   V O N H I P P E L   E ,   1 9 9 4 ,   M A N A G E   S C I ,   V 4 0 ,   P 4 2 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 0 . 4 . 4 2 9 ;   V O N H I P P E L   E ,   1 9 8 6 ,   M A N A G E   S C I ,   V 3 2 ,   P 7 9 1 ,   D O I   1 0 . 1 2 8 7 / m n s c . 3 2 . 7 . 7 9 1 ;   W e i s b e r g   R .   W . ,   1 9 9 3 ,   C R E A T I V I T Y   M Y T H   G E N I 	 7 9 	 3 5 	 3 5 	 W I L E Y - B L A C K W E L L 	 M A L D E N 	 C O M M E R C E   P L A C E ,   3 5 0   M A I N   S T ,   M A L D E N   0 2 1 4 8 ,   M A   U S A 	 0 7 3 7 - 6 7 8 2 	 	 	 J   P R O D   I N N O V A T   M A N A G 	 J .   P r o d .   I n n o v .   M a n a g e . 	 M A R 	 2 0 1 2 	 2 9 	 2 	 	 	 	 	 2 4 5 	 2 5 6 	 	 1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 1 1 . 0 0 8 9 3 . x 	 	 1 2 	 B u s i n e s s ;   E n g i n e e r i n g ,   I n d u s t r i a l ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s ;   E n g i n e e r i n g 	 8 7 9 L P 	 W O S : 0 0 0 2 9 9 3 3 1 0 0 0 0 0 8 	 	 
 J 	 R a y k a r ,   V C ;   Y u ,   S P 	 	 	 	 R a y k a r ,   V i k a s   C . ;   Y u ,   S h i p e n g 	 	 	 E l i m i n a t i n g   S p a m m e r s   a n d   R a n k i n g   A n n o t a t o r s   f o r   C r o w d s o u r c e d   L a b e l i n g   T a s k s 	 J O U R N A L   O F   M A C H I N E   L E A R N I N G   R E S E A R C H 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c r o w d s o u r c i n g ;   m u l t i p l e   a n n o t a t o r s ;   r a n k i n g   a n n o t a t o r s ;   s p a m m e r s 	 	 W i t h   t h e   a d v e n t   o f   c r o w d s o u r c i n g   s e r v i c e s   i t   h a s   b e c o m e   q u i t e   c h e a p   a n d   r e a s o n a b l y   e f f e c t i v e   t o   g e t   a   d a t a   s e t   l a b e l e d   b y   m u l t i p l e   a n n o t a t o r s   i n   a   s h o r t   a m o u n t   o f   t i m e .   V a r i o u s   m e t h o d s   h a v e   b e e n   p r o p o s e d   t o   e s t i m a t e   t h e   c o n s e n s u s   l a b e l s   b y   c o r r e c t i n g   f o r   t h e   b i a s   o f   a n n o t a t o r s   w i t h   d i f f e r e n t   k i n d s   o f   e x p e r t i s e .   S i n c e   w e   d o   n o t   h a v e   c o n t r o l   o v e r   t h e   q u a l i t y   o f   t h e   a n n o t a t o r s ,   v e r y   o f t e n   t h e   a n n o t a t i o n s   c a n   b e   d o m i n a t e d   b y   s p a m m e r s ,   d e f i n e d   a s   a n n o t a t o r s   w h o   a s s i g n   l a b e l s   r a n d o m l y   w i t h o u t   a c t u a l l y   l o o k i n g   a t   t h e   i n s t a n c e .   S p a m m e r s   c a n   m a k e   t h e   c o s t   o f   a c q u i r i n g   l a b e l s   v e r y   e x p e n s i v e   a n d   c a n   p o t e n t i a l l y   d e g r a d e   t h e   q u a l i t y   o f   t h e   f i n a l   c o n s e n s u s   l a b e l s .   I n   t h i s   p a p e r   w e   p r o p o s e   a n   e m p i r i c a l   B a y e s i a n   a l g o r i t h m   c a l l e d   S p E M   t h a t   i t e r a t i v e l y   e l i m i n a t e s   t h e   s p a m m e r s   a n d   e s t i m a t e s   t h e   c o n s e n s u s   l a b e l s   b a s e d   o n l y   o n   t h e   g o o d   a n n o t a t o r s .   T h e   a l g o r i t h m   i s   m o t i v a t e d   b y   d e f i n i n g   a   s p a m m e r   s c o r e   t h a t   c a n   b e   u s e d   t o   r a n k   t h e   a n n o t a t o r s .   E x p e r i m e n t s   o n   s i m u l a t e d   a n d   r e a l   d a t a   s h o w   t h a t   t h e   p r o p o s e d   a p p r o a c h   i s   b e t t e r   t h a n   ( o r   a s   g o o d   a s )   t h e   e a r l i e r   a p p r o a c h e s   i n   t e r m s   o f   t h e   a c c u r a c y   a n d   u s e s   a   s i g n i f i c a n t l y   s m a l l e r   n u m b e r   o f   a n n o t a t o r s . 	 [ R a y k a r ,   V i k a s   C . ;   Y u ,   S h i p e n g ]   S i e m e n s   H e a l t h c a r e ,   M a l v e r n ,   P A   1 9 3 5 5   U S A 	 R a y k a r ,   V C   ( r e p r i n t   a u t h o r ) ,   S i e m e n s   H e a l t h c a r e ,   5 1   V a l l e y   S t r e a m   P k w y , E 5 1 ,   M a l v e r n ,   P A   1 9 3 5 5   U S A . 	 V I K A S . R A Y K A R @ S I E M E N S . C O M ;   S H I P E N G . Y U @ S I E M E N S . C O M 	 	 	 	 	 B r e w   A . ,   2 0 1 0 ,   P   6   C   P R E S T   A P P L   I N T ;   B u r l   M . ,   1 9 9 5 ,   A D V   N E U R A L   I N F O R M   P R ,   V 7 ,   P 1 0 8 5 ;   C a r p e n t e r   B . ,   2 0 0 8 ,   M U L T I L E V E L   B A Y E S I A N ;   D a w i d   A P ,   1 9 7 9 ,   A P P L I E D   S T A T I S T I C S ,   V 2 8 ,   P 2 0 ,   D O I   1 0 . 2 3 0 7 / 2 3 4 6 8 0 6 ;   D E M P S T E R   A P ,   1 9 7 7 ,   J   R O Y   S T A T   S O C   B   M E T ,   V 3 9 ,   P 1 ;   D o n m e z   P ,   2 0 0 9 ,   K D D - 0 9 :   1 5 T H   A C M   S I G K D D   C O N F E R E N C E   O N   K N O W L E D G E   D I S C O V E R Y   A N D   D A T A   M I N I N G ,   P 2 5 9 ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 6 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 9 0 6 ;   N e a l   R M ,   1 9 9 8 ,   N A T O   A D V   S C I   I   D   B E H ,   P 3 5 5 ;   P a r e n t   G . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 2 1 ;   R a s m u s s e n   C E ,   2 0 0 5 ,   A D A P T   C O M P U T   M A C H   L E ,   P 1 ;   R a y k a r   V .   C . ,   2 0 0 9 ,   P   2 6   A N N   I N T   C   M A C H ,   P 8 8 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 5 5 3 3 7 4 . 1 5 5 3 4 8 8 ;   R a y k a r   V .   C . ,   2 0 1 1 ,   A D V   N E U R A L   I N F O R M   P R ,   V 2 4 ,   P 1 8 0 9 ;   R a y k a r   V C ,   2 0 1 0 ,   J   M A C H   L E A R N   R E S ,   V 1 1 ,   P 1 2 9 7 ;   S h e n g   V .   S . ,   2 0 0 8 ,   P   1 4   A C M   S I G K D D   I N T ,   P 6 1 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 0 1 8 9 0 . 1 4 0 1 9 6 5 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   S o r o k i n   A . ,   2 0 0 8 ,   P   1   I E E E   W O R K S H   I N T ,   P 1 ;   T i p p i n g   M E ,   2 0 0 1 ,   J   M A C H   L E A R N   R E S ,   V 1 ,   P 2 1 1 ,   D O I   1 0 . 1 1 6 2 / 1 5 3 2 4 4 3 0 1 5 2 7 4 8 2 3 6 ;   W e l i n d e r   P . ,   2 0 1 0 ,   A D V   N E U R A L   I N F O R M   P R ,   V 2 3 ,   P 2 4 2 4 ;   W h i t e h i l l   J . ,   2 0 0 9 ,   A D V   N E U R A L   I N F O R M   P R ,   V 2 2 ,   P 2 0 3 5 ;   Y a n   Y ,   2 0 1 0 ,   P   1 3   I N T   C   A R T   I N T   S ,   P 9 3 2 	 2 0 	 9 	 1 0 	 M I C R O T O M E   P U B L 	 B R O O K L I N E 	 3 1   G I B B S   S T ,   B R O O K L I N E ,   M A   0 2 4 4 6   U S A 	 1 5 3 2 - 4 4 3 5 	 	 	 J   M A C H   L E A R N   R E S 	 J .   M a c h .   L e a r n .   R e s . 	 F E B 	 2 0 1 2 	 1 3 	 	 	 	 	 	 4 9 1 	 5 1 8 	 	 	 	 2 8 	 A u t o m a t i o n   &   C o n t r o l   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e 	 A u t o m a t i o n   &   C o n t r o l   S y s t e m s ;   C o m p u t e r   S c i e n c e 	 9 2 9 F F 	 W O S : 0 0 0 3 0 3 0 4 6 0 0 0 0 0 9 	 	 
 J 	 E i b e n ,   C B ;   S i e g e l ,   J B ;   B a l e ,   J B ;   C o o p e r ,   S ;   K h a t i b ,   F ;   S h e n ,   B W ;   P l a y e r s ,   F ;   S t o d d a r d ,   B L ;   P o p o v i c ,   Z ;   B a k e r ,   D 	 	 	 	 E i b e n ,   C h r i s t o p h e r   B . ;   S i e g e l ,   J u s t i n   B . ;   B a l e ,   J a c o b   B . ;   C o o p e r ,   S e t h ;   K h a t i b ,   F i r a s ;   S h e n ,   B e t t y   W . ;   P l a y e r s ,   F o l d i t ;   S t o d d a r d ,   B a r r y   L . ;   P o p o v i c ,   Z o r a n ;   B a k e r ,   D a v i d 	 	 	 I n c r e a s e d   D i e l s - A l d e r a s e   a c t i v i t y   t h r o u g h   b a c k b o n e   r e m o d e l i n g   g u i d e d   b y   F o l d i t   p l a y e r s 	 N A T U R E   B I O T E C H N O L O G Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 C O M P U T A T I O N A L   D E S I G N ;   E N Z Y M E ;   E V O L U T I O N ;   M O T I F ;   L O O P ;   G A M E 	 C o m p u t a t i o n a l   e n z y m e   d e s i g n   h o l d s   p r o m i s e   f o r   t h e   p r o d u c t i o n   o f   r e n e w a b l e   f u e l s ,   d r u g s   a n d   c h e m i c a l s .   D e   n o v o   e n z y m e   d e s i g n   h a s   g e n e r a t e d   c a t a l y s t s   f o r   s e v e r a l   r e a c t i o n s ,   b u t   w i t h   l o w e r   c a t a l y t i c   e f f i c i e n c i e s   t h a n   n a t u r a l l y   o c c u r r i n g   e n z y m e s ( 1 - 4 ) .   H e r e   w e   r e p o r t   t h e   u s e   o f   g a m e - d r i v e n   c r o w d s o u r c i n g   t o   e n h a n c e   t h e   a c t i v i t y   o f   a   c o m p u t a t i o n a l l y   d e s i g n e d   e n z y m e   t h r o u g h   t h e   f u n c t i o n a l   r e m o d e l i n g   o f   i t s   s t r u c t u r e .   P l a y e r s   o f   t h e   o n l i n e   g a m e   F o l d i t ( 5 , 6 )   w e r e   c h a l l e n g e d   t o   r e m o d e l   t h e   b a c k b o n e   o f   a   c o m p u t a t i o n a l l y   d e s i g n e d   b i m o l e c u l a r   D i e l s - A l d e r a s e ( 3 )   t o   e n a b l e   a d d i t i o n a l   i n t e r a c t i o n s   w i t h   s u b s t r a t e s .   S e v e r a l   i t e r a t i o n s   o f   d e s i g n   a n d   c h a r a c t e r i z a t i o n   g e n e r a t e d   a   2 4 - r e s i d u e   h e l i x - t u r n - h e l i x   m o t i f ,   i n c l u d i n g   a   1 3 - r e s i d u e   i n s e r t i o n ,   t h a t   i n c r e a s e d   e n z y m e   a c t i v i t y   > 1 8 - f o l d .   X - r a y   c r y s t a l l o g r a p h y   s h o w e d   t h a t   t h e   l a r g e   i n s e r t i o n   a d o p t s   a   h e l i x - t u r n - h e l i x   s t r u c t u r e   p o s i t i o n e d   a s   i n   t h e   F o l d i t   m o d e l .   T h e s e   r e s u l t s   d e m o n s t r a t e   t h a t   h u m a n   c r e a t i v i t y   c a n   e x t e n d   b e y o n d   t h e   m a c r o s c o p i c   c h a l l e n g e s   e n c o u n t e r e d   i n   e v e r y d a y   l i f e   t o   m o l e c u l a r - s c a l e   d e s i g n   p r o b l e m s . 	 [ E i b e n ,   C h r i s t o p h e r   B . ;   S i e g e l ,   J u s t i n   B . ;   B a l e ,   J a c o b   B . ;   K h a t i b ,   F i r a s ;   B a k e r ,   D a v i d ]   U n i v   W a s h i n g t o n ,   D e p t   B i o c h e m ,   S e a t t l e ,   W A   9 8 1 9 5   U S A ;   [ B a l e ,   J a c o b   B . ]   U n i v   W a s h i n g t o n ,   G r a d   P r o g r a m   M o l   &   C e l l u l a r   B i o l ,   S e a t t l e ,   W A   9 8 1 9 5   U S A ;   [ C o o p e r ,   S e t h ;   P o p o v i c ,   Z o r a n ]   U n i v   W a s h i n g t o n ,   D e p t   C o m p   S c i   &   E n g n ,   S e a t t l e ,   W A   9 8 1 9 5   U S A ;   [ S h e n ,   B e t t y   W . ;   S t o d d a r d ,   B a r r y   L . ]   F r e d   H u t c h i n s o n   C a n c   R e s   C t r ,   D i v   B a s i c   S c i ,   S e a t t l e ,   W A   9 8 1 0 4   U S A ;   [ B a k e r ,   D a v i d ]   U n i v   W a s h i n g t o n ,   H o w a r d   H u g h e s   M e d   I n s t ,   S e a t t l e ,   W A   9 8 1 9 5   U S A 	 B a k e r ,   D   ( r e p r i n t   a u t h o r ) ,   U n i v   W a s h i n g t o n ,   D e p t   B i o c h e m ,   S e a t t l e ,   W A   9 8 1 9 5   U S A . 	 d a b a k e r @ u . w a s h i n g t o n . e d u 	 b a k e r ,   d a v i d / K - 8 9 4 1 - 2 0 1 2 	 	 C e n t e r   f o r   G a m e   S c i e n c e   a t   t h e   U n i v e r s i t y   o f   W a s h i n g t o n ;   U S   D e f e n s e   A d v a n c e d   R e s e a r c h   P r o j e c t s   A g e n c y   ( D A R P A )   [ N 0 0 1 7 3 - 0 8 - 1 - G 0 2 5 ] ;   D A R P A   P D P ;   H o w a r d   H u g h e s   M e d i c a l   I n s t i t u t e ;   N a t i o n a l   S c i e n c e   F o u n d a t i o n   [ D G E - 0 7 1 8 1 2 4 ,   0 9 0 6 0 2 6 ] 	 W e   w o u l d   l i k e   t o   a c k n o w l e d g e   t h e   m e m b e r s   o f   t h e   F o l d i t   t e a m   f o r   t h e i r   h e l p   d e s i g n i n g   a n d   d e v e l o p i n g   t h e   g a m e   a n d   a l l   t h e   F o l d i t   p l a y e r s   w h o   v o l u n t e e r e d   t o   m a k e   t h i s   w o r k   p o s s i b l e .   W e   w o u l d   a l s o   l i k e   t o   t h a n k   J .   T h o m p s o n   f o r   u s e f u l   s c r i p t s ,   a s   w e l l   a s   B .   S i e g e l   a n d   M .   E i b e n   f o r   h e l p f u l   c o m m e n t s   o n   t h e   m a n u s c r i p t .   T h i s   w o r k   w a s   s u p p o r t e d   b y   t h e   C e n t e r   f o r   G a m e   S c i e n c e   a t   t h e   U n i v e r s i t y   o f   W a s h i n g t o n ,   U S   D e f e n s e   A d v a n c e d   R e s e a r c h   P r o j e c t s   A g e n c y   ( D A R P A )   g r a n t   N 0 0 1 7 3 - 0 8 - 1 - G 0 2 5 ,   t h e   D A R P A   P D P   p r o g r a m ,   t h e   H o w a r d   H u g h e s   M e d i c a l   I n s t i t u t e   ( D . B . ) ,   a   N a t i o n a l   S c i e n c e   F o u n d a t i o n   g r a d u a t e   r e s e a r c h   f e l l o w s h i p   t o   J . B . B .   ( g r a n t   n o .   D G E - 0 7 1 8 1 2 4 ) ,   a n d   a   N a t i o n a l   S c i e n c e   F o u n d a t i o n   g r a n t   f o r   F . K .   ( g r a n t   n o .   0 9 0 6 0 2 6 ) . 	 [ A n o n y m o u s ] ,   P Y M O L   M O L   G R A P H   S Y S T ;   B a r - E v e n   A ,   2 0 1 1 ,   B I O C H E M I S T R Y - U S ,   V 5 0 ,   P 4 4 0 2 ,   D O I   1 0 . 1 0 2 1 / b i 2 0 0 2 2 8 9 ;   C o o p e r   S ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 7 5 6 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 9 3 0 4 ;   E m s l e y   P ,   2 0 0 4 ,   A C T A   C R Y S T A L L O G R   D ,   V 6 0 ,   P 2 1 2 6 ,   D O I   1 0 . 1 1 0 7 / S 0 9 0 7 4 4 4 9 0 4 0 1 9 1 5 8 ;   H a v r a n e k   J J ,   2 0 0 9 ,   P R O T E I N   S C I ,   V 1 8 ,   P 1 2 9 3 ,   D O I   1 0 . 1 0 0 2 / p r o . 1 4 2 ;   H u   X Z ,   2 0 0 7 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 4 ,   P 1 7 6 6 8 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 7 0 7 9 7 7 1 0 4 ;   J i a n g   L ,   2 0 0 8 ,   S C I E N C E ,   V 3 1 9 ,   P 1 3 8 7 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 5 2 6 9 2 ;   K h a t i b   F ,   2 0 1 1 ,   N A T   S T R U C T   M O L   B I O L ,   V 1 8 ,   P 1 1 7 5 ,   D O I   1 0 . 1 0 3 8 / n s m b . 2 1 1 9 ;   M u r p h y   P M ,   2 0 0 9 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 6 ,   P 9 2 1 5 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 8 1 1 0 7 0 1 0 6 ;   P a r k   H S ,   2 0 0 6 ,   S C I E N C E ,   V 3 1 1 ,   P 5 3 5 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 1 8 9 5 3 ;   R e l i g a   T L ,   2 0 0 7 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 4 ,   P 9 2 7 2 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 7 0 3 4 3 4 1 0 4 ;   R o t h l i s b e r g e r   D ,   2 0 0 8 ,   N A T U R E ,   V 4 5 3 ,   P 1 9 0 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 6 8 7 9 ;   S i e g e l   J B ,   2 0 1 0 ,   S C I E N C E ,   V 3 2 9 ,   P 3 0 9 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 9 0 2 3 9 ;   S t e r n e r   R ,   2 0 0 5 ,   C H E M   R E V ,   V 1 0 5 ,   P 4 0 3 8 ,   D O I   1 0 . 1 0 2 1 / c r 0 3 0 1 9 1 z 	 1 4 	 5 2 	 5 3 	 N A T U R E   P U B L I S H I N G   G R O U P 	 N E W   Y O R K 	 7 5   V A R I C K   S T ,   9 T H   F L R ,   N E W   Y O R K ,   N Y   1 0 0 1 3 - 1 9 1 7   U S A 	 1 0 8 7 - 0 1 5 6 	 	 	 N A T   B I O T E C H N O L 	 N a t .   B i o t e c h n o l . 	 F E B 	 2 0 1 2 	 3 0 	 2 	 	 	 	 	 1 9 0 	 1 9 2 	 	 1 0 . 1 0 3 8 / n b t . 2 1 0 9 	 	 3 	 B i o t e c h n o l o g y   &   A p p l i e d   M i c r o b i o l o g y 	 B i o t e c h n o l o g y   &   A p p l i e d   M i c r o b i o l o g y 	 8 9 2 E I 	 W O S : 0 0 0 3 0 0 2 6 9 1 0 0 0 2 3 	 2 2 2 6 7 0 1 1 	 
 J 	 L i u ,   Y F ;   L e h d o n v i r t a ,   V ;   A l e x a n d r o v a ,   T ;   N a k a j i m a ,   T 	 	 	 	 L i u ,   Y e f e n g ;   L e h d o n v i r t a ,   V i l i ;   A l e x a n d r o v a ,   T o d o r k a ;   N a k a j i m a ,   T a t s u o 	 	 	 D r a w i n g   o n   m o b i l e   c r o w d s   v i a   s o c i a l   m e d i a   C a s e   U b i A s k :   i m a g e   b a s e d   m o b i l e   s o c i a l   s e a r c h   a c r o s s   l a n g u a g e s 	 M U L T I M E D I A   S Y S T E M S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 M o b i l e   c r o w d s o u r c i n g ;   M o b i l e   h u m a n   c o m p u t a t i o n ;   M o b i l e   s o c i a l   s e a r c h ;   I n c e n t i v e   m e c h a n i s m s ;   M o b i l e   i m a g e   t r a n s l a t i o n ;   M o b i l e   Q   &   A 	 G A M E S 	 R e c e n t   y e a r s   h a v e   w i t n e s s e d   t h e   i m p a c t   o f   c r o w d s o u r c i n g   m o d e l ,   s o c i a l   m e d i a ,   a n d   p e r v a s i v e   c o m p u t i n g .   W e   b e l i e v e   t h a t   t h e   m o r e   s i g n i f i c a n t   i m p a c t   i s   l a t e n t   i n   t h e   c o n v e r g e n c e   o f   t h e s e   i d e a s   o n   t h e   m o b i l e   p l a t f o r m .   I n   t h i s   p a p e r ,   w e   i n t r o d u c e   a   m o b i l e   c r o w d s o u r c i n g   p l a t f o r m   t h a t   i s   b u i l t   o n   t o p   o f   s o c i a l   m e d i a .   A   m o b i l e   c r o w d s o u r c i n g   a p p l i c a t i o n   c a l l e d   U b i A s k   i s   p r e s e n t e d   a s   o n e   s t u d y   c a s e .   U b i A s k   i s   d e s i g n e d   f o r   a s s i s t i n g   f o r e i g n   v i s i t o r s   b y   i n v o l v i n g   t h e   l o c a l   c r o w d   t o   a n s w e r   t h e i r   i m a g e - b a s e d   q u e s t i o n s   a t   h a n d   i n   a   t i m e l y   f a s h i o n .   E x i s t i n g   s o c i a l   m e d i a   p l a t f o r m s   a r e   u s e d   t o   r a p i d l y   a l l o c a t e   m i c r o t a s k s   t o   a   w i d e   n e t w o r k   o f   l o c a l   r e s i d e n t s .   T h e   r e s u l t i n g   d a t a   a r e   v i s u a l i z e d   u s i n g   a   m a p p i n g   t o o l   a s   w e l l   a s   a u g m e n t e d   r e a l i t y   ( A R )   t e c h n o l o g y ,   r e s u l t   i n   a   v i s u a l   i n f o r m a t i o n   p o o l   f o r   p u b l i c   u s e .   W e   r a n   a   c o n t r o l l e d   f i e l d   e x p e r i m e n t   i n   J a p a n   f o r   6   w e e k s   w i t h   5 5   p a r t i c i p a n t s .   T h e   r e s u l t s   d e m o n s t r a t e d   a   r e l i a b l e   p e r f o r m a n c e   o n   r e s p o n s e   s p e e d   a n d   r e s p o n s e   q u a n t i t y :   h a l f   o f   t h e   r e q u e s t s   w e r e   a n s w e r e d   w i t h i n   1 0   m i n ,   7 5 %   o f   r e q u e s t s   w e r e   a n s w e r e d   w i t h i n   3 0   m i n ,   a n d   o n   a v e r a g e   e v e r y   r e q u e s t   h a d   4 . 2   a n s w e r s .   E s p e c i a l l y   i n   t h e   a f t e r n o o n ,   e v e n i n g   a n d   n i g h t ,   n e a r l y   8 8 %   r e q u e s t s   w e r e   a n s w e r e d   i n   a v e r a g e   a p p r o x i m a t e l y   1 0   m i n ,   w i t h   m o r e   t h a n   4   a n s w e r s   p e r   r e q u e s t .   I n   t e r m s   o f   p a r t i c i p a t i o n   m o t i v a t i o n ,   w e   f o u n d   t h e   t o p   a c t i v e   c r o w d w o r k e r s   w e r e   m o r e   d r i v e n   b y   i n t r i n s i c   m o t i v a t i o n s   r a t h e r   t h a n   a n y   o f   t h e   e x t r i n s i c   i n c e n t i v e s   ( g a m e - b a s e d   i n c e n t i v e s   a n d   s o c i a l   i n c e n t i v e s )   w e   d e s i g n e d . 	 [ L i u ,   Y e f e n g ;   A l e x a n d r o v a ,   T o d o r k a ;   N a k a j i m a ,   T a t s u o ]   W a s e d a   U n i v ,   F a c   S c i   &   E n g n ,   D e p t   C o m p   S c i ,   S h i n j u k u   K u ,   T o k y o   1 6 9 8 5 5 5 ,   J a p a n ;   [ L e h d o n v i r t a ,   V i l i ]   H e l s i n k i   I n s t   I n f o r m a t   T e c h n o l ,   A a l t o   0 0 0 7 6 ,   F i n l a n d 	 L i u ,   Y F   ( r e p r i n t   a u t h o r ) ,   W a s e d a   U n i v ,   F a c   S c i   &   E n g n ,   D e p t   C o m p   S c i ,   S h i n j u k u   K u ,   3 - 4 - 1   O k u b o ,   T o k y o   1 6 9 8 5 5 5 ,   J a p a n . 	 y e f e n g @ d c l . i n f o . w a s e d a . a c . j p ;   v i l i . l e h d o n v i r t a @ h i i t . f i ;   a l e x a n d r o v a @ a o n i . w a s e d a . j p ;   t a t s u o @ d c l . i n f o . w a s e d a . a c . j p 	 	 	 	 	 A d a m i c   L . A . ,   2 0 0 8 ,   P   1 7   I N T   W O R L D   W I D   W ;   A d a r   E . ,   2 0 0 0 ,   1   M O N D A Y ,   V 5 ,   P 1 0 ;   A n t i n   J . ,   2 0 0 8 ,   D I R E C T I O N S   I M P L I C A T I ,   p D I A C ;   A r a s e   Y . ,   2 0 0 9 ,   W W W   0 9 ;   B e n a b o u   R ,   2 0 0 3 ,   R E V   E C O N   S T U D ,   V 7 0 ,   P 4 8 9 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 9 3 7 X . 0 0 2 5 3 ;   C h a n d l e r a   D . ,   2 0 1 0 ,   U   C H I C A G O   W   I N   P R E S S ;   C h e s h i r e   C ,   2 0 0 8 ,   J   C O M P U T - M E D I A T   C O M M ,   V 1 3 ,   P 7 0 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 0 8 3 - 6 1 0 1 . 2 0 0 8 . 0 0 4 1 6 . x ;   D e c i   E .   L ,   1 9 8 5 ,   P E R S P E C T I V E S   S O C I A L ;   D e c i   E .   L . ,   1 9 9 6 ,   W H Y   W E   D O   W H A T   W E   D O ;   E a g l e   N . ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   P 4 4 7 ;   F r e i   B . ,   2 0 0 9 ,   C U R R E N T ;   F u j i s a w a   H . ,   2 0 0 8 ,   P A T T E R N   R E C O G N ,   V 4 1 ,   P 8 ;   H a r i t a o g l u   I . ,   2 0 0 1 ,   P   U B   2 0 0 1   I N T   C   U B   C ;   H o r o w i t z   D . ,   2 0 1 0 ,   P   1 9   I N T   C   W O R L D   W I D ,   P 4 3 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 7 2 6 9 0 . 1 7 7 2 7 3 5 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   P 1 4 0 6 ;   H s u e h   P - Y ,   2 0 0 9 ,   P   N A A C L   H L T   2 0 0 9   W O R ;   J u d g e   T K ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 6 5 5 ;   K o g a   M . ,   2 0 0 5 ,   I C D A R   0 5 ,   P 6 3 5 ;   K r a u s e   M . ,   2 0 1 0 ,   H C O M P   1 0 ;   L A T A N E   B ,   1 9 7 9 ,   J   P E R S   S O C   P S Y C H O L ,   V 3 7 ,   P 8 2 2 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 2 - 3 5 1 4 . 3 7 . 6 . 8 2 2 ;   L i u   Y . ,   2 0 1 0 ,   M U M   1 0 ;   M a c D o n a l d   C . ,   2 0 0 6 ,   P   1 5   A C M   I N T   C   I N F   K ;   M o c k u s   A ,   2 0 0 2 ,   A C M   T   S O F T W   E N G   M E T H ,   V 1 1 ,   P 3 0 9 ,   D O I   1 0 . 1 1 4 5 / 5 6 7 7 9 3 . 5 6 7 7 9 5 ;   M o r r i s   M R ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 1 7 3 9 ;   N a k a j i m a   H . ,   2 0 0 5 ,   P   A C L   2 0 0 5   I N T   P O S T ;   N i e l s e n   J . ,   2 0 1 1 ,   R E C R U I T I N G   T E S T   P A R T ;   R e k i m o t o   J . ,   2 0 0 1 ,   F O U N D A M E N T A L S   W E A R A B ;   R o s s   J . ,   2 0 1 0 ,   C H I   E A   1 0 ;   v o n   A h n   L ,   2 0 0 7 ,   K - C A P ' 0 7 :   P R O C E E D I N G S   O F   T H E   F O U R T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   K N O W L E D G E   C A P T U R E ,   P 5 ;   v o n   A h n   L ,   2 0 0 6 ,   C O M P U T E R ,   V 3 9 ,   P 9 2 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 6 . 1 9 6 ;   Y a n   T . ,   2 0 1 0 ,   P   8   I N T   C   M O B   S Y S T   A ;   Z A J O N C   R B ,   1 9 6 5 ,   S C I E N C E ,   V 1 4 9 ,   P 2 6 9 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 4 9 . 3 6 8 1 . 2 6 9 ;   Z i c h e r m a n n   G a b e ,   2 0 1 0 ,   G A M E   B A S E D   M A R K E T I N G ;   Z y d a   M ,   2 0 0 5 ,   C O M P U T E R ,   V 3 8 ,   P 2 5 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 5 . 2 9 7 	 3 4 	 0 	 0 	 S P R I N G E R 	 N E W   Y O R K 	 2 3 3   S P R I N G   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 3   U S A 	 0 9 4 2 - 4 9 6 2 	 	 	 M U L T I M E D I A   S Y S T 	 M u l t i m e d i a   S y s t . 	 F E B 	 2 0 1 2 	 1 8 	 1 	 	 	 S I 	 	 5 3 	 6 7 	 	 1 0 . 1 0 0 7 / s 0 0 5 3 0 - 0 1 1 - 0 2 4 2 - 0 	 	 1 5 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 8 8 1 W N 	 W O S : 0 0 0 2 9 9 5 2 2 2 0 0 0 0 5 	 	 
 J 	 D e l   G r a t t a ,   R ;   F r o n t i n i ,   F ;   R u b i n o ,   F ;   R u s s o ,   I ;   C a l z o l a r i ,   N 	 	 C a l z o l a r i ,   N ;   C h o u k r i ,   K ;   D e c l e r c k ,   T ;   D o g a n ,   M U ;   M a e g a a r d ,   B ;   M a r i a n i ,   J ;   O d i j k ,   J ;   P i p e r i d i s ,   S 	 	 D e l   G r a t t a ,   R i c c a r d o ;   F r o n t i n i ,   F r a n c e s c a ;   R u b i n o ,   F r a n c e s c o ;   R u s s o ,   I r e n e ;   C a l z o l a r i ,   N i c o l e t t a 	 	 	 T h e   L a n g u a g e   L i b r a r y :   s u p p o r t i n g   c o m m u n i t y   e f f o r t   f o r   c o l l e c t i v e   r e s o u r c e   p r o d u c t i o n 	 L R E C   2 0 1 2   -   E I G H T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   L A N G U A G E   R E S O U R C E S   A N D   E V A L U A T I O N 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 8 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   L a n g u a g e   R e s o u r c e s   a n d   E v a l u a t i o n   ( L R E C ) 	 M A Y   2 1 - 2 7 ,   2 0 1 2 	 I s t a n b u l ,   T U R K E Y 	 N u a n c e ,   C E L I   L a n g u a g e   &   I n f o r m a t   T e c h n o l ,   E u r o p e a n   M e d i a   L a b   G m b H   ( E M L ) ,   I M M I ,   M E T A - N e t ,   Q u a e r o ,   K - d i c t i o n a r i e s 	 	 a n n o t a t i o n ;   m e t a d a t a ;   s c i e n t i f i c   c r o w d s o u r c i n g 	 	 R e l a t i o n s   a m o n g   p h e n o m e n a   a t   d i f f e r e n t   l i n g u i s t i c   l e v e l s   a r e   a t   t h e   e s s e n c e   o f   l a n g u a g e   p r o p e r t i e s   b u t   t o d a y   w e   f o c u s   m o s t l y   o n   o n e   s p e c i f i c   l i n g u i s t i c   l a y e r   a t   a   t i m e ,   w i t h o u t   ( h a v i n g   t h e   p o s s i b i l i t y   o f )   p a y i n g   a t t e n t i o n   t o   t h e   r e l a t i o n s   a m o n g   t h e   d i f f e r e n t   l a y e r s .   A t   t h e   s a m e   t i m e   o u r   e f f o r t s   a r e   t o o   m u c h   s c a t t e r e d   w i t h o u t   m u c h   p o s s i b i l i t y   o f   e x p l o i t i n g   o t h e r   p e o p l e ' s   a c h i e v e m e n t s .   T o   a d d r e s s   t h e   c o m p l e x i t i e s   h i d d e n   i n   m u l t i l a y e r   i n t e r r e l a t i o n s   e v e n   s m a l l   a m o u n t s   o f   p r o c e s s e d   d a t a   c a n   b e   u s e f u l ,   i m p r o v i n g   t h e   p e r f o r m a n c e   o f   c o m p l e x   s y s t e m s .   E x p l o i t i n g   t h e   c u r r e n t   t r e n d   t o w a r d s   s h a r i n g   w e   w a n t   t o   i n i t i a t e   a   c o l l e c t i v e   m o v e m e n t   t h a t   w o r k s   t o w a r d s   c r e a t i n g   s y n e r g i e s   a n d   h a r m o n i s a t i o n   a m o n g   d i f f e r e n t   a n n o t a t i o n   e f f o r t s   t h a t   a r e   n o w   d i s p e r s e d .   I n   t h i s   p a p e r   w e   p r e s e n t   t h e   g e n e r a l   a r c h i t e c t u r e   o f   t h e   L a n g u a g e   L i b r a r y ,   a n   i n i t i a t i v e   w h i c h   i s   c o n c e i v e d   a s   a   f a c i l i t y   f o r   g a t h e r i n g   a n d   m a k i n g   a v a i l a b l e   t h r o u g h   s i m p l e   f u n c t i o n a l i t i e s   t h e   l i n g u i s t i c   k n o w l e d g e   t h e   f i e l d   i s   a b l e   t o   p r o d u c e ,   p u t t i n g   i n   p l a c e   n e w   w a y s   o f   c o l l a b o r a t i o n   w i t h i n   t h e   L R T   c o m m u n i t y .   I n   o r d e r   t o   r e a c h   t h i s   g o a l ,   a   f i r s t   p o p u l a t i o n   r o u n d   o f   t h e   L a n g u a g e   L i b r a r y   h a s   s t a r t e d   a r o u n d   a   c o r e   o f   p a r a l l e l / c o m p a r a b l e   t e x t s   t h a t   h a v e   b e e n   a n n o t a t e d   b y   s e v e r a l   c o n t r i b u t o r s   s u b m i t t i n g   a   p a p e r   f o r   L R E C 2 0 1 2 .   T h e   L a n g u a g e   L i b r a r y   h a s   a l s o   a n   a n c i l l a r y   a i m   r e l a t e d   t o   l a n g u a g e   d o c u m e n t a t i o n   a n d   a r c h i v i n g   a n d   i t   i s   c o n c e i v e d   a s   a   t h e o r y - n e u t r a l   s p a c e   w h i c h   a l l o w s   f o r   s e v e r a l   l a n g u a g e   p r o c e s s i n g   p h i l o s o p h i e s   t o   c o e x i s t . 	 [ D e l   G r a t t a ,   R i c c a r d o ;   F r o n t i n i ,   F r a n c e s c a ;   R u b i n o ,   F r a n c e s c o ;   R u s s o ,   I r e n e ;   C a l z o l a r i ,   N i c o l e t t a ]   C N R ,   I L C   C N R ,   P i s a ,   I t a l y 	 	 r i c c a r d o . d e l g r a t t a @ i l c . c n r . i t ;   f r a n c e s c a . f r o n t i n i @ i l c . c n r . i t ;   f r a n c e s c o . r u b i n o @ i l c . c n r . i t ;   i r e n e . r u s s o @ i l c . c n r . i t ;   n i c o l e t t a . c a l z o l a r i @ i l c . c n r . i t 	 	 	 	 	 A b n e y   S . ,   2 0 1 0 ,   P   4 8   A N N   M   A S S   C O M P ,   P 8 8 ;   B i r d   S t e v e n ,   2 0 0 3 ,   C O R R ;   K a m a t   A m o l ,   2 0 0 5 ,   M E T A D A T A   S E A R C H   E N G I ;   M a p e l l i   V a l e r i e ,   2 0 1 1 ,   P   W O R K S H   L A N G   R E S   T E ,   P 8 4 ;   T a p i a s   D a n i e l ,   2 0 1 0 ,   P   7   C   I N T   L A N G   R E S   E 	 5 	 0 	 0 	 E U R O P E A N   L A N G U A G E   R E S O U R C E S   A S S O C - E L R A 	 P A R I S 	 5 5 - 5 7 ,   R U E   B R I L L A T - S A V A R I N ,   P A R I S ,   7 5 0 1 3 ,   F R A N C E 	 	 	 9 7 8 - 2 - 9 5 1 7 4 0 8 - 7 - 7 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 4 3 	 4 9 	 	 	 	 7 	 L i n g u i s t i c s ;   L a n g u a g e   &   L i n g u i s t i c s 	 L i n g u i s t i c s 	 B G R 9 5 	 W O S : 0 0 0 3 2 3 9 2 7 7 0 0 0 0 8 	 	 
 J 	 S c h a r l ,   A ;   S a b o u ,   M ;   G i n d l ,   S ;   R a f e l s b e r g e r ,   W ;   W e i c h s e l b r a u n ,   A 	 	 C a l z o l a r i ,   N ;   C h o u k r i ,   K ;   D e c l e r c k ,   T ;   D o g a n ,   M U ;   M a e g a a r d ,   B ;   M a r i a n i ,   J ;   O d i j k ,   J ;   P i p e r i d i s ,   S 	 	 S c h a r l ,   A r n o ;   S a b o u ,   M a r t a ;   G i n d l ,   S t e f a n ;   R a f e l s b e r g e r ,   W a l t e r ;   W e i c h s e l b r a u n ,   A l b e r t 	 	 	 L e v e r a g i n g   t h e   W i s d o m   o f   t h e   C r o w d s   f o r   t h e   A c q u i s i t i o n   o f   M u l t i l i n g u a l   L a n g u a g e   R e s o u r c e s 	 L R E C   2 0 1 2   -   E I G H T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   L A N G U A G E   R E S O U R C E S   A N D   E V A L U A T I O N 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 8 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   L a n g u a g e   R e s o u r c e s   a n d   E v a l u a t i o n   ( L R E C ) 	 M A Y   2 1 - 2 7 ,   2 0 1 2 	 I s t a n b u l ,   T U R K E Y 	 N u a n c e ,   C E L I   L a n g u a g e   &   I n f o r m a t   T e c h n o l ,   E u r o p e a n   M e d i a   L a b   G m b H   ( E M L ) ,   I M M I ,   M E T A - N e t ,   Q u a e r o ,   K - d i c t i o n a r i e s 	 	 c r o w d s o u r c i n g ;   l a n g u a g e   r e s o u r c e   a c q u i s i t i o n ;   s e n t i m e n t   d e t e c t i o n 	 	 G a m e s   w i t h   a   p u r p o s e   a r e   a n   i n c r e a s i n g l y   p o p u l a r   m e c h a n i s m   f o r   l e v e r a g i n g   t h e   w i s d o m   o f   t h e   c r o w d s   t o   a d d r e s s   t a s k s   w h i c h   a r e   t r i v i a l   f o r   h u m a n s   b u t   s t i l l   n o t   s o l v a b l e   b y   c o m p u t e r   a l g o r i t h m s   i n   a   s a t i s f y i n g   m a n n e r .   A s   a   n o v e l   m e c h a n i s m   f o r   s t r u c t u r i n g   h u m a n - c o m p u t e r   i n t e r a c t i o n s ,   a   k e y   c h a l l e n g e   w h e n   c r e a t i n g   t h e m   i s   m o t i v a t i n g   u s e r s   t o   p a r t i c i p a t e   w h i l e   g e n e r a t i n g   u s e f u l   a n d   u n b i a s e d   r e s u l t s .   T h i s   p a p e r   f o c u s e s   o n   i m p o r t a n t   d e s i g n   c h o i c e s   a n d   s u c c e s s   f a c t o r s   o f   e f f e c t i v e   g a m e s   w i t h   a   p u r p o s e .   O u r   f i n d i n g s   a r e   b a s e d   o n   l e s s o n s   l e a r n e d   w h i l e   d e v e l o p i n g   a n d   d e p l o y i n g   S e n t i m e n t   Q u i z ,   a   c r o w d s o u r c i n g   a p p l i c a t i o n   f o r   c r e a t i n g   s e n t i m e n t   l e x i c o n s   ( a n   e s s e n t i a l   c o m p o n e n t   o f   m o s t   s e n t i m e n t   d e t e c t i o n   a l g o r i t h m s ) .   W e   d e s c r i b e   t h e   g o a l s   a n d   s t r u c t u r e   o f   t h e   g a m e ,   t h e   u n d e r l y i n g   a p p l i c a t i o n   f r a m e w o r k ,   t h e   s e n t i m e n t   l e x i c o n s   g a t h e r e d   t h r o u g h   c r o w d s o u r c i n g ,   a s   w e l l   a s   a   n o v e l   a p p r o a c h   t o   a u t o m a t i c a l l y   e x t e n d   t h e   l e x i c o n s   b y   m e a n s   o f   a   b o o t s t r a p p i n g   p r o c e s s .   S u c h   a n   a u t o m a t e d   e x t e n s i o n   f u r t h e r   i n c r e a s e s   t h e   e f f i c i e n c y   o f   t h e   a c q u i s i t i o n   p r o c e s s   b y   l i m i t i n g   t h e   n u m b e r   o f   t e r m s   t h a t   n e e d   t o   b e   g a t h e r e d   f r o m   t h e   g a m e   p a r t i c i p a n t s . 	 [ S c h a r l ,   A r n o ;   S a b o u ,   M a r t a ;   G i n d l ,   S t e f a n ]   M O D U L   U n i v   V i e n n a ,   D e p t   N e w   M e d i a   T e c h n o l ,   A - 1 1 9 0   V i e n n a ,   A u s t r i a 	 	 a r n o . s c h a r l @ m o d u l . a c . a t ;   m a r t a . s a b o u @ m o d u l . a c . a t ;   s t e f a n . g i n d l @ m o d u l . a c . a t ;   w a l t e r @ r a f e l s b e r g e r . a t ;   a l b e r t . w e i c h s e l b r a u n @ h t w c h u r . c h 	 W e i c h s e l b r a u n ,   A l b e r t / C - 3 8 3 2 - 2 0 1 4 	 W e i c h s e l b r a u n ,   A l b e r t / 0 0 0 0 - 0 0 0 1 - 6 3 9 9 - 0 4 5 X 	 	 	 A h n   L .   V . ,   2 0 0 8 ,   C O M M U N   A C M ,   V 5 1 ,   P 5 8 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 7 8 7 0 4 . 1 3 7 8 7 1 9 ;   A h n   L . v . ,   2 0 0 6 ,   C O M P U T E R ,   V 3 9 ,   P 9 2 ,   D O I   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 6 . 1 9 6 ;   C a l z o l a r i   N . ,   2 0 1 0 ,   I N T   C   L A N G   R E S   E V   L R ;   G i n d l   S . ,   2 0 1 1 ,   2 0   A C M   C   I N F   K N O W L   M ,   P 1 0 5 3 ;   G i o r a   R . ,   1 9 9 6 ,   J   P R A G M A T I C S ,   V 2 7 ,   P 1 7 ;   R a f e l s b e r g e r   W ,   2 0 0 9 ,   2 0 T H   A C M   C O N F E R E N C E   O N   H Y P E R T E X T   A N D   H Y P E R M E D I A   ( H Y P E R T E X T   2 0 0 9 ) ,   P 1 9 3 ;   S C H A R L   A ,   2 0 0 8 ,   J   I N F   T E C H N O L ,   V 5 ,   P 1 2 1 ;   S e g a r a n   T ,   2 0 0 7 ,   P R O G R A M M I N G   C O L L E C T I ;   S i o r p a e s   K ,   2 0 0 8 ,   I E E E   I N T E L L   S Y S T ,   V 2 3 ,   P 5 0 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 0 8 . 4 5 ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A 	 1 0 	 0 	 0 	 E U R O P E A N   L A N G U A G E   R E S O U R C E S   A S S O C - E L R A 	 P A R I S 	 5 5 - 5 7 ,   R U E   B R I L L A T - S A V A R I N ,   P A R I S ,   7 5 0 1 3 ,   F R A N C E 	 	 	 9 7 8 - 2 - 9 5 1 7 4 0 8 - 7 - 7 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 3 7 9 	 3 8 3 	 	 	 	 5 	 L i n g u i s t i c s ;   L a n g u a g e   &   L i n g u i s t i c s 	 L i n g u i s t i c s 	 B G R 9 5 	 W O S : 0 0 0 3 2 3 9 2 7 7 0 0 0 6 2 	 	 
 J 	 K u n c h u k u t t a n ,   A ;   R o y ,   S ;   P a t e l ,   P ;   L a d h a ,   K ;   G u p t a ,   S ;   K h a p r a ,   M ;   B h a t t a c h a r y y a ,   P 	 	 C a l z o l a r i ,   N ;   C h o u k r i ,   K ;   D e c l e r c k ,   T ;   D o g a n ,   M U ;   M a e g a a r d ,   B ;   M a r i a n i ,   J ;   O d i j k ,   J ;   P i p e r i d i s ,   S 	 	 K u n c h u k u t t a n ,   A n o o p ;   R o y ,   S h o u r y a ;   P a t e l ,   P r a t i k ;   L a d h a ,   K u s h a l ;   G u p t a ,   S o m y a ;   K h a p r a ,   M i t e s h ;   B h a t t a c h a r y y a ,   P u s h p a k 	 	 	 E x p e r i e n c e s   i n   R e s o u r c e   G e n e r a t i o n   f o r   M a c h i n e   T r a n s l a t i o n   t h r o u g h   C r o w d s o u r c i n g 	 L R E C   2 0 1 2   -   E I G H T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   L A N G U A G E   R E S O U R C E S   A N D   E V A L U A T I O N 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 8 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   L a n g u a g e   R e s o u r c e s   a n d   E v a l u a t i o n   ( L R E C ) 	 M A Y   2 1 - 2 7 ,   2 0 1 2 	 I s t a n b u l ,   T U R K E Y 	 N u a n c e ,   C E L I   L a n g u a g e   &   I n f o r m a t   T e c h n o l ,   E u r o p e a n   M e d i a   L a b   G m b H   ( E M L ) ,   I M M I ,   M E T A - N e t ,   Q u a e r o ,   K - d i c t i o n a r i e s 	 	 c r o w d s o u r c i n g ;   m a c h i n e   t r a n s l a t i o n ;   p a r a l l e l   c o r p o r a 	 	 T h e   l o g i s t i c s   o f   c o l l e c t i n g   r e s o u r c e s   f o r   M a c h i n e   T r a n s l a t i o n   ( M T )   h a s   a l w a y s   b e e n   a   c a u s e   o f   c o n c e r n   f o r   s o m e   o f   t h e   r e s o u r c e   d e p r i v e d   l a n g u a g e s   o f   t h e   w o r l d .   T h e   r e c e n t   a d v e n t   o f   c r o w d s o u r c i n g   p l a t f o r m s   p r o v i d e s   a n   o p p o r t u n i t y   t o   e x p l o r e   t h e   l a r g e   s c a l e   g e n e r a t i o n   o f   r e s o u r c e s   f o r   M T .   H o w e v e r ,   b e f o r e   v e n t u r i n g   i n t o   t h i s   m o d e   o f   r e s o u r c e   c o l l e c t i o n ,   i t   i s   i m p o r t a n t   t o   u n d e r s t a n d   t h e   v a r i o u s   f a c t o r s   s u c h   a s ,   t a s k   d e s i g n ,   c r o w d   m o t i v a t i o n ,   q u a l i t y   c o n t r o l ,   e t c .   w h i c h   c a n   i n f l u e n c e   t h e   s u c c e s s   o f   s u c h   a   c r o w d   s o u r c i n g   v e n t u r e .   I n   t h i s   p a p e r ,   w e   p r e s e n t   o u r   e x p e r i e n c e s   b a s e d   o n   a   s e r i e s   o f   e x p e r i m e n t s   p e r f o r m e d .   T h i s   i s   a n   a t t e m p t   t o   p r o v i d e   a   h o l i s t i c   v i e w   o f   t h e   d i f f e r e n t   f a c e t s   o f   t r a n s l a t i o n   c r o w d   s o u r c i n g   a n d   i d e n t i f y i n g   k e y   c h a l l e n g e s   w h i c h   n e e d   t o   b e   a d d r e s s e d   f o r   b u i l d i n g   a   p r a c t i c a l   c r o w d s o u r c i n g   s o l u t i o n   f o r   M T . 	 [ K u n c h u k u t t a n ,   A n o o p ;   L a d h a ,   K u s h a l ;   G u p t a ,   S o m y a ;   K h a p r a ,   M i t e s h ;   B h a t t a c h a r y y a ,   P u s h p a k ]   I n d i a n   I n s t   T e c h n o l ,   D e p t   C o m p   S c i   &   E n g n ,   B o m b a y ,   M a h a r a s h t r a ,   I n d i a 	 	 a n o o p k @ c s e . i i t b . a c . i n ;   S h o u r y a . R o y @ x e r o x . c o m ;   p r a t i k p a t 8 8 @ g m a i l . c o m ;   k u s h @ c s e . i i t b . a c . i n ;   s o m y a @ c s e . i i t b . a c . i n ;   m i t e s h k @ c s e . i i t b . a c . i n ;   p b @ c s e . i i t b . a c . i n 	 	 	 	 	 A m b a t i   V a m s h i ,   2 0 1 0 ,   L A N G U A G E   R E S O U R C E S   E ,   P 1 1 ;   A m b a t i   V a m s h i ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ;   C a l l i s o n - B u r c h   C h r i s ,   2 0 0 9 ,   P   2 0 0 9   C   E M P   M E T H   N A ,   V 1 ;   C a l l i s o n - B u r c h   C h r i s ,   2 0 1 1 ,   P   N A A C L   H L T   2 0 1 0   W O R ;   C a l l i s o n - B u r c h   C h r i s ,   2 0 0 6 ,   P   E A C L   2 0 0 6 ;   C a l l i s o n - B u r c h   C h r i s ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ;   D a b b i s h   L a u r a ,   2 0 0 8 ,   C O M M U N   A C M ;   G a o   Q i n ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ;   G a o   Q i n ,   2 0 1 0 ,   P   J O I N T   5   W O R K S H   S T A ;   H a c k e r   S e v e r i n ,   2 0 0 9 ,   P   2 7   I N T   C   H U M   F A C T ;   H u   C h a n g ,   2 0 1 0 ,   P   G R A P H   I N T   2 0 1 0 ;   M u n r o   R . ,   2 0 1 0 ,   A M T A   W O R K S H   C O L L   C R O ;   N e g r i   M a t t e o ,   2 0 1 0 ,   P   N A A C L   2 0 1 0   W O R K S H ;   O ' H a g a n   M i n a k o ,   2 0 0 9 ,   J   I N T   L O C A L I S A T I O N ;   R o s s   J o e l ,   2 0 1 0 ,   P   2 8   I N T   C   H U M   F A C T ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ;   S u   Q . ,   2 0 0 7 ,   P   1 6   I N T   C   W O R L D   W I D ;   V i c k r e y   D a v i d ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ;   V o n   A h n   L . ,   2 0 0 6 ,   C O M P U T E R ,   V 3 9 ;   v o n   A h n   L ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T 	 2 0 	 0 	 0 	 E U R O P E A N   L A N G U A G E   R E S O U R C E S   A S S O C - E L R A 	 P A R I S 	 5 5 - 5 7 ,   R U E   B R I L L A T - S A V A R I N ,   P A R I S ,   7 5 0 1 3 ,   F R A N C E 	 	 	 9 7 8 - 2 - 9 5 1 7 4 0 8 - 7 - 7 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 3 8 4 	 3 9 1 	 	 	 	 8 	 L i n g u i s t i c s ;   L a n g u a g e   &   L i n g u i s t i c s 	 L i n g u i s t i c s 	 B G R 9 5 	 W O S : 0 0 0 3 2 3 9 2 7 7 0 0 0 6 3 	 	 
 J 	 F i l a t o v a ,   E 	 	 C a l z o l a r i ,   N ;   C h o u k r i ,   K ;   D e c l e r c k ,   T ;   D o g a n ,   M U ;   M a e g a a r d ,   B ;   M a r i a n i ,   J ;   O d i j k ,   J ;   P i p e r i d i s ,   S 	 	 F i l a t o v a ,   E l e n a 	 	 	 I r o n y   a n d   S a r c a s m :   C o r p u s   G e n e r a t i o n   a n d   A n a l y s i s   U s i n g   C r o w d s o u r c i n g 	 L R E C   2 0 1 2   -   E I G H T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   L A N G U A G E   R E S O U R C E S   A N D   E V A L U A T I O N 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 8 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   L a n g u a g e   R e s o u r c e s   a n d   E v a l u a t i o n   ( L R E C ) 	 M A Y   2 1 - 2 7 ,   2 0 1 2 	 I s t a n b u l ,   T U R K E Y 	 N u a n c e ,   C E L I   L a n g u a g e   &   I n f o r m a t   T e c h n o l ,   E u r o p e a n   M e d i a   L a b   G m b H   ( E M L ) ,   I M M I ,   M E T A - N e t ,   Q u a e r o ,   K - d i c t i o n a r i e s 	 	 s a r c a s m ;   c o r p u s ;   p r o d u c t   r e v i e w s 	 P R E T E N S E   T H E O R Y 	 T h e   a b i l i t y   t o   r e l i a b l y   i d e n t i f y   s a r c a s m   a n d   i r o n y   i n   t e x t   c a n   i m p r o v e   t h e   p e r f o r m a n c e   o f   m a n y   N a t u r a l   L a n g u a g e   P r o c e s s i n g   ( N L P )   s y s t e m s   i n c l u d i n g   s u m m a r i z a t i o n ,   s e n t i m e n t   a n a l y s i s ,   e t c .   T h e   e x i s t i n g   s a r c a s m   d e t e c t i o n   s y s t e m s   h a v e   f o c u s e d   o n   i d e n t i f y i n g   s a r c a s m   o n   a   s e n t e n c e   l e v e l   o r   f o r   a   s p e c i f i c   p h r a s e .   H o w e v e r ,   o f t e n   i t   i s   i m p o s s i b l e   t o   i d e n t i f y   a   s e n t e n c e   c o n t a i n i n g   s a r c a s m   w i t h o u t   k n o w i n g   t h e   c o n t e x t .   I n   t h i s   p a p e r   w e   d e s c r i b e   a   c o r p u s   g e n e r a t i o n   e x p e r i m e n t   w h e r e   w e   c o l l e c t   r e g u l a r   a n d   s a r c a s t i c   A m a z o n   p r o d u c t   r e v i e w s .   W e   p e r f o r m   q u a l i t a t i v e   a n d   q u a n t i t a t i v e   a n a l y s i s   o f   t h e   c o r p u s .   T h e   r e s u l t i n g   c o r p u s   c a n   b e   u s e d   f o r   i d e n t i f y i n g   s a r c a s m   o n   t w o   l e v e l s :   a   d o c u m e n t   a n d   a   t e x t   u t t e r a n c e   ( w h e r e   a   t e x t   u t t e r a n c e   c a n   b e   a s   s h o r t   a s   a   s e n t e n c e   a n d   a s   l o n g   a s   a   w h o l e   d o c u m e n t ) . 	 [ F i l a t o v a ,   E l e n a ]   F o r d h a m   U n i v ,   D e p t   C o m p   &   I n f o r m a t   S c i ,   B r o n x ,   N Y   1 0 4 5 8   U S A 	 	 f i l a t o v a @ c i s . f o r d h a m . e d u 	 	 	 	 	 B r o o k e   J u l i a n ,   2 0 0 9 ,   P   A C M   C   I N F   K N O W L   M A ;   C a l l i s o n - B u r c h   C . ,   2 0 1 0 ,   P   N A A C L   W O R K S H   C R E A T ;   C a r v a l h o   P . ,   2 0 0 9 ,   P   1   I N T   C I K M   W O R K S H ,   P 5 3 ,   D O I   1 0 . 1 1 4 5 / 1 6 5 1 4 6 1 . 1 6 5 1 4 7 1 ;   C L A R K   H H ,   1 9 8 4 ,   J   E X P   P S Y C H O L   G E N ,   V 1 1 3 ,   P 1 2 1 ,   D O I   1 0 . 1 0 3 7 / 0 0 9 6 - 3 4 4 5 . 1 1 3 . 1 . 1 2 1 ;   C r e u s e r e   M A ,   1 9 9 9 ,   D E V   R E V ,   V 1 9 ,   P 2 1 3 ,   D O I   1 0 . 1 0 0 6 / d r e v . 1 9 9 8 . 0 4 7 4 ;   D a v i d o v   D m i t r y ,   2 0 1 0 ,   P   C O M P   N A T   L A N G   L E A R ;   D E W S   S ,   1 9 9 5 ,   M E T A P H O R   S Y M B   A C T ,   V 1 0 ,   P 3 ,   D O I   1 0 . 1 2 0 7 / s 1 5 3 2 7 8 6 8 m s 1 0 0 1 _ 2 ;   D r e s s   M L ,   2 0 0 8 ,   J   L A N G   S O C   P S Y C H O L ,   V 2 7 ,   P 7 1 ,   D O I   1 0 . 1 1 7 7 / 0 2 6 1 9 2 7 X 0 7 3 0 9 5 1 2 ;   G h o s e   A n i n d y a ,   2 0 0 7 ,   P   4 5   A N N   M   A S S   C O M P ;   G o n z a l e z - I b a n e z   R . ,   2 0 1 1 ,   P   4 9   A N N   M   A S S   C O M P ,   V 2 ,   P 5 8 1 ;   G r i c e   P a u l ,   1 9 7 5 ,   S Y N T A X   S E M A N T I C S ,   V 3 ,   P 4 1 ;   H u   M . ,   2 0 0 4 ,   P   1 0   A C M   S I G K D D   I N T ,   P 1 6 8 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 0 1 4 0 5 2 . 1 0 1 4 0 7 3 ;   I p e i r o t i s   P a n a g i o t i s ,   2 0 1 0 ,   P   2   K D D   H U M   C O M P   W O R ;   K r e u z   R o g e r ,   2 0 0 7 ,   P   N A A C L   W O R K S H   C O M P ;   K U M O N N A K A M U R A   S ,   1 9 9 5 ,   J   E X P   P S Y C H O L   G E N ,   V 1 2 4 ,   P 3 ,   D O I   1 0 . 1 0 3 7 / / 0 0 9 6 - 3 4 4 5 . 1 2 4 . 1 . 3 ;   L I T T M A N   D C ,   1 9 9 1 ,   J   P R A G M A T I C S ,   V 1 5 ,   P 1 3 1 ,   D O I   1 0 . 1 0 1 6 / 0 3 7 8 - 2 1 6 6 ( 9 1 ) 9 0 0 5 7 - 5 ;   L U C A R I E L L O   J ,   1 9 9 4 ,   J   E X P   P S Y C H O L   G E N ,   V 1 2 3 ,   P 1 2 9 ,   D O I   1 0 . 1 0 3 7 / 0 0 9 6 - 3 4 4 5 . 1 2 3 . 2 . 1 2 9 ;   M u e c k e   D o u g l a s   C o l i n ,   1 9 7 0 ,   C R I T I C A L   I D I O M ,   V 1 3 ;   M y e r s   A l i c e   R . ,   1 9 7 7 ,   S T U D I E S   L A N G U A G E   V A R ,   P 1 7 1 ;   N a k a s s i s   C o n s t a n t i n e ,   P   2 6   B O S T   U   C   L A N G   D ;   N u n b e r g   G . ,   2 0 0 1 ,   W A Y   W E   T A L K   N O W   C O M M ;   P a n g   B o ,   2 0 0 8 ,   O P I N I O N   M I N I N G   S E N T I ,   V 2 ;   P a o l a c c i   G . ,   2 0 1 0 ,   J U D G M E N T   D E C I S I O N   M A ,   V 5 ;   P o p e s c u   A .   M . ,   2 0 0 5 ,   P   H L T   E M N L P ,   V 5 ,   P 3 3 9 ;   S a r m e n t o   L u i s ,   2 0 0 9 ,   A U T O M A T I C   C R E A T I O N   R ;   S p e r b e r   D a n ,   1 9 8 1 ,   R A D I C A L   P R A G M A T I C S ,   P 2 9 5 ;   T e p p e r m a n   J ,   2 0 0 6 ,   I N T E R S P E E C H   2 0 0 6   A N D   9 T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   S P O K E N   L A N G U A G E   P R O C E S S I N G ,   V O L S   1 - 5 ,   P 1 8 3 8 ;   T s u r   O r e n ,   2 0 1 0 ,   P   A A A I   C   W E B L   S O C   M E ;   U t s u m i   A ,   1 9 9 6 ,   P   1 6   C   C O M P   L I N G ,   P 9 6 2 ;   W i e b e   J ,   2 0 0 4 ,   C O M P U T   L I N G U I S T ,   V 3 0 ,   P 2 7 7 ,   D O I   1 0 . 1 1 6 2 / 0 8 9 1 2 0 1 0 4 1 8 5 0 8 8 5 ;   W i l s o n   D . ,   2 0 0 4 ,   H D B   P R A G M A T I C S ,   P 6 0 7 	 3 1 	 0 	 0 	 E U R O P E A N   L A N G U A G E   R E S O U R C E S   A S S O C - E L R A 	 P A R I S 	 5 5 - 5 7 ,   R U E   B R I L L A T - S A V A R I N ,   P A R I S ,   7 5 0 1 3 ,   F R A N C E 	 	 	 9 7 8 - 2 - 9 5 1 7 4 0 8 - 7 - 7 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 3 9 2 	 3 9 8 	 	 	 	 7 	 L i n g u i s t i c s ;   L a n g u a g e   &   L i n g u i s t i c s 	 L i n g u i s t i c s 	 B G R 9 5 	 W O S : 0 0 0 3 2 3 9 2 7 7 0 0 0 6 4 	 	 
 J 	 M a r u j o ,   L ;   G e r s h m a n ,   A ;   C a r b o n e l l ,   J ;   F r e d e r k i n g ,   R ;   N e t o ,   J P 	 	 C a l z o l a r i ,   N ;   C h o u k r i ,   K ;   D e c l e r c k ,   T ;   D o g a n ,   M U ;   M a e g a a r d ,   B ;   M a r i a n i ,   J ;   O d i j k ,   J ;   P i p e r i d i s ,   S 	 	 M a r u j o ,   L u i s ;   G e r s h m a n ,   A n a t o l e ;   C a r b o n e l l ,   J a i m e ;   F r e d e r k i n g ,   R o b e r t ;   N e t o ,   J o a o   P . 	 	 	 S u p e r v i s e d   T o p i c a l   K e y   P h r a s e   E x t r a c t i o n   o f   N e w s   S t o r i e s   u s i n g   C r o w d s o u r c i n g ,   L i g h t   F i l t e r i n g   a n d   C o - r e f e r e n c e   N o r m a l i z a t i o n 	 L R E C   2 0 1 2   -   E I G H T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   L A N G U A G E   R E S O U R C E S   A N D   E V A L U A T I O N 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 8 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   L a n g u a g e   R e s o u r c e s   a n d   E v a l u a t i o n   ( L R E C ) 	 M A Y   2 1 - 2 7 ,   2 0 1 2 	 I s t a n b u l ,   T U R K E Y 	 N u a n c e ,   C E L I   L a n g u a g e   &   I n f o r m a t   T e c h n o l ,   E u r o p e a n   M e d i a   L a b   G m b H   ( E M L ) ,   I M M I ,   M E T A - N e t ,   Q u a e r o ,   K - d i c t i o n a r i e s 	 	 A u t o m a t i c   K e y   P h r a s e   E x t r a c t i o n ;   S e m a n t i c   F e a t u r e s ;   P r e - P r o c e s s i n g 	 	 F a s t   a n d   e f f e c t i v e   a u t o m a t e d   i n d e x i n g   i s   c r i t i c a l   f o r   s e a r c h   a n d   p e r s o n a l i z e d   s e r v i c e s .   K e y   p h r a s e s   t h a t   c o n s i s t   o f   o n e   o r   m o r e   w o r d s   a n d   r e p r e s e n t   t h e   m a i n   c o n c e p t s   o f   t h e   d o c u m e n t   a r e   o f t e n   u s e d   f o r   t h e   p u r p o s e   o f   i n d e x i n g .   I n   t h i s   p a p e r ,   w e   i n v e s t i g a t e   t h e   u s e   o f   a d d i t i o n a l   s e m a n t i c   f e a t u r e s   a n d   p r e - p r o c e s s i n g   s t e p s   t o   i m p r o v e   a u t o m a t i c   k e y   p h r a s e   e x t r a c t i o n .   T h e s e   f e a t u r e s   i n c l u d e   t h e   u s e   o f   s i g n a l   w o r d s   a n d   f r e e b a s e   c a t e g o r i e s .   S o m e   o f   t h e s e   f e a t u r e s   l e a d   t o   s i g n i f i c a n t   i m p r o v e m e n t s   i n   t h e   a c c u r a c y   o f   t h e   r e s u l t s .   W e   a l s o   e x p e r i m e n t e d   w i t h   2   f o r m s   o f   d o c u m e n t   p r e - p r o c e s s i n g   t h a t   w e   c a l l   l i g h t   f i l t e r i n g   a n d   c o - r e f e r e n c e   n o r m a l i z a t i o n .   L i g h t   f i l t e r i n g   r e m o v e s   s e n t e n c e s   f r o m   t h e   d o c u m e n t ,   w h i c h   a r e   j u d g e d   p e r i p h e r a l   t o   i t s   m a i n   c o n t e n t .   C o - r e f e r e n c e   n o r m a l i z a t i o n   u n i f i e s   s e v e r a l   w r i t t e n   f o r m s   o f   t h e   s a m e   n a m e d   e n t i t y   i n t o   a   u n i q u e   f o r m .   W e   a l s o   n e e d e d   a   " G o l d   S t a n d a r d "   -   a   s e t   o f   l a b e l e d   d o c u m e n t s   f o r   t r a i n i n g   a n d   e v a l u a t i o n .   W h i l e   t h e   s u b j e c t i v e   n a t u r e   o f   k e y   p h r a s e   s e l e c t i o n   p r e c l u d e s   a   t r u e   " G o l d   S t a n d a r d " ,   w e   u s e d   A m a z o n ' s   M e c h a n i c a l   T u r k   s e r v i c e   t o   o b t a i n   a   u s e f u l   a p p r o x i m a t i o n .   O u r   d a t a   i n d i c a t e s   t h a t   t h e   b i g g e s t   i m p r o v e m e n t s   i n   p e r f o r m a n c e   w e r e   d u e   t o   s h a l l o w   s e m a n t i c   f e a t u r e s ,   n e w s   c a t e g o r i e s ,   a n d   r h e t o r i c a l   s i g n a l s   ( n D C G   7 8 . 4 7 %   v s .   6 8 . 9 3 % ) .   T h e   i n c l u s i o n   o f   d e e p e r   s e m a n t i c   f e a t u r e s   s u c h   a s   F r e e b a s e   s u b - c a t e g o r i e s   w a s   n o t   b e n e f i c i a l   b y   i t s e l f ,   b u t   i n   c o m b i n a t i o n   w i t h   p r e - p r o c e s s i n g ,   d i d   c a u s e   s l i g h t   i m p r o v e m e n t s   i n   t h e   n D C G   s c o r e s . 	 	 	 L u i s . M a r u j o @ i n e s c - i d . p t ;   a n a t o l e g @ c s . c m u . e d u ;   j g c @ c s . c m u . e d u ;   r e f @ c s . c m u . e d u ;   J o a o . N e t o @ i n e s c - i d . p t 	 	 	 	 	 B r e i m a n   L ,   1 9 9 6 ,   M A C H   L E A R N ,   V 2 4 ,   P 1 2 3 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 1 8 0 5 4 3 1 4 3 5 0 ;   G u t h r i e   D . ,   2 0 1 0 ,   P   L R E C   1 0   V A L L   M A L T ;   J a r v e l i n   K . ,   1 9 9 6 ,   P   2 3   A N N   I N T   A C M   S I G ,   P 4 1 ;   M a r u j o   L . ,   2 0 1 1 ,   P   1 2   A N N   C   I N T   S P E E C ;   Q u i n l a n   J . ,   1 9 9 4 ,   M A C H   L E A R N ,   V 1 6 ,   P 2 3 5 ;   R i b e i r o   R . ,   2 0 1 1 ,   J   A R T I F I C I A L   I N T E L L I ;   S A L T O N   G ,   1 9 7 5 ,   J   A M   S O C   I N F O R M   S C I ,   V 2 6 ,   P 3 3 ,   D O I   1 0 . 1 0 0 2 / a s i . 4 6 3 0 2 6 0 1 0 6 ;   S h a h   R . ,   2 0 1 1 ,   P   S   M A C H   L E A R N   S P E E C ;   T o u t a n o v a   K ,   2 0 0 3 ,   P   H L T   N A A C L ,   P 2 5 2 ;   W i t t e n   I H ,   1 9 9 9 ,   P   4   A C M   C   D I G   L I B ,   P 2 5 4 ,   D O I   1 0 . 1 1 4 5 / 3 1 3 2 3 8 . 3 1 3 4 3 7 	 1 0 	 0 	 0 	 E U R O P E A N   L A N G U A G E   R E S O U R C E S   A S S O C - E L R A 	 P A R I S 	 5 5 - 5 7 ,   R U E   B R I L L A T - S A V A R I N ,   P A R I S ,   7 5 0 1 3 ,   F R A N C E 	 	 	 9 7 8 - 2 - 9 5 1 7 4 0 8 - 7 - 7 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 3 9 9 	 4 0 3 	 	 	 	 5 	 L i n g u i s t i c s ;   L a n g u a g e   &   L i n g u i s t i c s 	 L i n g u i s t i c s 	 B G R 9 5 	 W O S : 0 0 0 3 2 3 9 2 7 7 0 0 0 6 5 	 	 
 J 	 E o m ,   S ;   D i c k i n s o n ,   M ;   K a t z ,   G 	 	 C a l z o l a r i ,   N ;   C h o u k r i ,   K ;   D e c l e r c k ,   T ;   D o g a n ,   M U ;   M a e g a a r d ,   B ;   M a r i a n i ,   J ;   O d i j k ,   J ;   P i p e r i d i s ,   S 	 	 E o m ,   S o o j e o n g ;   D i c k i n s o n ,   M a r k u s ;   K a t z ,   G r a h a m 	 	 	 U s i n g   s e m i - e x p e r t s   t o   d e r i v e   j u d g m e n t s   o n   w o r d   s e n s e   a l i g n m e n t :   a   p i l o t   s t u d y 	 L R E C   2 0 1 2   -   E I G H T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   L A N G U A G E   R E S O U R C E S   A N D   E V A L U A T I O N 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 8 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   L a n g u a g e   R e s o u r c e s   a n d   E v a l u a t i o n   ( L R E C ) 	 M A Y   2 1 - 2 7 ,   2 0 1 2 	 I s t a n b u l ,   T U R K E Y 	 N u a n c e ,   C E L I   L a n g u a g e   &   I n f o r m a t   T e c h n o l ,   E u r o p e a n   M e d i a   L a b   G m b H   ( E M L ) ,   I M M I ,   M E T A - N e t ,   Q u a e r o ,   K - d i c t i o n a r i e s 	 	 w o r d   s e n s e   a l i g n m e n t ;   c r o w d s o u r c i n g ;   e v a l u a t i o n ;   W o r d N e t ;   C O B U I L D 	 	 T h e   o v e r a l l   g o a l   o f   t h i s   p r o j e c t   i s   t o   e v a l u a t e   t h e   p e r f o r m a n c e   o f   w o r d   s e n s e   a l i g n m e n t   ( W S A )   s y s t e m s ,   f o c u s i n g   o n   o b t a i n i n g   e x a m p l e s   a p p r o p r i a t e   t o   l a n g u a g e   l e a r n e r s .   B u i l d i n g   a   g o l d   s t a n d a r d   d a t a s e t   b a s e d   o n   h u m a n   e x p e r t   j u d g m e n t s   i s   c o s t l y   i n   t i m e   a n d   l a b o r ,   a n d   t h u s   w e   g a u g e   t h e   u t i l i t y   o f   u s i n g   s e m i - e x p e r t s   i n   p e r f o r m i n g   t h e   a n n o t a t i o n .   I n   a n   o n l i n e   s u r v e y ,   w e   p r e s e n t   a   s e n s e   o f   a   t a r g e t   w o r d   f r o m   o n e   d i c t i o n a r y   w i t h   s e n s e s   f r o m   t h e   o t h e r   d i c t i o n a r y ,   a s k i n g   f o r   j u d g m e n t s   o f   r e l a t e d n e s s .   W e   n o t e   t h e   d i f f i c u l t y   o f   a g r e e m e n t ,   y e t   t h e   u t i l i t y   i n   u s i n g   s u c h   r e s u l t s   t o   e v a l u a t e   W S A   w o r k .   W e   f i n d   t h a t   o n e ' s   t r e a t m e n t   o f   r e l a t e d   s e n s e s   h e a v i l y   i m p a c t s   t h e   r e s u l t s   f o r   W S A . 	 G e o r g e t o w n   U n i v ,   W a s h i n g t o n ,   D C   2 0 0 5 7   U S A 	 	 s e 4 8 @ g e o r g e t o w n . e d u ;   m d 7 @ i n d i a n a . e d u ;   e g k 7 @ g e o r g e t o w n . e d u 	 	 	 	 	 A t k i n s   S u e ,   1 9 9 3 ,   A C T A   L I N G U I S T   H U N G A R ,   V 4 1 ,   P 5 ;   E s k e n a z i   M . ,   2 0 0 6 ,   P   9   I N T   C   S P O K   L A N G ;   F e l l b a u m   C . ,   1 9 9 8 ,   W O R D N E T   E L E C T   L E X I C A ;   G a y l o r d   N . ,   2 0 0 9 ,   P   J O I N T   C   4 7   A N N   M   A ,   V 1 ,   P 1 0 ,   D O I   1 0 . 3 1 1 5 / 1 6 8 7 8 7 8 . 1 6 8 7 8 8 2 ;   G u r e v y c h   I r y n a ,   2 0 1 1 ,   P   5   I N T   J O I N T   C   N A T ,   P 8 8 3 ;   G u r e v y c h   I r y n a ,   2 0 1 0 ,   P   1   W O R K S H   A U T   K N O W L ,   P 2 4 ;   H o a n g   C o n g   D u y   V u ,   2 0 0 9 ,   L A N G U A G E   R E S O U R C E S   E ;   K o l h a t k a r   V a r a d a ,   2 0 0 9 ,   P   N   A M   C H A P T   A S S   C O M ;   K w o n g   O i   Y e e ,   1 9 9 8 ,   P   W O R K S H   U S   W O R D N E T ,   P 7 3 ;   L A N D I S   J R ,   1 9 7 7 ,   B I O M E T R I C S ,   V 3 3 ,   P 1 5 9 ,   D O I   1 0 . 2 3 0 7 / 2 5 2 9 3 1 0 ;   L u k   S t e v e   K . ,   1 9 9 4 ,   P   A A A I   9 4   S E A T T L ;   M c C a r t h y   D i a n a ,   2 0 0 9 ,   P   2 0 0 9   C   E M P   M E T H   N A ,   P 4 4 0 ;   M u   n o z   R a f a e l ,   2 0 0 9 ,   P   R A N L P   0 9   B O R   B U L G ;   N a v i g l i   R . ,   2 0 1 0 ,   P   4 8   A N N   M   A S S   C O M P ,   P 2 1 6 ;   N a v i g l i   R ,   2 0 0 9 ,   A C M   C O M P U T   S U R V ,   V 4 1 ,   D O I   1 0 . 1 1 4 5 / 1 4 5 9 3 5 2 . 1 4 5 9 3 5 5 ;   N a v i g l i   R . ,   2 0 0 7 ,   P   4   I N T   W O R K S H   S E M   E ,   P 3 0 ,   D O I   1 0 . 3 1 1 5 / 1 6 2 1 4 7 4 . 1 6 2 1 4 8 0 ;   N a v i g l i   R o b e r t o ,   2 0 0 6 ,   P   L R E C   2 0 0 6   G E N ;   N g   A n d r e w   Y . ,   2 0 0 8 ,   P   E M N L P   0 8 ;   N i e m a n n   E l i s a b e t h ,   2 0 1 1 ,   P   I N T   C   C O M P   S E M   I W C ,   P 2 0 5 ;   P u r t o n e n   T a n j a ,   2 0 1 1 ,   P   D E P L I N G   1 1   B A R C ;   R o s e n z w e i g   J o s e p h ,   2 0 0 0 ,   P   L R E C   0 0   A T H ;   R o z o v s k a y a   A l l a ,   2 0 1 1 ,   P   4 9   A N N   M   A S S   C O M P ,   P 5 0 8 ;   R u i z - C a s a d o   M ,   2 0 0 5 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 5 2 8 ,   P 3 8 0 ;   S c h u t z e   H i n r i c h ,   2 0 1 1 ,   P   E M N L P   2   E D ;   S i n c l a i r   J . ,   2 0 0 6 ,   C O L L I N S   C O B U I L D   A D V ;   S m i t   P e t r a ,   1 9 9 6 ,   P   C O L I N G   9 6 ;   S t e v e n s o n   M a r k ,   2 0 1 0 ,   P   A A A I   W O R K S H   C O L L   B ,   P 4 8 ;   S z p a k o w i c z   S t a n ,   2 0 0 1 ,   P   W O R K S H   W O R D N E T   O T H ;   V e r o n i s   J e a n ,   1 9 9 0 ,   P   6   A N N   C   U W   C T R   N E W ,   P 5 2 	 2 9 	 0 	 0 	 E U R O P E A N   L A N G U A G E   R E S O U R C E S   A S S O C - E L R A 	 P A R I S 	 5 5 - 5 7 ,   R U E   B R I L L A T - S A V A R I N ,   P A R I S ,   7 5 0 1 3 ,   F R A N C E 	 	 	 9 7 8 - 2 - 9 5 1 7 4 0 8 - 7 - 7 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 6 0 5 	 6 1 1 	 	 	 	 7 	 L i n g u i s t i c s ;   L a n g u a g e   &   L i n g u i s t i c s 	 L i n g u i s t i c s 	 B G R 9 5 	 W O S : 0 0 0 3 2 3 9 2 7 7 0 0 0 9 7 	 	 
 J 	 A k e r ,   A ;   E l - H a j ,   M ;   A l b a k o u r ,   M D ;   K r u s c h w i t z ,   U 	 	 C a l z o l a r i ,   N ;   C h o u k r i ,   K ;   D e c l e r c k ,   T ;   D o g a n ,   M U ;   M a e g a a r d ,   B ;   M a r i a n i ,   J ;   O d i j k ,   J ;   P i p e r i d i s ,   S 	 	 A k e r ,   A h m e t ;   E l - H a j ,   M a h m o u d ;   A l b a k o u r ,   M - D y a a ;   K r u s c h w i t z ,   U d o 	 	 	 A s s e s s i n g   C r o w d s o u r c i n g   Q u a l i t y   t h r o u g h   O b j e c t i v e   T a s k s 	 L R E C   2 0 1 2   -   E I G H T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   L A N G U A G E   R E S O U R C E S   A N D   E V A L U A T I O N 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 8 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   L a n g u a g e   R e s o u r c e s   a n d   E v a l u a t i o n   ( L R E C ) 	 M A Y   2 1 - 2 7 ,   2 0 1 2 	 I s t a n b u l ,   T U R K E Y 	 N u a n c e ,   C E L I   L a n g u a g e   &   I n f o r m a t   T e c h n o l ,   E u r o p e a n   M e d i a   L a b   G m b H   ( E M L ) ,   I M M I ,   M E T A - N e t ,   Q u a e r o ,   K - d i c t i o n a r i e s 	 	 M e c h a n i c a l   T u r k ;   O b j e c t i v e   M e t r i c s ;   E v a l u a t i o n 	 	 T h e   e m e r g e n c e   o f   c r o w d s o u r c i n g   a s   a   c o m m o n l y   u s e d   a p p r o a c h   t o   c o l l e c t   v a s t   q u a n t i t i e s   o f   h u m a n   a s s e s s m e n t s   o n   a   v a r i e t y   o f   t a s k s   r e p r e s e n t s   n o t h i n g   l e s s   t h a n   a   p a r a d i g m   s h i f t .   T h i s   i s   p a r t i c u l a r l y   t r u e   i n   a c a d e m i c   r e s e a r c h   w h e r e   i t   h a s   s u d d e n l y   b e c o m e   p o s s i b l e   t o   c o l l e c t   ( h i g h - q u a l i t y )   a n n o t a t i o n s   r a p i d l y   w i t h o u t   t h e   n e e d   o f   a n   e x p e r t .   I n   t h i s   p a p e r   w e   i n v e s t i g a t e   f a c t o r s   w h i c h   c a n   i n f l u e n c e   t h e   q u a l i t y   o f   t h e   r e s u l t s   o b t a i n e d   t h r o u g h   A m a z o n ' s   M e c h a n i c a l   T u r k   c r o w d s o u r c i n g   p l a t f o r m .   W e   i n v e s t i g a t e d   t h e   i m p a c t   o f   d i f f e r e n t   p r e s e n t a t i o n   m e t h o d s   ( f r e e   t e x t   v e r s u s   r a d i o   b u t t o n s ) ,   w o r k e r s '   b a s e   ( U S A   v e r s u s   I n d i a   a s   t h e   m a i n   b a s e s   o f   M T u r k   w o r k e r s )   a n d   p a y m e n t   s c a l e   ( a b o u t   $ 4 ,   $ 8   a n d   $ 1 0   p e r   h o u r )   o n   t h e   q u a l i t y   o f   t h e   r e s u l t s .   F o r   e a c h   r u n   w e   a s s e s s e d   t h e   r e s u l t s   p r o v i d e d   b y   2 5   w o r k e r s   o n   a   s e t   o f   1 0   t a s k s .   W e   r u n   t w o   d i f f e r e n t   e x p e r i m e n t s   u s i n g   o b j e c t i v e   t a s k s :   m a t h s   a n d   g e n e r a l   t e x t   q u e s t i o n s .   I n   b o t h   t a s k s   t h e   a n s w e r s   a r e   u n i q u e ,   w h i c h   e l i m i n a t e s   t h e   u n c e r t a i n t y   u s u a l l y   p r e s e n t   i n   s u b j e c t i v e   t a s k s ,   w h e r e   i t   i s   n o t   c l e a r   w h e t h e r   t h e   u n e x p e c t e d   a n s w e r   i s   c a u s e d   b y   a   l a c k   o f   w o r k e r ' s   m o t i v a t i o n ,   t h e   w o r k e r ' s   i n t e r p r e t a t i o n   o f   t h e   t a s k   o r   g e n u i n e   a m b i g u i t y .   I n   t h i s   w o r k   w e   p r e s e n t   o u r   r e s u l t s   c o m p a r i n g   t h e   i n f l u e n c e   o f   t h e   d i f f e r e n t   f a c t o r s   u s e d .   O n e   o f   t h e   i n t e r e s t i n g   f i n d i n g s   i s   t h a t   o u r   r e s u l t s   d o   n o t   c o n f i r m   p r e v i o u s   s t u d i e s   w h i c h   c o n c l u d e d   t h a t   a n   i n c r e a s e   i n   p a y m e n t   a t t r a c t s   m o r e   n o i s e .   W e   a l s o   f i n d   t h a t   t h e   c o u n t r y   o f   o r i g i n   o n l y   h a s   a n   i m p a c t   i n   s o m e   o f   t h e   c a t e g o r i e s   a n d   o n l y   i n   g e n e r a l   t e x t   q u e s t i o n s   b u t   t h e r e   i s   n o   s i g n i f i c a n t   d i f f e r e n c e   a t   t h e   t o p   p a y . 	 [ A k e r ,   A h m e t ]   U n i v   S h e f f i e l d ,   D e p t   C o m p   S c i ,   S h e f f i e l d   S 1 0   2 T N ,   S   Y o r k s h i r e ,   E n g l a n d 	 	 a . a k e r @ d c s . s h e f . a c . u k ;   m e l h a j @ e s s e x . a c . u k ;   m a l b a k @ e s s e x . a c . u k ;   u d o @ e s s e x . a c . u k 	 	 	 	 	 A l b a k o u r   M D ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 1 0 7 ,   P 6 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 3 0 8 4 - 7 _ 2 ;   A l o n s o   O m a r ,   2 0 0 8 ,   S I G I R   F o r u m ,   V 4 2 ,   D O I   1 0 . 1 1 4 5 / 1 4 8 0 5 0 6 . 1 4 8 0 5 0 8 ;   A l o n s o   O m a r ,   2 0 0 9 ,   S I G I R   0 9 ;   B h a r d w a j   V i k a s ,   2 0 1 0 ,   P   4   L I N G   A N N   W O R K S H ,   P 4 7 ;   C h a m b e r l a i n   J o n ,   2 0 0 8 ,   P   I   S E M ;   D a k k a   W ,   2 0 0 8 ,   P R O C   I N T   C O N F   D A T A ,   P 4 6 6 ,   D O I   1 0 . 1 1 0 9 / I C D E . 2 0 0 8 . 4 4 9 7 4 5 5 ;   D o n m e z   P ,   2 0 0 9 ,   K D D - 0 9 :   1 5 T H   A C M   S I G K D D   C O N F E R E N C E   O N   K N O W L E D G E   D I S C O V E R Y   A N D   D A T A   M I N I N G ,   P 2 5 9 ;   E l - H a j   M a h m o u d ,   2 0 1 0 ,   P   L A N G   R E S   E V   C   W O R K ,   P 3 6 ;   F e n g   D . ,   2 0 0 9 ,   P   2 0 0 9   W O R K S H   P E O P L ,   P 5 1 ,   D O I   1 0 . 3 1 1 5 / 1 6 9 9 7 6 5 . 1 6 9 9 7 7 3 ;   F o r t   K a r e n ,   2 0 1 1 ,   C O M P U T A T I O N A L   L I N G U I ;   I p e i r o t i s   P ,   2 0 1 0 ,   D E M O G R A P H I C S   M E C H   T U ;   K a i s s e r   M ,   2 0 0 8 ,   P   6   I N T   L A N G   R E S   E V ;   K a i s s e r   M i c h a e l ,   2 0 0 8 ,   I M P R O V I N G   S E A R C H   R E S ;   K a z a i   G ,   2 0 0 9 ,   P R O C E E D I N G S   3 2 N D   A N N U A L   I N T E R N A T I O N A L   A C M   S I G I R   C O N F E R E N C E   O N   R E S E A R C H   A N D   D E V E L O P M E N T   I N   I N F O R M A T I O N   R E T R I E V A L ,   P 4 5 2 ,   D O I   1 0 . 1 1 4 5 / 1 5 7 1 9 4 1 . 1 5 7 2 0 1 9 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   M a s o n   W . ,   2 0 1 0 ,   S I G K D D   E X P L O R   N E W S L ,   V 1 1 ,   P 1 0 0 ;   S n o w   R . ,   2 0 0 8 ,   E M N L P ,   P 2 5 4 ;   S o r o k i n   A . ,   2 0 0 8 ,   P   1   I E E E   W O R K S H   I N T ,   P 1 ;   S u   Q . ,   2 0 0 7 ,   P   1 6   I N T   C   W O R L D   W I D ,   P 2 3 1 ,   D O I   1 0 . 1 1 4 5 / 1 2 4 2 5 7 2 . 1 2 4 2 6 0 4 ;   T a n g   J Y ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 9 9 3 ,   P 1 7 9 ;   v o n   A h n   L u i s ,   2 0 0 6 ,   I E E E   C O M P U T E R   M A G A Z I ,   P 9 6 ;   W a i s   P . ,   2 0 1 0 ,   N I P S   W O R K S H   C O M P   S O C ;   Y a n g   Y i n ,   2 0 0 9 ,   P   2   A C M   I N T   C   W E B   S E ,   P 3 4 ,   D O I   1 0 . 1 1 4 5 / 1 4 9 8 7 5 9 . 1 4 9 8 8 0 6 ;   Z a i d a n   O . F . ,   2 0 1 1 ,   P   4 9   A N N   M   A S S   C O M P ,   P 1 2 2 0 	 2 4 	 0 	 0 	 E U R O P E A N   L A N G U A G E   R E S O U R C E S   A S S O C - E L R A 	 P A R I S 	 5 5 - 5 7 ,   R U E   B R I L L A T - S A V A R I N ,   P A R I S ,   7 5 0 1 3 ,   F R A N C E 	 	 	 9 7 8 - 2 - 9 5 1 7 4 0 8 - 7 - 7 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 1 4 5 6 	 1 4 6 1 	 	 	 	 6 	 L i n g u i s t i c s ;   L a n g u a g e   &   L i n g u i s t i c s 	 L i n g u i s t i c s 	 B G R 9 5 	 W O S : 0 0 0 3 2 3 9 2 7 7 0 1 0 8 9 	 	 
 J 	 E s k e v i c h ,   M ;   J o n e s ,   G J F ;   L a r s o n ,   M ;   O r d e l m a n ,   R 	 	 C a l z o l a r i ,   N ;   C h o u k r i ,   K ;   D e c l e r c k ,   T ;   D o g a n ,   M U ;   M a e g a a r d ,   B ;   M a r i a n i ,   J ;   O d i j k ,   J ;   P i p e r i d i s ,   S 	 	 E s k e v i c h ,   M a r i a ;   J o n e s ,   G a r e t h   J .   F . ;   L a r s o n ,   M a r t h a ;   O r d e l m a n ,   R o e l a n d 	 	 	 C r e a t i n g   a   D a t a   C o l l e c t i o n   f o r   E v a l u a t i n g   R i c h   S p e e c h   R e t r i e v a l 	 L R E C   2 0 1 2   -   E I G H T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   L A N G U A G E   R E S O U R C E S   A N D   E V A L U A T I O N 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 8 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   L a n g u a g e   R e s o u r c e s   a n d   E v a l u a t i o n   ( L R E C ) 	 M A Y   2 1 - 2 7 ,   2 0 1 2 	 I s t a n b u l ,   T U R K E Y 	 N u a n c e ,   C E L I   L a n g u a g e   &   I n f o r m a t   T e c h n o l ,   E u r o p e a n   M e d i a   L a b   G m b H   ( E M L ) ,   I M M I ,   M E T A - N e t ,   Q u a e r o ,   K - d i c t i o n a r i e s 	 	 S p e e c h   S e a r c h ;   S p e e c h   C o l l e c t i o n   C r e a t i o n ;   S p e e c h   R e t r i e v a l ;   C r o w d s o u r c i n g 	 	 W e   d e s c r i b e   t h e   d e v e l o p m e n t   o f   a   t e s t   c o l l e c t i o n   f o r   t h e   i n v e s t i g a t i o n   o f   s p e e c h   r e t r i e v a l   b e y o n d   i d e n t i f i c a t i o n   o f   r e l e v a n t   c o n t e n t .   T h i s   c o l l e c t i o n   f o c u s e s   o n   s a t i s f y i n g   u s e r   i n f o r m a t i o n   n e e d s   f o r   q u e r i e s   a s s o c i a t e d   w i t h   s p e c i f i c   t y p e s   o f   s p e e c h   a c t s .   T h e   c o l l e c t i o n   i s   b a s e d   o n   a n   a r c h i v e   o f   t h e   I n t e r n e t   v i d e o   f r o m   I n t e r n e t   v i d e o   s h a r i n g   p l a t f o r m   ( b l i p . t v ) ,   a n d   w a s   p r o v i d e d   b y   t h e   M e d i a E v a l   b e n c h m a r k i n g   i n i t i a t i v e .   A   c r o w d s o u r c i n g   a p p r o a c h   w a s   u s e d   t o   i d e n t i f y   s e g m e n t s   i n   t h e   v i d e o   d a t a   w h i c h   c o n t a i n   s p e e c h   a c t s ,   t o   c r e a t e   a   d e s c r i p t i o n   o f   t h e   v i d e o   c o n t a i n i n g   t h e   a c t   a n d   t o   g e n e r a t e   s e a r c h   q u e r i e s   d e s i g n e d   t o   r e f i n d   t h i s   s p e e c h   a c t .   W e   d e s c r i b e   a n d   r e f l e c t   o n   o u r   e x p e r i e n c e s   w i t h   c r o w d s o u r c i n g   t h i s   t e s t   c o l l e c t i o n   u s i n g   t h e   A m a z o n   M e c h a n i c a l   T u r k   p l a t f o r m .   W e   h i g h l i g h t   t h e   c h a l l e n g e s   o f   c o n s t r u c t i n g   t h i s   d a t a s e t ,   i n c l u d i n g   t h e   s e l e c t i o n   o f   t h e   d a t a   s o u r c e ,   d e s i g n   o f   t h e   c r o w d s o u r i n g   t a s k   a n d   t h e   s p e c i f i c a t i o n   o f   q u e r i e s   a n d   r e l e v a n t   i t e m s . 	 [ E s k e v i c h ,   M a r i a ;   J o n e s ,   G a r e t h   J .   F . ]   D u b l i n   C i t y   U n i v ,   C t r   D i g i t a l   V i d e o   P r o c ,   S c h   C o m p ,   D u b l i n   9 ,   I r e l a n d 	 	 m e s k e v i c h @ c o m p u t i n g . d c u . i e ;   g j o n e s @ c o m p u t i n g . d c u . i e ;   m . a . l a r s o n @ t u d e l f t . n l ;   r o e l a n d . o r d e l m a n @ u t w e n t e . n l 	 L a r s o n ,   M a r t h a / E - 9 9 8 3 - 2 0 1 4 	 	 	 	 A l o n s o   O m a r ,   2 0 0 8 ,   S I G I R   F o r u m ,   V 4 2 ,   D O I   1 0 . 1 1 4 5 / 1 4 8 0 5 0 6 . 1 4 8 0 5 0 8 ;   C a l l i s o n - B u r c h   C . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 ;   E v a n i n i   K . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 5 3 ;   G a r o f o l o   J . S . ,   2 0 0 0 ,   P   R I A O   2 0 0 0   C O N T   B A S ,   P 1 ;   G r a d y   C . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 7 2 ;   L a m e l   L ,   2 0 0 8 ,   L E C T   N O T E S   A R T I F   I N T ,   V 5 2 2 1 ,   P 4 ;   L a n e   I a n ,   2 0 1 0 ,   P   N A A C L   H L T ,   P 1 8 4 ;   L a r s o n   M ,   2 0 1 1 ,   P   M E D I A E V A L   2 0 1 1   W O R ,   V 8 0 7 ;   L a r s o n   M . ,   2 0 1 1 ,   P   1   A C M   I N T   C   M U L T   R ;   M a r g e   M ,   2 0 1 0 ,   I N T   C O N F   A C O U S T   S P E E ,   P 5 2 7 0 ,   D O I   1 0 . 1 1 0 9 / I C A S S P . 2 0 1 0 . 5 4 9 4 9 7 9 ;   P e c i n a   P ,   2 0 0 8 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 1 5 2 ,   P 6 7 4 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 8 5 7 6 0 - 0 _ 8 6 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   S U R O W I E C K I   J A M E S ,   2 0 0 4 ,   W I S D O M   C R O W D S 	 1 3 	 0 	 0 	 E U R O P E A N   L A N G U A G E   R E S O U R C E S   A S S O C - E L R A 	 P A R I S 	 5 5 - 5 7 ,   R U E   B R I L L A T - S A V A R I N ,   P A R I S ,   7 5 0 1 3 ,   F R A N C E 	 	 	 9 7 8 - 2 - 9 5 1 7 4 0 8 - 7 - 7 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 1 7 3 6 	 1 7 4 3 	 	 	 	 8 	 L i n g u i s t i c s ;   L a n g u a g e   &   L i n g u i s t i c s 	 L i n g u i s t i c s 	 B G R 9 5 	 W O S : 0 0 0 3 2 3 9 2 7 7 0 1 1 3 6 	 	 
 J 	 Z a r c o n e ,   A ;   R u d ,   S 	 	 C a l z o l a r i ,   N ;   C h o u k r i ,   K ;   D e c l e r c k ,   T ;   D o g a n ,   M U ;   M a e g a a r d ,   B ;   M a r i a n i ,   J ;   O d i j k ,   J ;   P i p e r i d i s ,   S 	 	 Z a r c o n e ,   A l e s s a n d r a ;   R u e d ,   S t e f a n 	 	 	 L o g i c a l   m e t o n y m i e s   a n d   q u a l i a   s t r u c t u r e s :   a n   a n n o t a t e d   d a t a b a s e   o f   l o g i c a l   m e t o n y m i e s   f o r   G e r m a n 	 L R E C   2 0 1 2   -   E I G H T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   L A N G U A G E   R E S O U R C E S   A N D   E V A L U A T I O N 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 8 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   L a n g u a g e   R e s o u r c e s   a n d   E v a l u a t i o n   ( L R E C ) 	 M A Y   2 1 - 2 7 ,   2 0 1 2 	 I s t a n b u l ,   T U R K E Y 	 N u a n c e ,   C E L I   L a n g u a g e   &   I n f o r m a t   T e c h n o l ,   E u r o p e a n   M e d i a   L a b   G m b H   ( E M L ) ,   I M M I ,   M E T A - N e t ,   Q u a e r o ,   K - d i c t i o n a r i e s 	 	 l o g i c a l   m e t o n y m y ;   q u a l i a ;   G e r m a n 	 	 L o g i c a l   m e t o n y m i e s   l i k e   T h e   a u t h o r   b e g a n   t h e   b o o k   i n v o l v e   t h e   i n t e r p r e t a t i o n   o f   e v e n t s   t h a t   a r e   n o t   r e a l i z e d   i n   t h e   s e n t e n c e   ( c o v e r t   e v e n t s :   - >   w r i t i n g   t h e   b o o k ) .   T h e   G e n e r a t i v e   L e x i c o n   ( P u s t e j o v s k y ,   1 9 9 5 )   p r o v i d e s   a   q u a l i a - b a s e d   a c c o u n t   o f   c o v e r t   e v e n t   i n t e r p r e t a t i o n ,   c l a i m i n g   t h a t   t h e   c o v e r t   e v e n t   i s   r e t r i e v e d   f r o m   t h e   q u a l i a   s t r u c t u r e   o f   t h e   o b j e c t .   S u c h   a   t h e o r y   p o s e s   t h e   q u e s t i o n   o f   t o   w h a t   e x t e n t   c o v e r t   e v e n t s   i n   l o g i c a l   m e t o n y m i e s   c a n   b e   a c c o u n t e d   f o r   b y   q u a l i a   s t r u c t u r e s .   B u i l d i n g   o n   p r e v i o u s   w o r k   o n   E n g l i s h ,   w e   p r e s e n t   a   c o r p u s   s t u d y   f o r   G e r m a n   v e r b s   ( a n f a n g e n   ( m i t ) ,   a u f h o r e n   ( m i t ) ,   b e e n d e n ,   b e g i n n e n   ( m i t ) ,   g e n i e s s e n ) ,   b a s e d   o n   d a t a   o b t a i n e d   f r o m   t h e   d e W a C   c o r p u s .   W e   b u i l t   a   c o r p u s   o f   l o g i c a l   m e t o n y m i e s ,   w h i c h   w e r e   m a n u a l l y   a n n o t a t e d   a n d   c o m p a r e d   w i t h   t h e   q u a l i a   s t r u c t u r e s   o f   t h e i r   o b j e c t s ,   t h e n   w e   c o n t r a s t e d   a n n o t a t i o n   r e s u l t s   f r o m   t w o   e x p e r t   a n n o t a t o r s   f o r   m e t o n y m i e s   ( T h e   a u t h o r   b e g a n   t h e   b o o k )   a n d   l o n g   f o r m s   ( T h e   a u t h o r   b e g a n   r e a d i n g   t h e   b o o k )   a c r o s s   v e r b s .   O u r   a n n o t a t i o n   w a s   e v a l u a t e d   o n   a   s a m p l e   o f   s e n t e n c e s   a n n o t a t e d   b y   a   g r o u p   o f   n a i v e   a n n o t a t o r s   o n   a   c r o w d s o u r c i n g   p l a t f o r m .   T h e   l o g i c a l   m e t o n y m y   d a t a b a s e   ( 2 6 6 1   m e t o n y m i e s   a n d   1 8 8 6   l o n g   f o r m s )   w i t h   t w o   e x p e r t   a n n o t a t i o n s   i s   f r e e l y   a v a i l a b l e   f o r   s c i e n t i f i c   r e s e a r c h   p u r p o s e s . 	 [ Z a r c o n e ,   A l e s s a n d r a ;   R u e d ,   S t e f a n ]   U n i v   S t u t t g a r t ,   I n s t   M a s c h i n e l l e   S p r a c h v e r a r b e i t u n g ,   D - 7 0 1 7 4   S t u t t g a r t ,   G e r m a n y 	 	 a l e s s a n d r a . z a r c o n e @ i m s . u n i - s t u t t g a r t . d e ;   r u e d s n @ s t u d e n t e n . i m s . u n i - s t u t t g a r t . d e 	 	 	 	 	 B a r o n i   M a r c o ,   2 0 0 8 ,   L A N G   R E S O U R   E V A L ,   V 4 3 ,   P 2 0 9 ;   B r i s c o e   T e d ,   1 9 9 0 ,   P   1 3   I N T   C   C O M P   L I N G ,   V 2 ,   P 4 2 ,   D O I   1 0 . 3 1 1 5 / 9 9 7 9 3 9 . 9 9 7 9 4 7 ;   E g g   M a r k u s ,   2 0 0 4 ,   M E T A P H O R I K ,   V 6 ,   P 3 7 ;   G r i c e   H .   P a u l ,   1 9 7 5 ,   S Y N T A X   S E M A N T I C S ,   V 3 ;   K r i p p e n d o r f f   K . ,   1 9 8 0 ,   C O N T E N T   A N A L ;   L a p a t a   M ,   2 0 0 3 ,   C O G N I T I V E   S C I ,   V 2 7 ,   P 6 4 9 ,   D O I   1 0 . 1 0 1 6 / S 0 3 6 4 - 0 2 1 3 ( 0 3 ) 0 0 0 3 5 - 1 ;   L a p a t a   M i r e l l a ,   2 0 0 3 ,   C O M P U T A T I O N A L   L I N G U I ,   V 2 9 ,   P 2 6 3 ;   L a s c a r i d e s   A ,   1 9 9 8 ,   J   L I N G U I S T ,   V 3 4 ,   P 3 8 7 ,   D O I   1 0 . 1 0 1 7 / S 0 0 2 2 2 2 6 7 9 8 0 0 7 0 8 7 ;   L e m n i t z e r   L o t h a r ,   2 0 0 2 ,   P   4   L A N G   R E S   E V   C ,   P 1 4 8 5 ;   P u s t e j o v s k y   J . ,   1 9 9 1 ,   C o m p u t a t i o n a l   L i n g u i s t i c s ,   V 1 7 ;   P u s t e j o v s k y   J . ,   1 9 9 5 ,   G E N E R A T I V E   L E X I C O N ;   R u d   S t e f a n ,   2 0 1 1 ,   P   M E T   2 0 1 1   W O R K S H   S E ;   S c h i e h l e n   M i c h a e l ,   2 0 0 4 ,   P   2 0   I N T   C   C O M P   L I N G ,   P 3 9 0 ,   D O I   1 0 . 3 1 1 5 / 1 2 2 0 3 5 5 . 1 2 2 0 4 1 1 ;   S c h m i d   H . ,   2 0 0 4 ,   P   2 0   I N T   C   C O M P   L I N G ,   P 1 6 2 ,   D O I   1 0 . 3 1 1 5 / 1 2 2 0 3 5 5 . 1 2 2 0 3 7 9 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   V e n d l e r   Z ,   1 9 6 8 ,   A D J E C T I V E S   N O M I N A L I Z ;   V e r s p o o r   C o r n e l i a   M a r i a ,   1 9 9 7 ,   T H E S I S   U   E D I N B U R G H ;   Z a r c o n e   A . ,   2 0 1 1 ,   P   3 3   A N N   C   C O G N   S C I ,   P 9 4 4 ;   Z a r c o n e   A l e s s a n d r a ,   2 0 1 0 ,   P   V E R B   2 0 1 0   W O R K S H   P 	 1 9 	 0 	 0 	 E U R O P E A N   L A N G U A G E   R E S O U R C E S   A S S O C - E L R A 	 P A R I S 	 5 5 - 5 7 ,   R U E   B R I L L A T - S A V A R I N ,   P A R I S ,   7 5 0 1 3 ,   F R A N C E 	 	 	 9 7 8 - 2 - 9 5 1 7 4 0 8 - 7 - 7 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 1 7 9 9 	 1 8 0 4 	 	 	 	 6 	 L i n g u i s t i c s ;   L a n g u a g e   &   L i n g u i s t i c s 	 L i n g u i s t i c s 	 B G R 9 5 	 W O S : 0 0 0 3 2 3 9 2 7 7 0 1 1 4 5 	 	 
 J 	 S t r a p p a r a v a ,   C ;   M i h a l c e a ,   R ;   B a t t o c c h i ,   A 	 	 C a l z o l a r i ,   N ;   C h o u k r i ,   K ;   D e c l e r c k ,   T ;   D o g a n ,   M U ;   M a e g a a r d ,   B ;   M a r i a n i ,   J ;   O d i j k ,   J ;   P i p e r i d i s ,   S 	 	 S t r a p p a r a v a ,   C a r l o ;   M i h a l c e a ,   R a d a ;   B a t t o c c h i ,   A l b e r t o 	 	 	 A   P a r a l l e l   C o r p u s   o f   M u s i c   a n d   L y r i c s   A n n o t a t e d   w i t h   E m o t i o n s 	 L R E C   2 0 1 2   -   E I G H T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   L A N G U A G E   R E S O U R C E S   A N D   E V A L U A T I O N 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 8 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   L a n g u a g e   R e s o u r c e s   a n d   E v a l u a t i o n   ( L R E C ) 	 M A Y   2 1 - 2 7 ,   2 0 1 2 	 I s t a n b u l ,   T U R K E Y 	 N u a n c e ,   C E L I   L a n g u a g e   &   I n f o r m a t   T e c h n o l ,   E u r o p e a n   M e d i a   L a b   G m b H   ( E M L ) ,   I M M I ,   M E T A - N e t ,   Q u a e r o ,   K - d i c t i o n a r i e s 	 	 e m o t i o n   r e c o g n i t i o n ;   m u l t i m o d a l   p r o c e s s i n g ;   m u s i c   a n a l y s i s 	 	 I n   t h i s   p a p e r ,   w e   i n t r o d u c e   a   n o v e l   p a r a l l e l   c o r p u s   o f   m u s i c   a n d   l y r i c s ,   a n n o t a t e d   w i t h   e m o t i o n s   a t   l i n e   l e v e l .   W e   f i r s t   d e s c r i b e   t h e   c o r p u s ,   c o n s i s t i n g   o f   1 0 0   p o p u l a r   s o n g s ,   e a c h   o f   t h e m   i n c l u d i n g   a   m u s i c   c o m p o n e n t ,   p r o v i d e d   i n   t h e   M I D I   f o r m a t ,   a s   w e l l   a s   a   l y r i c s   c o m p o n e n t ,   m a d e   a v a i l a b l e   a s   r a w   t e x t .   W e   t h e n   d e s c r i b e   o u r   w o r k   o n   e n h a n c i n g   t h i s   c o r p u s   w i t h   e m o t i o n   a n n o t a t i o n s   u s i n g   c r o w d s o u r c i n g .   W e   a l s o   p r e s e n t   s o m e   i n i t i a l   e x p e r i m e n t s   o n   e m o t i o n   c l a s s i f i c a t i o n   u s i n g   t h e   m u s i c   a n d   t h e   l y r i c s   r e p r e s e n t a t i o n s   o f   t h e   s o n g s ,   w h i c h   l e a d   t o   e n c o u r a g i n g   r e s u l t s ,   t h u s   d e m o n s t r a t i n g   t h e   p r o m i s e   o f   u s i n g   j o i n t   m u s i c - l y r i c   m o d e l s   f o r   s o n g   p r o c e s s i n g . 	 [ S t r a p p a r a v a ,   C a r l o ]   F B K   I r s t ,   T r e n t o ,   I t a l y 	 	 	 	 	 	 	 C a n o   P . ,   2 0 0 5 ,   P   M M   0 5   S I N G   N O V ;   C a t a l t e p e   Z . ,   2 0 0 7 ,   J   A D V   S I G N A L   P R O C E S S ;   E K M A N   P ,   1 9 9 3 ,   A M   P S Y C H O L ,   V 4 8 ,   P 3 8 4 ,   D O I   1 0 . 1 0 3 7 / / 0 0 0 3 - 0 6 6 X . 4 8 . 4 . 3 8 4 ;   I n e s t a   J . ,   2 0 0 6 ,   P   7   I N T   S   M U S   I N F   R E ,   P 6 1 ;   J o a c h i m s   T . ,   1 9 9 8 ,   P   1 0   E U R   C   M A C H   L E A R ,   V E C M L - 9 8 ,   P 1 3 7 ;   L e e   W . ,   2 0 0 9 ,   P   1 1   I E E E   S   M U L T ;   O r i o   N i c o l a ,   2 0 0 6 ,   F o u n d a t i o n s   a n d   T r e n d s   i n   I n f o r m a t i o n   R e t r i e v a l ,   V 1 ,   D O I   1 0 . 1 5 6 1 / 1 5 0 0 0 0 0 0 0 2 ;   R a m a k r i s h n a n   K . ,   2 0 0 7 ,   P   1 3   I N T   M U L T   M O D   C ;   S m i t h   S . ,   2 0 0 0 ,   O R G   S O U N D ,   V 5 ,   P 1 3 7 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ;   V a p n i k   V . ,   1 9 9 5 ,   N A T U R E   S T A T   L E A R N I N G ;   Y i n   J . ,   2 0 0 4 ,   P   M M   0 4   N E W   Y O R K   O C T 	 1 2 	 0 	 0 	 E U R O P E A N   L A N G U A G E   R E S O U R C E S   A S S O C - E L R A 	 P A R I S 	 5 5 - 5 7 ,   R U E   B R I L L A T - S A V A R I N ,   P A R I S ,   7 5 0 1 3 ,   F R A N C E 	 	 	 9 7 8 - 2 - 9 5 1 7 4 0 8 - 7 - 7 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 2 3 4 3 	 2 3 4 6 	 	 	 	 4 	 L i n g u i s t i c s ;   L a n g u a g e   &   L i n g u i s t i c s 	 L i n g u i s t i c s 	 B G R 9 5 	 W O S : 0 0 0 3 2 3 9 2 7 7 0 2 0 6 8 	 	 
 J 	 N e g r i ,   M ;   M e h d a d ,   Y ;   M a r c h e t t i ,   A ;   G i a m p i c c o l o ,   D ;   B e n t i v o g l i ,   L 	 	 C a l z o l a r i ,   N ;   C h o u k r i ,   K ;   D e c l e r c k ,   T ;   D o g a n ,   M U ;   M a e g a a r d ,   B ;   M a r i a n i ,   J ;   O d i j k ,   J ;   P i p e r i d i s ,   S 	 	 N e g r i ,   M a t t e o ;   M e h d a d ,   Y a s h a r ;   M a r c h e t t i ,   A l e s s a n d r o ;   G i a m p i c c o l o ,   D a n i l o ;   B e n t i v o g l i ,   L u i s a 	 	 	 C h i n e s e   W h i s p e r s :   C o o p e r a t i v e   P a r a p h r a s e   A c q u i s i t i o n 	 L R E C   2 0 1 2   -   E I G H T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   L A N G U A G E   R E S O U R C E S   A N D   E V A L U A T I O N 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 8 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   L a n g u a g e   R e s o u r c e s   a n d   E v a l u a t i o n   ( L R E C ) 	 M A Y   2 1 - 2 7 ,   2 0 1 2 	 I s t a n b u l ,   T U R K E Y 	 N u a n c e ,   C E L I   L a n g u a g e   &   I n f o r m a t   T e c h n o l ,   E u r o p e a n   M e d i a   L a b   G m b H   ( E M L ) ,   I M M I ,   M E T A - N e t ,   Q u a e r o ,   K - d i c t i o n a r i e s 	 	 C r o w d s o u r c i n g ;   P a r a p h r a s i n g ;   R e s o u r c e s 	 	 W e   p r e s e n t   a   f r a m e w o r k   f o r   t h e   a c q u i s i t i o n   o f   s e n t e n t i a l   p a r a p h r a s e s   b a s e d   o n   c r o w d s o u r c i n g .   T h e   p r o p o s e d   m e t h o d   m a x i m i z e s   t h e   l e x i c a l   d i v e r g e n c e   b e t w e e n   a n   o r i g i n a l   s e n t e n c e   s   a n d   i t s   v a l i d   p a r a p h r a s e s   b y   r u n n i n g   a   s e q u e n c e   o f   p a r a p h r a s i n g   j o b s   c a r r i e d   o u t   b y   a   c r o w d   o f   n o n - e x p e r t   w o r k e r s .   I n s t e a d   o f   c o l l e c t i n g   d i r e c t   p a r a p h r a s e s   o f   s ,   a t   e a c h   s t e p   o f   t h e   s e q u e n c e   w o r k e r s   m a n i p u l a t e   s e m a n t i c a l l y   e q u i v a l e n t   r e f o r m u l a t i o n s   p r o d u c e d   i n   t h e   p r e v i o u s   r o u n d .   W e   a p p l i e d   t h i s   m e t h o d   t o   p a r a p h r a s e   E n g l i s h   s e n t e n c e s   e x t r a c t e d   f r o m   W i k i p e d i a .   O u r   r e s u l t s   s h o w   t h a t ,   k e e p i n g   a t   e a c h   r o u n d   n   t h e   m o s t   p r o m i s i n g   p a r a p h r a s e s   ( i . e .   t h e   m o r e   l e x i c a l l y   d i s s i m i l a r   f r o m   t h o s e   a c q u i r e d   a t   r o u n d   n - 1 ) ,   t h e   m o n o t o n i c   i n c r e a s e   o f   d i v e r g e n c e   a l l o w s   t o   c o l l e c t   g o o d - q u a l i t y   p a r a p h r a s e s   i n   a   c o s t - e f f e c t i v e   m a n n e r . 	 [ N e g r i ,   M a t t e o ;   M e h d a d ,   Y a s h a r ;   B e n t i v o g l i ,   L u i s a ]   F B K   I r s t ,   P o v o ,   I t a l y 	 	 n e g r i @ f b k . e u ;   m e h d a d @ f b k . e u ;   a m a r c h e t t i @ c e l c t . i t ;   g i a m p i c c o l o @ c e l c t . i t ;   b e n t i v o @ f b k . e u 	 	 	 	 	 B a n k o   M . ,   2 0 0 8 ,   P   A C L   2 0 0 8 ;   B a n n a r d   C . ,   2 0 0 5 ,   P   A C L   2 0 0 5 ;   B a r z i l a y   R . ,   2 0 0 1 ,   P   A C L   2 0 0 1 ;   B h a g a t   R . ,   2 0 0 8 ,   P   A C L   2 0 0 8 ;   C a l l i s o n - B u r c h   C . ,   2 0 0 6 ,   P   H L T   N A A C L   2 0 0 6 ;   C h e n   D . L . ,   2 0 1 1 ,   P   H L T   A C L   2 0 1 1 ;   H e r m j a k o b   U . ,   2 0 0 2 ,   P   T R E C   2 0 0 2 ;   H i c k l   A . ,   2 0 0 6 ,   P   2   P A S C A L   C H A L L   W O R ;   K a u c h a k   D a v i d ,   2 0 0 6 ,   P   H L T   N A A C L   2 0 0 6 ;   L e s k   M . E . ,   1 9 8 6 ,   P   S I G D O C   8 6 ;   L i n   D . ,   2 0 0 1 ,   P   A C M   S I G K D D   I N T   C   K ;   M e h d a d   Y . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0 ;   M e h d a d   Y . ,   2 0 1 1 ,   P   H L T   A C L   2 0 1 1 ;   N e g r i   M . ,   2 0 1 1 ,   P   E M N L P   2 0 1 1 ;   N e g r i   M . ,   2 0 0 8 ,   P   9   I N T   C   C O M P   L I N G ;   N e g r i   M . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ;   P a p i n e n i   K . ,   2 0 0 1 ,   R C 2 2 1 7 6   I B M ;   R a v i c h a n d r a n   D . ,   2 0 0 2 ,   P   A C L   2 0 0 2 ;   S z p e k t o r   I d a n ,   2 0 0 4 ,   P   E M N L P   2 0 0 4 	 1 9 	 0 	 0 	 E U R O P E A N   L A N G U A G E   R E S O U R C E S   A S S O C - E L R A 	 P A R I S 	 5 5 - 5 7 ,   R U E   B R I L L A T - S A V A R I N ,   P A R I S ,   7 5 0 1 3 ,   F R A N C E 	 	 	 9 7 8 - 2 - 9 5 1 7 4 0 8 - 7 - 7 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 2 6 5 9 	 2 6 6 5 	 	 	 	 7 	 L i n g u i s t i c s ;   L a n g u a g e   &   L i n g u i s t i c s 	 L i n g u i s t i c s 	 B G R 9 5 	 W O S : 0 0 0 3 2 3 9 2 7 7 0 2 1 2 1 	 	 
 J 	 P a s s o n n e a u ,   R J ;   B a k e r ,   C ;   F e l l b a u m ,   C ;   I d e ,   N 	 	 C a l z o l a r i ,   N ;   C h o u k r i ,   K ;   D e c l e r c k ,   T ;   D o g a n ,   M U ;   M a e g a a r d ,   B ;   M a r i a n i ,   J ;   O d i j k ,   J ;   P i p e r i d i s ,   S 	 	 P a s s o n n e a u ,   R e b e c c a   J . ;   B a k e r ,   C o l l i n ;   F e l l b a u m ,   C h r i s t i a n e ;   I d e ,   N a n c y 	 	 	 T h e   M A S C   W o r d   S e n s e   S e n t e n c e   C o r p u s 	 L R E C   2 0 1 2   -   E I G H T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   L A N G U A G E   R E S O U R C E S   A N D   E V A L U A T I O N 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 8 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   L a n g u a g e   R e s o u r c e s   a n d   E v a l u a t i o n   ( L R E C ) 	 M A Y   2 1 - 2 7 ,   2 0 1 2 	 I s t a n b u l ,   T U R K E Y 	 N u a n c e ,   C E L I   L a n g u a g e   &   I n f o r m a t   T e c h n o l ,   E u r o p e a n   M e d i a   L a b   G m b H   ( E M L ) ,   I M M I ,   M E T A - N e t ,   Q u a e r o ,   K - d i c t i o n a r i e s 	 	 w o r d   s e n s e   a n n o t a t i o n ;   o p e n   d a t a ;   m u l t i - l a y e r   a n n o t a t i o n 	 	 T h e   M A S C   p r o j e c t   h a s   p r o d u c e d   a   m u l t i - g e n r e   c o r p u s   w i t h   m u l t i p l e   l a y e r s   o f   l i n g u i s t i c   a n n o t a t i o n ,   t o g e t h e r   w i t h   a   s e n t e n c e   c o r p u s   c o n t a i n i n g   W o r d N e t   3 . 1   s e n s e   t a g s   f o r   1 0 0 0   o c c u r r e n c e s   o f   e a c h   o f   1 0 0   w o r d s   p r o d u c e d   b y   m u l t i p l e   a n n o t a t o r s ,   a c c o m p a n i e d   b y   i n - d e p t h   i n t e r - a n n o t a t o r   a g r e e m e n t   d a t a .   H e r e   w e   g i v e   a n   o v e r v i e w   o f   t h e   c o n t e n t s   o f   M A S C   a n d   t h e n   f o c u s   o n   t h e   w o r d   s e n s e   s e n t e n c e   c o r p u s ,   d e s c r i b i n g   t h e   c h a r a c t e r i s t i c s   t h a t   d i f f e r e n t i a t e   i t   f r o m   o t h e r   w o r d   s e n s e   c o r p o r a   a n d   d e t a i l i n g   t h e   i n t e r - a n n o t a t o r   a g r e e m e n t   s t u d i e s   t h a t   h a v e   b e e n   p e r f o r m e d   o n   t h e   a n n o t a t i o n s .   F i n a l l y ,   w e   d i s c u s s   t h e   p o t e n t i a l   t o   g r o w   t h e   w o r d   s e n s e   s e n t e n c e   c o r p u s   t h r o u g h   c r o w d s o u r c i n g   a n d   t h e   p l a n   t o   e n h a n c e   t h e   c o n t e n t   a n d   a n n o t a t i o n s   o f   M A S C   t h r o u g h   a   c o m m u n i t y - b a s e d   c o l l a b o r a t i v e   e f f o r t . 	 [ P a s s o n n e a u ,   R e b e c c a   J . ]   C o l u m b i a   U n i v ,   N e w   Y o r k ,   N Y   U S A 	 	 b e c k y @ c s . c o l u m b i a . e d u ;   c o l l i n b @ i c s i . b e r k e l e y . e d u ;   f e l l b a u m @ p r i n c e t o n . e d u ;   i d e @ c s . v a s s a r . e d u 	 	 	 	 	 A r t s t e i n   R ,   2 0 0 8 ,   C O M P U T   L I N G U I S T ,   V 3 4 ,   P 5 5 5 ,   D O I   1 0 . 1 1 6 2 / c o l i . 0 7 - 0 3 4 - R 2 ;   B h a r d w a j   V i k a s ,   2 0 1 0 ,   P   4   L I N G   A N N   W O R K S H ,   P 4 7 ;   F e l l b a u m   C . ,   1 9 9 8 ,   W O R D N E T   E L E C T   L E X I C A ;   H o v y   E .   H . ,   2 0 0 6 ,   P   H U M   L A N G   T E C H N   C   N ,   P 5 7 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 4 0 4 9 . 1 6 1 4 0 6 4 ;   I d e   N . ,   2 0 1 0 ,   P   A C L   2 0 1 0   C   S H O R T   P ,   P 6 8 ;   I d e   N a n c y ,   2 0 1 2 ,   P   W O R K S H   B U I L D   U S   C O ;   I d e   N a n c y ,   L A N G U A G E   R E S O U R C E S   E ;   P a s s o n n e a u   R . ,   2 0 0 6 ,   P   L R E C   G E N ,   P 8 3 1 ;   P a s s o n n e a u   R e b e c c a   J . ,   L A N G U A G E   R E   I N   P R E S S ;   P a s s o n n e a u   R e b e c c a   J . ,   2 0 1 0 ,   P   L R E C   7   V A L L ,   P 3 2 4 4 ;   P a s s o n n e a u   R e b e c c a   J . ,   2 0 0 6 ,   P   I N T   C   L A N G   R E S   E V ,   P 1 9 5 1 ;   P a s s o n n e a u   R e b e c c a   J . ,   2 0 0 9 ,   S E W   0 9 ,   P 2 ;   P e n n a c c h i o t t i   M a r c o ,   2 0 0 8 ,   P   6   I N T   C   L A N G   R E S   E ;   R u p p e n h o f e r   J o s e f ,   2 0 0 6 ,   F R A M E N E T   2   E X T E N D E D ;   S a t o   H i r o a k i ,   2 0 0 3 ,   P   4 1   A N N   M   A S S   C O M P ,   P 1 6 1 	 1 5 	 0 	 0 	 E U R O P E A N   L A N G U A G E   R E S O U R C E S   A S S O C - E L R A 	 P A R I S 	 5 5 - 5 7 ,   R U E   B R I L L A T - S A V A R I N ,   P A R I S ,   7 5 0 1 3 ,   F R A N C E 	 	 	 9 7 8 - 2 - 9 5 1 7 4 0 8 - 7 - 7 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 3 0 2 5 	 3 0 3 0 	 	 	 	 6 	 L i n g u i s t i c s ;   L a n g u a g e   &   L i n g u i s t i c s 	 L i n g u i s t i c s 	 B G R 9 5 	 W O S : 0 0 0 3 2 3 9 2 7 7 0 3 0 1 6 	 	 
 J 	 L a w r i e ,   D ;   M a y f i e l d ,   J ;   M c N a m e e ,   P ;   O a r d ,   D W 	 	 C a l z o l a r i ,   N ;   C h o u k r i ,   K ;   D e c l e r c k ,   T ;   D o g a n ,   M U ;   M a e g a a r d ,   B ;   M a r i a n i ,   J ;   O d i j k ,   J ;   P i p e r i d i s ,   S 	 	 L a w r i e ,   D a w n ;   M a y f i e l d ,   J a m e s ;   M c N a m e e ,   P a u l ;   O a r d ,   D o u g l a s   W . 	 	 	 C r e a t i n g   a n d   C u r a t i n g   a   C r o s s - L a n g u a g e   P e r s o n - E n t i t y   L i n k i n g   C o l l e c t i o n 	 L R E C   2 0 1 2   -   E I G H T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   L A N G U A G E   R E S O U R C E S   A N D   E V A L U A T I O N 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 8 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   L a n g u a g e   R e s o u r c e s   a n d   E v a l u a t i o n   ( L R E C ) 	 M A Y   2 1 - 2 7 ,   2 0 1 2 	 I s t a n b u l ,   T U R K E Y 	 N u a n c e ,   C E L I   L a n g u a g e   &   I n f o r m a t   T e c h n o l ,   E u r o p e a n   M e d i a   L a b   G m b H   ( E M L ) ,   I M M I ,   M E T A - N e t ,   Q u a e r o ,   K - d i c t i o n a r i e s 	 	 E n t i t y   l i n k i n g ;   M u l t i - l i n g u a l ;   C r o w d s o u r c i n g   c o l l e c t i o n   b u i l d i n g 	 	 T o   s t i m u l a t e   r e s e a r c h   i n   c r o s s - l a n g u a g e   e n t i t y   l i n k i n g ,   w e   p r e s e n t   a   n e w   t e s t   c o l l e c t i o n   f o r   e v a l u a t i n g   t h e   a c c u r a c y   o f   c r o s s - l a n g u a g e   e n t i t y   l i n k i n g   i n   t w e n t y - o n e   l a n g u a g e s .   T h i s   p a p e r   d e s c r i b e s   a n   e f f i c i e n t   w a y   t o   c r e a t e   a n d   c u r a t e   s u c h   a   c o l l e c t i o n ,   j u d i c i o u s l y   e x p l o i t i n g   e x i s t i n g   l a n g u a g e   r e s o u r c e s .   Q u e r i e s   a r e   c r e a t e d   b y   s e m i - a u t o m a t i c a l l y   i d e n t i f y i n g   p e r s o n   n a m e s   o n   t h e   E n g l i s h   s i d e   o f   a   p a r a l l e l   c o r p u s ,   u s i n g   j u d g m e n t s   o b t a i n e d   t h r o u g h   c r o w d s o u r c i n g   t o   i d e n t i f y   t h e   e n t i t y   c o r r e s p o n d i n g   t o   t h e   n a m e ,   a n d   p r o j e c t i n g   t h e   E n g l i s h   n a m e   o n t o   t h e   n o n - E n g l i s h   d o c u m e n t   u s i n g   w o r d   a l i g n m e n t s .   N a m e   p r o j e c t i o n s   a r e   t h e n   c u r a t e d ,   a g a i n   t h r o u g h   c r o w d s o u r c i n g .   T h i s   t e c h n i q u e   r e s u l t e d   i n   t h e   f i r s t   p u b l i c l y   a v a i l a b l e   m u l t i l i n g u a l   c r o s s - l a n g u a g e   e n t i t y   l i n k i n g   c o l l e c t i o n .   T h e   c o l l e c t i o n   i n c l u d e s   a p p r o x i m a t e l y   5 5 , 0 0 0   q u e r i e s ,   c o m p r i s i n g   b e t w e e n   8 7 5   a n d   4 , 3 2 9   q u e r i e s   f o r   e a c h   o f   t w e n t y - o n e   n o n - E n g l i s h   l a n g u a g e s . 	 [ L a w r i e ,   D a w n ;   M a y f i e l d ,   J a m e s ;   M c N a m e e ,   P a u l ;   O a r d ,   D o u g l a s   W . ]   J o h n s   H o p k i n s   U n i v ,   H u m a n   L a n g u a g e   T e c h n o l   C t r   E x c e l l e n c e ,   B a l t i m o r e ,   M D   2 1 2 1 8   U S A 	 	 	 	 	 	 	 A r t i l e s   J a v i e r ,   2 0 1 0 ,   C L E F   3   W E P S   E V   W O R K S ;   B a r o n   A l e x ,   2 0 0 8 ,   P   2 0 0 8   C   E M P   M E T H   N A ,   P 2 7 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 4 ;   B u n e s c u   R . C . ,   2 0 0 6 ,   U S I N G   E N C Y   K N O W L E D G E ;   C a l l i s o n - B u r c h   C . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 ;   C u c e r z a n   S . ,   2 0 0 7 ,   E M P I R I C A L   M E T H O D S   N A ;   H a g h i g h i   A r i a ,   2 0 0 9 ,   P   J O I N T   C   4 7   A N N   M   A ,   V 2 ,   P 9 2 3 ,   D O I   1 0 . 3 1 1 5 / 1 6 9 0 2 1 9 . 1 6 9 0 2 7 6 ;   K o e h n   P h i l i p p ,   2 0 0 5 ,   P   1 0   M A C H   T R A N S L   S U M ,   P 7 9 ;   M a y f i e l d   J a m e s ,   2 0 1 1 ,   P   2 0 1 1   C   M U L T   M U L T   I ;   M c N a m e e   P a u l ,   2 0 0 9 ,   P   T E X T   A N   C ;   R a t i n o v   L ,   2 0 0 9 ,   P   1 3   C   C O M P   N A T   L A N G ,   P 1 4 7 ,   D O I   1 0 . 3 1 1 5 / 1 5 9 6 3 7 4 . 1 5 9 6 3 9 9 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   T i w a r i   C h a r u ,   2 0 1 0 ,   N E W S   A S S I S T   I D E N T I F Y ;   T y e r s   F r a n c i s ,   2 0 1 0 ,   P   L R E C   W O R K S H   E X P L   M ,   P 4 9 	 1 3 	 0 	 0 	 E U R O P E A N   L A N G U A G E   R E S O U R C E S   A S S O C - E L R A 	 P A R I S 	 5 5 - 5 7 ,   R U E   B R I L L A T - S A V A R I N ,   P A R I S ,   7 5 0 1 3 ,   F R A N C E 	 	 	 9 7 8 - 2 - 9 5 1 7 4 0 8 - 7 - 7 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 3 1 0 6 	 3 1 1 0 	 	 	 	 5 	 L i n g u i s t i c s ;   L a n g u a g e   &   L i n g u i s t i c s 	 L i n g u i s t i c s 	 B G R 9 5 	 W O S : 0 0 0 3 2 3 9 2 7 7 0 3 0 2 8 	 	 
 J 	 B a s i l e ,   V ;   B o s ,   J ;   E v a n g ,   K ;   V e n h u i z e n ,   N 	 	 C a l z o l a r i ,   N ;   C h o u k r i ,   K ;   D e c l e r c k ,   T ;   D o g a n ,   M U ;   M a e g a a r d ,   B ;   M a r i a n i ,   J ;   O d i j k ,   J ;   P i p e r i d i s ,   S 	 	 B a s i l e ,   V a l e r i o ;   B o s ,   J o h a n ;   E v a n g ,   K i l i a n ;   V e n h u i z e n ,   N o o r t j e 	 	 	 D e v e l o p i n g   a   l a r g e   s e m a n t i c a l l y   a n n o t a t e d   c o r p u s 	 L R E C   2 0 1 2   -   E I G H T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   L A N G U A G E   R E S O U R C E S   A N D   E V A L U A T I O N 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 8 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   L a n g u a g e   R e s o u r c e s   a n d   E v a l u a t i o n   ( L R E C ) 	 M A Y   2 1 - 2 7 ,   2 0 1 2 	 I s t a n b u l ,   T U R K E Y 	 N u a n c e ,   C E L I   L a n g u a g e   &   I n f o r m a t   T e c h n o l ,   E u r o p e a n   M e d i a   L a b   G m b H   ( E M L ) ,   I M M I ,   M E T A - N e t ,   Q u a e r o ,   K - d i c t i o n a r i e s 	 	 a n n o t a t i o n ;   s e m a n t i c s ;   d i s c o u r s e 	 	 W h a t   w o u l d   b e   a   g o o d   m e t h o d   t o   p r o v i d e   a   l a r g e   c o l l e c t i o n   o f   s e m a n t i c a l l y   a n n o t a t e d   t e x t s   w i t h   f o r m a l ,   d e e p   s e m a n t i c s   r a t h e r   t h a n   s h a l l o w ?   W e   a r g u e   t h a t   a   b o o t s t r a p p i n g   a p p r o a c h   c o m p r i s i n g   s t a t e - o f - t h e - a r t   N L P   t o o l s   f o r   p a r s i n g   a n d   s e m a n t i c   i n t e r p r e t a t i o n ,   i n   c o m b i n a t i o n   w i t h   a   w i k i - l i k e   i n t e r f a c e   f o r   c o l l a b o r a t i v e   a n n o t a t i o n   o f   e x p e r t s ,   a n d   a   g a m e   w i t h   a   p u r p o s e   f o r   c r o w d s o u r c i n g ,   a r e   t h e   s t a r t i n g   i n g r e d i e n t s   f o r   f u l f i l l i n g   t h i s   e n t e r p r i s e .   T h e   r e s u l t   i s   a   s e m a n t i c   r e s o u r c e   t h a t   a n y o n e   c a n   e d i t   a n d   t h a t   i n t e g r a t e s   v a r i o u s   p h e n o m e n a ,   i n c l u d i n g   p r e d i c a t e - a r g u m e n t   s t r u c t u r e ,   s c o p e ,   t e n s e ,   t h e m a t i c   r o l e s ,   r h e t o r i c a l   r e l a t i o n s   a n d   p r e s u p p o s i t i o n s ,   i n t o   a   s i n g l e   s e m a n t i c   f o r m a l i s m :   D i s c o u r s e   R e p r e s e n t a t i o n   T h e o r y .   T a k i n g   t e x t s   r a t h e r   t h a n   s e n t e n c e s   a s   t h e   u n i t s   o f   a n n o t a t i o n   r e s u l t s   i n   d e e p   s e m a n t i c   r e p r e s e n t a t i o n s   t h a t   i n c o r p o r a t e   d i s c o u r s e   s t r u c t u r e   a n d   d e p e n d e n c i e s .   T o   m a n a g e   t h e   v a r i o u s   ( p o s s i b l y   c o n f l i c t i n g )   a n n o t a t i o n s   p r o v i d e d   b y   e x p e r t s   a n d   n o n - e x p e r t s ,   w e   i n t r o d u c e   a   m e t h o d   t h a t   s t o r e s   " B i t s   o f   W i s d o m "   i n   a   d a t a b a s e   a s   s t a n d - o f f   a n n o t a t i o n s . 	 [ B a s i l e ,   V a l e r i o ;   B o s ,   J o h a n ;   E v a n g ,   K i l i a n ;   V e n h u i z e n ,   N o o r t j e ]   U n i v   G r o n i n g e n ,   C L C G ,   N L - 9 7 0 0   A B   G r o n i n g e n ,   N e t h e r l a n d s 	 	 v . b a s i l e @ r u g . n l ;   j o h a n . b o s @ r u g . n l ;   k . e v a n g @ r u g . n l ;   n . j . v e n h u i z e n @ r u g . n l 	 	 	 	 	 A r t i g n a n   G ,   2 0 0 9 ,   I N F O R M A T I O N   V I S U A L I Z A T I O N ,   I V   2 0 0 9 ,   P R O C E E D I N G S ,   P 6 8 5 ,   D O I   1 0 . 1 1 0 9 / I V . 2 0 0 9 . 1 0 0 ;   A s h e r   N . ,   2 0 0 3 ,   S T U D I E S   N A T U R A L   L A N G ;   A s h e r   N i c h o l a s ,   1 9 9 3 ,   R E F E R E N C E   A B S T R A C T   O ;   B a k e r   C o l l i n   F . ,   1 9 9 8 ,   3 6   A N N   M   A S S   C O M P   L I ,   V 1 ,   P 8 6 ;   B a s i l e   V a l e r i o ,   2 0 1 2 ,   P   E A C L   2 0 1 2 ;   C h a m b e r l a i n   J o h n ,   2 0 0 8 ,   R E S   C O M P U T A T I O N A L   S E ,   V 1 ,   P 3 7 5 ;   C u r r a n   J R ,   2 0 0 7 ,   P   4 5   A N N   M   A S S   C O M P ,   P 3 3 ,   D O I   1 0 . 3 1 1 5 / 1 5 5 7 7 6 9 . 1 5 5 7 7 8 1 ;   F e l l b a u m   C . ,   1 9 9 8 ,   W O R D N E T   E L E C T   L E X I C A ;   H o v y   E .   H . ,   2 0 0 6 ,   P   H U M   L A N G   T E C H N   C   N ,   P 5 7 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 4 0 4 9 . 1 6 1 4 0 6 4 ;   I d e   N . ,   2 0 1 0 ,   P   A C L   2 0 1 0   C   S H O R T   P ,   P 6 8 ;   K i p p e r   K ,   2 0 0 8 ,   L A N G   R E S O U R   E V A L ,   V 4 2 ,   P 2 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 5 7 9 - 0 0 7 - 9 0 4 8 - 2 ;   M i l t s a k a k i   E l e n i ,   2 0 0 4 ,   P   4   I N T   C   L A N G   R E S   E ,   P 2 2 3 7 ;   M U S K E N S   R ,   1 9 9 6 ,   L I N G U I S T   P H I L O S ,   V 1 9 ,   P 1 4 3 ,   D O I   1 0 . 1 0 0 7 / B F 0 0 6 3 5 8 3 6 ;   P a l m e r   M ,   2 0 0 5 ,   C O M P U T   L I N G U I S T ,   V 3 1 ,   P 7 1 ,   D O I   1 0 . 1 1 6 2 / 0 8 9 1 2 0 1 0 5 3 6 3 0 2 6 4 ;   P r a s a d   R a s h m i ,   2 0 0 5 ,   P   C O R P   L I N G   W O R K S H   U ,   P 2 5 ;   R e y l e   U . ,   1 9 9 3 ,   D I S C O U R S E   L O G I C   I N T R ;   S e k i n e   S . ,   2 0 0 2 ,   P   L R E C ,   V 2 ;   S e k i n e   S a t o s h i ,   2 0 1 0 ,   S E K   E X T   N A M   E N T   H I E R ;   S t e e d m a n   M . ,   2 0 0 1 ,   S Y N T A C T I C   P R O C E S S ;   v a n   d e r   S a n d t   R .   A . ,   1 9 9 2 ,   J   S E M A N T ,   V 9 ,   P 3 3 3 ,   D O I   D O I   1 0 . 1 0 9 3 / J O S / 9 . 4 . 3 3 3 	 2 0 	 1 	 1 	 E U R O P E A N   L A N G U A G E   R E S O U R C E S   A S S O C - E L R A 	 P A R I S 	 5 5 - 5 7 ,   R U E   B R I L L A T - S A V A R I N ,   P A R I S ,   7 5 0 1 3 ,   F R A N C E 	 	 	 9 7 8 - 2 - 9 5 1 7 4 0 8 - 7 - 7 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 3 1 9 6 	 3 2 0 0 	 	 	 	 5 	 L i n g u i s t i c s ;   L a n g u a g e   &   L i n g u i s t i c s 	 L i n g u i s t i c s 	 B G R 9 5 	 W O S : 0 0 0 3 2 3 9 2 7 7 0 3 0 4 1 	 	 
 J 	 B i e m a n n ,   C 	 	 C a l z o l a r i ,   N ;   C h o u k r i ,   K ;   D e c l e r c k ,   T ;   D o g a n ,   M U ;   M a e g a a r d ,   B ;   M a r i a n i ,   J ;   O d i j k ,   J ;   P i p e r i d i s ,   S 	 	 B i e m a n n ,   C h r i s 	 	 	 T u r k   B o o t s t r a p   W o r d   S e n s e   I n v e n t o r y   2 . 0 :   A   L a r g e - S c a l e   R e s o u r c e   f o r   L e x i c a l   S u b s t i t u t i o n 	 L R E C   2 0 1 2   -   E I G H T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   L A N G U A G E   R E S O U R C E S   A N D   E V A L U A T I O N 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 8 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   L a n g u a g e   R e s o u r c e s   a n d   E v a l u a t i o n   ( L R E C ) 	 M A Y   2 1 - 2 7 ,   2 0 1 2 	 I s t a n b u l ,   T U R K E Y 	 N u a n c e ,   C E L I   L a n g u a g e   &   I n f o r m a t   T e c h n o l ,   E u r o p e a n   M e d i a   L a b   G m b H   ( E M L ) ,   I M M I ,   M E T A - N e t ,   Q u a e r o ,   K - d i c t i o n a r i e s 	 	 l e x i c a l   s u b s t i t u t i o n ;   c r o w d s o u r c i n g ;   w o r d   s e n s e   i n v e n t o r y 	 	 T h i s   p a p e r   p r e s e n t s   t h e   T u r k   B o o t s t r a p   W o r d   S e n s e   I n v e n t o r y   ( T W S I )   2 . 0 .   T h i s   l e x i c a l   r e s o u r c e ,   c r e a t e d   b y   a   c r o w d s o u r c i n g   p r o c e s s   u s i n g   A m a z o n   M e c h a n i c a l   T u r k   ( h t t p : / / w w w . m t u r k . c o m ) ,   e n c o m p a s s e s   a   s e n s e   i n v e n t o r y   f o r   l e x i c a l   s u b s t i t u t i o n   f o r   1 , 0 1 2   h i g h l y   f r e q u e n t   E n g l i s h   c o m m o n   n o u n s .   A l o n g   w i t h   e a c h   s e n s e ,   a   l a r g e   n u m b e r   o f   s e n s e - a n n o t a t e d   o c c u r r e n c e s   i n   c o n t e x t   a r e   g i v e n ,   a s   w e l l   a s   a   w e i g h t e d   l i s t   o f   s u b s t i t u t i o n s .   S e n s e   d i s t i n c t i o n s   a r e   n o t   m o t i v a t e d   b y   l e x i c o g r a p h i c   c o n s i d e r a t i o n s ,   b u t   d r i v e n   b y   s u b s t i t u t a b i l i t y :   t w o   u s a g e s   b e l o n g   t o   t h e   s a m e   s e n s e   i f   t h e i r   s u b s t i t u t i o n s   o v e r l a p   c o n s i d e r a b l y .   A f t e r   l a y i n g   o u t   t h e   n e e d   f o r   s u c h   a   r e s o u r c e ,   t h e   d a t a   i s   c h a r a c t e r i z e d   i n   t e r m s   o f   o r g a n i z a t i o n   a n d   q u a n t i t y .   T h e n ,   w e   b r i e f l y   d e s c r i b e   h o w   t h i s   d a t a   w a s   u s e d   t o   c r e a t e   a   s y s t e m   f o r   l e x i c a l   s u b s t i t u t i o n s .   T r a i n i n g   a   s u p e r v i s e d   l e x i c a l   s u b s t i t u t i o n   s y s t e m   o n   a   s m a l l e r   v e r s i o n   o f   t h e   r e s o u r c e   r e s u l t e d   i n   w e l l   o v e r   9 0 %   a c c e p t a b i l i t y   f o r   l e x i c a l   s u b s t i t u t i o n s   p r o v i d e d   b y   t h e   s y s t e m .   T h u s ,   t h i s   r e s o u r c e   c a n   b e   u s e d   t o   s e t   u p   r e l i a b l e ,   e n a b l i n g   t e c h n o l o g i e s   f o r   s e m a n t i c   n a t u r a l   l a n g u a g e   p r o c e s s i n g   ( N L P ) ,   s o m e   o f   w h i c h   w e   d i s c u s s   b r i e f l y . 	 [ B i e m a n n ,   C h r i s ]   T e c h   U n i v   D a r m s t a d t ,   U K P   L a b ,   D - 6 4 2 8 9   D a r m s t a d t ,   G e r m a n y 	 	 b i e m @ c s . t u - d a r m s t a d t . d e 	 	 	 	 	 A g i r r e   E ,   2 0 0 6 ,   T E X T   S P E E C H   L A N G   T E C ,   V 3 3 ,   P 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 1 - 4 0 2 0 - 4 8 0 9 - 8 ;   B i e m a n n   C . ,   2 0 1 0 ,   P   5   W O R K S H   T E X T G R A P H ;   B i e m a n n   C . ,   2 0 1 0 ,   P   5   G L O B   W O R D N E T   C   M ;   G a l e   W . A . ,   1 9 9 2 ,   P   4   D A R P A   S P E E C H   N A T ,   P 2 3 3 ,   D O I   1 0 . 3 1 1 5 / 1 0 7 5 5 2 7 . 1 0 7 5 5 7 9 ;   H a l l   M ,   2 0 0 9 ,   S I G K D D   E X P L O R A T I O N S ,   V 1 1 ;   H o v y   E .   H . ,   2 0 0 6 ,   P   H U M   L A N G   T E C H N   C   N ,   P 5 7 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 4 0 4 9 . 1 6 1 4 0 6 4 ;   M c C a r t h y   D . ,   2 0 0 7 ,   P   S E M   2 0 0 7   W O R K S H   S E ;   M e t z l e r   D ,   2 0 0 7 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 4 2 5 ,   P 1 6 ;   M i l l e r   G . A . ,   1 9 9 0 ,   I N T   J   L E X I C O G R ,   V 3 ,   P 2 3 5 ,   D O I   D O I   1 0 . 1 0 9 3 / I J L / 3 . 4 . 2 3 5 ;   P l a t t   J . ,   1 9 9 8 ,   A D V   K E R N E L   M E T H O D S   S ;   P r a d h a n   S . ,   2 0 0 7 ,   P   4   I N T   W O R K S H   S E M   E ,   P 8 7 ,   D O I   1 0 . 3 1 1 5 / 1 6 2 1 4 7 4 . 1 6 2 1 4 9 0 ;   S i n h a   R . ,   2 0 0 9 ,   P   W O R K S H   S E M   E V   R E C 	 1 2 	 0 	 0 	 E U R O P E A N   L A N G U A G E   R E S O U R C E S   A S S O C - E L R A 	 P A R I S 	 5 5 - 5 7 ,   R U E   B R I L L A T - S A V A R I N ,   P A R I S ,   7 5 0 1 3 ,   F R A N C E 	 	 	 9 7 8 - 2 - 9 5 1 7 4 0 8 - 7 - 7 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 4 0 3 8 	 4 0 4 2 	 	 	 	 5 	 L i n g u i s t i c s ;   L a n g u a g e   &   L i n g u i s t i c s 	 L i n g u i s t i c s 	 B G R 9 5 	 W O S : 0 0 0 3 2 3 9 2 7 7 0 4 0 2 0 	 	 
 J 	 H a n a ,   J ;   H l a d k a ,   B 	 	 C a l z o l a r i ,   N ;   C h o u k r i ,   K ;   D e c l e r c k ,   T ;   D o g a n ,   M U ;   M a e g a a r d ,   B ;   M a r i a n i ,   J ;   O d i j k ,   J ;   P i p e r i d i s ,   S 	 	 H a n a ,   J i r k a ;   H l a d k a ,   B a r b o r a 	 	 	 G e t t i n g   m o r e   d a t a   -   S c h o o l k i d s   a s   a n n o t a t o r s 	 L R E C   2 0 1 2   -   E I G H T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   L A N G U A G E   R E S O U R C E S   A N D   E V A L U A T I O N 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 8 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   L a n g u a g e   R e s o u r c e s   a n d   E v a l u a t i o n   ( L R E C ) 	 M A Y   2 1 - 2 7 ,   2 0 1 2 	 I s t a n b u l ,   T U R K E Y 	 N u a n c e ,   C E L I   L a n g u a g e   &   I n f o r m a t   T e c h n o l ,   E u r o p e a n   M e d i a   L a b   G m b H   ( E M L ) ,   I M M I ,   M E T A - N e t ,   Q u a e r o ,   K - d i c t i o n a r i e s 	 	 a n n o t a t e d   c o r p o r a ;   m o r p h o l o g y ;   s y n t a x ;   c r o w d s o u r c i n g 	 	 W e   p r e s e n t   a   n e w   w a y   t o   g e t   m o r e   m o r p h o l o g i c a l l y   a n d   s y n t a c t i c a l l y   a n n o t a t e d   d a t a .   W e   h a v e   d e v e l o p e d   a n   a n n o t a t i o n   e d i t o r   t a i l o r e d   t o   s c h o o l   c h i l d r e n   t o   i n v o l v e   t h e m   i n   t e x t   a n n o t a t i o n .   U s i n g   t h i s   e d i t o r ,   t h e y   p r a c t i c e   m o r p h o l o g y   a n d   d e p e n d e n c y - b a s e d   s y n t a x   i n   t h e   s a m e   w a y   a s   t h e y   n o r m a l l y   d o   a t   ( C z e c h )   s c h o o l s ,   w i t h o u t   a n y   s p e c i a l   t r a i n i n g   T h e i r   a n n o t a t i o n   i s   t h e n   a u t o m a t i c a l l y   t r a n s f o r m e d   i n t o   t h e   t a r g e t   a n n o t a t i o n   s c h e m a .   T h e   e d i t o r   i s   d e s i g n e d   t o   b e   l a n g u a g e   i n d e p e n d e n t ,   h o w e v e r   t h e   s u b s e q u e n t   t r a n s f o r m a t i o n   i s   d r i v e n   b y   t h e   a n n o t a t i o n   f r a m e w o r k   w e   a r e   h e a d i n g   f o r .   I n   o u r   c a s e ,   t h e   o b j e c t   l a n g u a g e   i s   C z e c h   a n d   t h e   t a r g e t   a n n o t a t i o n   s c h e m e   c o r r e s p o n d s   t o   t h e   P r a g u e   D e p e n d e n c y   T r e e b a n k   a n n o t a t i o n   f r a m e w o r k . 	 [ H a n a ,   J i r k a ;   H l a d k a ,   B a r b o r a ]   C h a r l e s   U n i v   P r a g u e ,   F a c   M a t h   &   P h y s ,   C R - 1 1 6 3 6   P r a g u e   1 ,   C z e c h   R e p u b l i c 	 	 h a n a @ u f a l . m f f . c u n i . c z ;   h l a d k a @ u f a l . m f f . c u n i . c z 	 H a n a ,   J i r k a / A - 9 3 6 5 - 2 0 0 8 	 	 	 	 B r a n t s   T ,   2 0 0 7 ,   P   2 0 0 7   J O I N T   C   E M P   M ,   P 8 5 8 ;   H l a d k a   B a r b o r a ,   2 0 1 1 ,   P r a g u e   B u l l e t i n   o f   M a t h e m a t i c a l   L i n g u i s t i c s ,   D O I   1 0 . 2 4 7 8 / v 1 0 1 0 8 - 0 1 1 - 0 0 0 8 - z ;   H l a d k a   B a r b o r a ,   2 0 0 8 ,   P   A C L   0 8   H L T   3   W O R K S ,   P 3 6 ,   D O I   1 0 . 3 1 1 5 / 1 6 3 1 8 3 6 . 1 6 3 1 8 4 1 ;   H u d s o n   R . ,   1 9 9 2 ,   T E A C H I N G   G R A M M A R   G U I ;   K e l l o g g   B r a i n e r d ,   1 8 9 9 ,   T I T L E   H I G H E R   L E S S O N S ;   M c D o n a l d   R ,   2 0 0 5 ,   H L T   0 5   P   C   H U M   L A N G ,   P 5 2 3 ;   S m i l a u e r   V l a d i m i r ,   1 9 7 2 ,   N A U K A   C E S K E M   J A Z Y K U ;   v o n   A h n   L ,   2 0 0 8 ,   C O M M U N   A C M ,   V 5 1 ,   P 5 8 ,   D O I   1 0 . 1 1 4 5 / 1 3 7 8 7 0 4 . 1 3 7 8 7 1 9 ;   Z a b o k r t s k y   Z d e n e k ,   2 0 0 7 ,   P R A G U E   B   M A T H   L I N G U I ,   P 4 1 	 9 	 0 	 0 	 E U R O P E A N   L A N G U A G E   R E S O U R C E S   A S S O C - E L R A 	 P A R I S 	 5 5 - 5 7 ,   R U E   B R I L L A T - S A V A R I N ,   P A R I S ,   7 5 0 1 3 ,   F R A N C E 	 	 	 9 7 8 - 2 - 9 5 1 7 4 0 8 - 7 - 7 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 4 0 4 9 	 4 0 5 4 	 	 	 	 6 	 L i n g u i s t i c s ;   L a n g u a g e   &   L i n g u i s t i c s 	 L i n g u i s t i c s 	 B G R 9 5 	 W O S : 0 0 0 3 2 3 9 2 7 7 0 4 0 2 2 	 	 
 J 	 R u m s h i s k y ,   A ;   B o t c h a n ,   N ;   K u s h k u l e y ,   S ;   P u s t e j o v s k y ,   J 	 	 C a l z o l a r i ,   N ;   C h o u k r i ,   K ;   D e c l e r c k ,   T ;   D o g a n ,   M U ;   M a e g a a r d ,   B ;   M a r i a n i ,   J ;   O d i j k ,   J ;   P i p e r i d i s ,   S 	 	 R u m s h i s k y ,   A n n a ;   B o t c h a n ,   N i c k ;   K u s h k u l e y ,   S o p h i e ;   P u s t e j o v s k y ,   J a m e s 	 	 	 W o r d   S e n s e   I n v e n t o r i e s   b y   N o n - e x p e r t s 	 L R E C   2 0 1 2   -   E I G H T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   L A N G U A G E   R E S O U R C E S   A N D   E V A L U A T I O N 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 8 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   L a n g u a g e   R e s o u r c e s   a n d   E v a l u a t i o n   ( L R E C ) 	 M A Y   2 1 - 2 7 ,   2 0 1 2 	 I s t a n b u l ,   T U R K E Y 	 N u a n c e ,   C E L I   L a n g u a g e   &   I n f o r m a t   T e c h n o l ,   E u r o p e a n   M e d i a   L a b   G m b H   ( E M L ) ,   I M M I ,   M E T A - N e t ,   Q u a e r o ,   K - d i c t i o n a r i e s 	 	 w o r d   s e n s e   d i s a m b i g u a t i o n ;   c r o w d s o u r c i n g ;   s e n s e   i n v e n t o r y   d e v e l o p m e n t 	 	 I n   t h i s   p a p e r ,   w e   e x p l o r e   d i f f e r e n t   s t r a t e g i e s   f o r   i m p l e m e n t i n g   a   c r o w d s o u r c i n g   m e t h o d o l o g y   f o r   a   s i n g l e - s t e p   c o n s t r u c t i o n   o f   a n   e m p i r i c a l l y - d e r i v e d   s e n s e   i n v e n t o r y   a n d   t h e   c o r r e s p o n d i n g   s e n s e - a n n o t a t e d   c o r p u s .   W e   r e p o r t   o n   t h e   c r o w d s o u r c i n g   e x p e r i m e n t s   u s i n g   i m p l e m e n t a t i o n   s t r a t e g i e s   w i t h   d i f f e r e n t   H I T   c o s t s ,   w o r k e r   q u a l i f i c a t i o n   t e s t i n g ,   a n d   l o c a l e   r e s t r i c t i o n s .   W e   d e s c r i b e   m u l t i p l e   a d j u s t m e n t s   r e q u i r e d   t o   e n s u r e   s u c c e s s f u l   H I T   c o m p l e t i o n ,   g i v e n   s i g n i f i c a n t   c h a n g e s   w i t h i n   t h e   c r o w d s o u r c i n g   c o m m u n i t y   o v e r   t h e   p a s t   t h r e e   y e a r s . 	 [ B o t c h a n ,   N i c k ;   K u s h k u l e y ,   S o p h i e ;   P u s t e j o v s k y ,   J a m e s ]   B r a n d e i s   U n i v ,   W a l t h a m ,   M A   U S A 	 	 a r u m @ c s a i l . m i t . e d u ;   n b o t c h a n @ b r a n d e i s . e d u ;   s o p h i e k @ b r a n d e i s . e d u ;   j a m e s p @ c s . b r a n d e i s . e d u 	 	 	 	 	 A g i r r e   E . ,   2 0 0 7 ,   P   4   I N T   W O R K S H   S E M   E ,   P 1 ,   D O I   1 0 . 3 1 1 5 / 1 6 2 1 4 7 4 . 1 6 2 1 4 7 5 ;   A k k a y a   C . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 9 5 ;   C a l l i s o n - B u r c h   C . ,   2 0 1 0 ,   C S L D A M T   1 0   P   N A A C L   H ;   H a n k s   P . ,   2 0 0 5 ,   R E V   F R A N C A I S E   L I N G U I ;   H a n k s   P ,   2 0 0 0 ,   C O M P U T   H U M A N I T I E S ,   V 3 4 ,   P 2 0 5 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 0 2 4 7 1 3 2 2 8 2 8 ;   H o v y   E .   H . ,   2 0 0 6 ,   P   H U M   L A N G   T E C H N   C   N ,   P 5 7 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 4 0 4 9 . 1 6 1 4 0 6 4 ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 6 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 9 0 6 ;   N a v i g l i   R ,   2 0 0 6 ,   C O L I N G / A C L   2 0 0 6 ,   V O L S   1   A N D   2 ,   P R O C E E D I N G S   O F   T H E   C O N F E R E N C E ,   P 1 0 5 ;   P a l m e r   M . ,   2 0 0 7 ,   J   N A T U R A L   L A N G U A G E   E ;   P u s t e j o v s k y   J . ,   1 9 9 5 ,   G E N E R A T I V E   L E X I C O N ;   R a n d   D . ,   2 0 1 1 ,   J   T H E O R E T I C A L   B I O L ;   R u m s h i s k y   A . ,   2 0 0 9 ,   P   5   I N T   C   G E N   A P P R   L ;   R u m s h i s k y   A . ,   2 0 0 8 ,   D I S T R I B U T I O   I N   P R E S S ;   R u m s h i s k y   A . ,   2 0 1 1 ,   P   5   L I N G   A N N   W O R K S H ,   P 7 4 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   v a n   d e n   B e r g   S .   A . ,   2 0 0 0 ,   C o n f e r e n c e   D i g e s t .   2 0 0 0   C o n f e r e n c e   o n   L a s e r s   a n d   E l e c t r o - O p t i c s   E u r o p e   ( C a t .   N o . 0 0 T H 8 5 0 5 ) ,   D O I   1 0 . 1 1 0 9 / C L E O E . 2 0 0 0 . 9 1 0 1 8 9 ;   Z h a o   Y ,   2 0 0 5 ,   D A T A   M I N   K N O W L   D I S C ,   V 1 0 ,   P 1 4 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 6 1 8 - 0 0 5 - 0 3 6 1 - 3 	 1 7 	 0 	 0 	 E U R O P E A N   L A N G U A G E   R E S O U R C E S   A S S O C - E L R A 	 P A R I S 	 5 5 - 5 7 ,   R U E   B R I L L A T - S A V A R I N ,   P A R I S ,   7 5 0 1 3 ,   F R A N C E 	 	 	 9 7 8 - 2 - 9 5 1 7 4 0 8 - 7 - 7 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 4 0 5 5 	 4 0 5 9 	 	 	 	 5 	 L i n g u i s t i c s ;   L a n g u a g e   &   L i n g u i s t i c s 	 L i n g u i s t i c s 	 B G R 9 5 	 W O S : 0 0 0 3 2 3 9 2 7 7 0 4 0 2 3 	 	 
 B 	 P r i o r ,   S D ;   E r b i l ,   M A ;   B r a z i n s k a s ,   M ;   M i e l n i c z e k ,   W 	 	 	 I E E E 	 P r i o r ,   S t e p h e n   D . ;   E r b i l ,   M e h m e t   A l i ;   B r a z i n s k a s ,   M a n t a s ;   M i e l n i c z e k ,   W i t o l d 	 	 	 S e l e c t i n g   a   S m a l l   U n m a n n e d   A i r   V e h i c l e   S y s t e m   u s i n g   t h e   D A R P A   C r o w d s o u r c i n g   M o d e l 	 2 0 1 2   I E E E   I N T E R N A T I O N A L   S Y M P O S I U M   O N   S A F E T Y ,   S E C U R I T Y ,   A N D   R E S C U E   R O B O T I C S   ( S S R R ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   I n t e r n a t i o n a l   S y m p o s i u m   o n   S a f e t y ,   S e c u r i t y ,   a n d   R e s c u e   R o b o t i c s   ( S S R R ) 	 N O V   0 5 - 0 8 ,   2 0 1 2 	 C o l l e g e   S t a t i o n ,   T X 	 I E E E 	 	 D A R P A / S S C   A t l a n t i c ;   U A V F o r g e ;   C r o w d s o u r c i n g 	 	 T h e   U A V F o r g e   c h a l l e n g e ,   a n n o u n c e d   i n   J u l y   2 0 1 1 ,   w a s   d e s i g n e d   t o   b r i n g   t o g e t h e r   a   d i v e r s e   g r o u p   o f   U A V   e n t h u s i a s t s   t o   d e v e l o p   t h e   n e x t   g e n e r a t i o n   o f   l o w   c o s t ,   s m a l l   u n m a n n e d   a e r i a l   s y s t e m s   f o r   p e r c h   a n d   s t a r e   o p e r a t i o n s   i n   a   S S R R   c o n t e x t .   T h e   c h a l l e n g e   c o m b i n e d   a   c o l l a b o r a t i v e   w e b s i t e   w i t h   a   l i v e   c o m p e t i t i v e   f l y - o f f   e v e n t   h e l d   a t   F o r t   S t e w a r t ,   G e o r g i a   i n   M a y   2 0 1 2 .   U A V F o r g e   w a s   a   D e f e n s e   A d v a n c e d   R e s e a r c h   P r o j e c t s   A g e n c y   ( D A R P A )   a n d   S p a c e   a n d   N a v a l   W a r f a r e   S y s t e m s   C e n t e r ,   A t l a n t i c   ( S S C   A t l a n t i c )   i n i t i a t i v e   t o   l e v e r a g e   t h e   e x c h a n g e   o f   i d e a s   a m o n g   a n   i n t e r n a t i o n a l   c o m m u n i t y   u n i t e d   t h r o u g h   c o m m o n   i n t e r e s t s   a n d   i n s p i r e d   b y   c r e a t i v e   t h o u g h t .   M o r e   t h a n   1 4 0   t e a m s   a n d   3 , 5 0 0   r e g i s t e r e d   c i t i z e n   s c i e n t i s t s   f r o m   1 5 3   c o u n t r i e s   p a r t i c i p a t e d   i n   t h i s   y e a r - l o n g   e v e n t .   F r o m   s e v e r a l   s e l e c t i o n   r o u n d s ,   a   c o r e   o f   n i n e   t e a m s   c o m p e t e d   i n   t h e   f l y - o f f   e v e n t   a n d   i n   J u n e   2 0 1 2   T e a m   H A L O   f r o m   t h e   U K   w a s   d e c l a r e d   t h e   w i n n e r   s c o r i n g   4 7 . 7   p o i n t s   o u t   o f   a   m a x i m u m   p o s s i b l e   6 0   p o i n t s ,   w i t h   t h e i r   c o - a x i a l   t r i - r o t o r ,   Y 6   d e s i g n   o f   m a s s   2 . 5   k g   ( 3 0   m i n   e n d u r a n c e ) . 	 [ P r i o r ,   S t e p h e n   D . ;   E r b i l ,   M e h m e t   A l i ;   B r a z i n s k a s ,   M a n t a s ;   M i e l n i c z e k ,   W i t o l d ]   U n i v   S o u t h a m p t o n ,   S o u t h a m p t o n   S O 1 7   1 B J ,   H a n t s ,   E n g l a n d 	 P r i o r ,   S D   ( r e p r i n t   a u t h o r ) ,   U n i v   S o u t h a m p t o n ,   H i g h f i e l d   C a m p u s ,   S o u t h a m p t o n   S O 1 7   1 B J ,   H a n t s ,   E n g l a n d . 	 s . d . p r i o r @ s o t o n . a c . u k ;   m a e 1 g 1 2 @ s o t o n . a c . u k ;   m b 8 g 1 2 @ s o t o n . a c . u k 	 	 	 	 	 C a r a n c h o   T . ,   A E R O Q U A D   O P E N   S O U R C E ;   G r e e n g a r d   S ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 2 0 ,   D O I   1 0 . 1 1 4 5 / 1 8 9 7 8 1 6 . 1 8 9 7 8 2 4 	 2 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 7 9 9 - 0 1 6 5 - 4 ;   9 7 8 - 1 - 4 7 9 9 - 0 1 6 4 - 7 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 	 	 	 	 	 2 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   R o b o t i c s 	 E n g i n e e r i n g ;   R o b o t i c s 	 B H N 8 5 	 W O S : 0 0 0 3 2 6 0 1 6 8 0 0 0 5 0 	 	 
 S 	 A l i ,   K ;   A l - Y a s e e n ,   D ;   E j a z ,   A ;   J a v e d ,   T ;   H a s s a n e i n ,   H S 	 	 	 I E E E 	 A l i ,   K a s h i f ;   A l - Y a s e e n ,   D i n a ;   E j a z ,   A l i ;   J a v e d ,   T a y y a b ;   H a s s a n e i n ,   H o s s a m   S . 	 	 	 C r o w d I T S :   C r o w d s o u r c i n g   i n   I n t e l l i g e n t   T r a n s p o r t a t i o n   S y s t e m s 	 2 0 1 2   I E E E   W I R E L E S S   C O M M U N I C A T I O N S   A N D   N E T W O R K I N G   C O N F E R E N C E   ( W C N C ) 	 I E E E   W i r e l e s s   C o m m u n i c a t i o n s   a n d   N e t w o r k i n g   C o n f e r e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   W i r e l e s s   C o m m u n i c a t i o n s   a n d   N e t w o r k i n g   C o n f e r e n c e   ( W C N C ) 	 A P R   0 1 - 0 4 ,   2 0 1 2 	 P a r i s ,   F R A N C E 	 I E E E 	 	 	 	 I n t e l l i g e n t   T r a n s p o r t a t i o n   S y s t e m s   ( I T S )   a n d   t h e i r   a p p l i c a t i o n s   a r e   a t t r a c t i n g   s i g n i f i c a n t   a t t e n t i o n   i n   r e s e a r c h   a n d   i n d u s t r y .   I T S   m a k e s   u s e   o f   v a r i o u s   s e n s i n g   a n d   c o m m u n i c a t i o n   t e c h n o l o g i e s   t o   a s s i s t   t r a n s p o r t a t i o n   a u t h o r i t i e s   a n d   v e h i c l e s   d r i v e r s   i n   m a k i n g   i n f o r m a t i v e   d e c i s i o n s   a n d   p r o v i d e   l e i s u r e   a n d   s a f e   d r i v i n g   e x p e r i e n c e .   D a t a   c o l l e c t i o n   a n d   d i s p e r s i o n   a r e   o f   u t m o s t   i m p o r t a n c e   f o r   t h e   p r o p e r   o p e r a t i o n   o f   I T S   a p p l i c a t i o n s .   N u m e r o u s   s t a n d a r d s ,   a r c h i t e c t u r e s   a n d   c o m m u n i c a t i o n   p r o t o c o l s   h a v e   b e e n   a n t i c i p a t e d   f o r   I T S   a p p l i c a t i o n s .   H o w e v e r ,   e x i s t i n g   s c h e m e s   a r e   b a s e d   o n   a s s u m p t i o n   t h a t   v e h i c l e s   a n d   r o a d s i d e   d e v i c e s   a r e   e q u i p p e d   w i t h   s e n s i n g   a n d   c o m m u n i c a t i o n   c a p a b i l i t i e s .   O n e   o f   t h e   m a j o r   g a p s   o f   t h e s e   a p p r o a c h e s   i s   t h e i r   i n a b i l i t y   t o   c a p t u r e   e v e n t s   t h a t   c a n   e a s i l y   b e   l o g g e d   b y   d r i v e r s   u s i n g   t h e i r   m o b i l e   p h o n e s .   I n   t h i s   p a p e r ,   w e   p r o p o s e   t o   f i l l   t h e   g a p   b y   t h e   u s e   o f   C r o w d s o u r c i n g   i n   I T S   n a m e l y ,   C r o w d I T S .   I n   C r o w d I T S   h u m a n   i n p u t s ,   a l o n g   w i t h   a v a i l a b l e   s e n s o r y   d a t a ,   a r e   c o l l e c t e d   a n d   c o m m u n i c a t e d   t o   a   p r o c e s s i n g   s e r v e r   u s i n g   m o b i l e   p h o n e s .   T h e   b a s i c   i d e a   i s   t o   u s e   t h e   C r o w d   w i t h   s m a r t   m o b i l e   p h o n e s   t o   e n a b l e   c e r t a i n   I T S   a p p l i c a t i o n s   w i t h o u t   t h e   n e e d   o f   a n y   s p e c i a l   s e n s o r s   o r   c o m m u n i c a t i o n   d e v i c e s ,   b o t h   i n - v e h i c l e   a n d   o n - r o a d .   A l t e r n a t i v e l y ,   w e   i n t e g r a t e   a n d   a g g r e g a t e   h u m a n   i n p u t s   w i t h   m u l t i p l e   i n f o r m a t i o n   s o u r c e s ,   a n d   t h e n   s e l e c t i v e l y   d i s s e m i n a t e   t h e   a g g r e g a t e d   i n f o r m a t i o n   b a s e d   o n   t h e   d r i v e r ' s   g e o - l o c a t i o n .   C o n c e p t u a l l y ,   t h e   m a j o r   c h a n g e   i s   t o   i n t e g r a t e   h u m a n   i n p u t s ,   w i t h   m u l t i p l e   i n f o r m a t i o n   s o u r c e s ,   a g g r e g a t e   a n d   f i n a l l y   i t   i s   l o c a l i z e d   a c c o r d i n g   t o   t h e   d r i v e r ' s   g e o - l o c a t i o n .   W e   d e s c r i b e   t h e   d e s i g n   o f   C r o w d I T S ,   r e p o r t   o n   t h e   d e v e l o p m e n t   o f   k e y   I T S   a p p l i c a t i o n s   u s i n g   A n d r o i d   a n d   i P h o n e   m o b i l e   p h o n e s ,   a n d   o u t l i n e   t h e   f u t u r e   w o r k   i n   t h e   d e v e l o p m e n t   o f   c r o w d s o u r c e d - b a s e d   a p p l i c a t i o n s   f o r   i n t e l l i g e n t   t r a n s p o r t a t i o n   s y s t e m s . 	 [ A l i ,   K a s h i f ;   A l - Y a s e e n ,   D i n a ;   H a s s a n e i n ,   H o s s a m   S . ]   Q u e e n s   U n i v ,   S c h   C o m p ,   K i n g s t o n ,   O N ,   C a n a d a 	 A l i ,   K   ( r e p r i n t   a u t h o r ) ,   Q u e e n s   U n i v ,   S c h   C o m p ,   K i n g s t o n ,   O N ,   C a n a d a . 	 k a s h i f @ c s . q u e e n s u . c a ;   a l y a s e e n @ c s . q u e e n s u . c a ;   a l i . e j a z @ q u e e n s u . c a ;   9 t j 9 @ q u e e n s u . c a ;   h o s s a m @ c s . q u e e n s u . c a 	 	 	 	 	 B i s h o p   R . ,   2 0 0 5 ,   I N T E L L I G E N T   V E H I C L E ;   C o s t a   P a u l o   M o i s e s ,   2 0 0 8 ,   P o w e r   T e c h   2 0 0 7 ;   F r a n k l i n   M . J . ,   2 0 1 1 ,   P   2 0 1 1   A C M   S I G M O D   I N ,   P 6 1 ;   H a a s   Z J ,   2 0 0 6 ,   I E E E   A C M   T   N E T W O R K ,   V 1 4 ,   P 4 7 9 ,   D O I   1 0 . 1 1 0 9 / T N E T . 2 0 0 6 . 8 7 6 1 8 6 ;   H o w e   J . ,   2 0 0 9 ,   C R O W D S O U R C I N G   W H Y   P O ;   K o   Y B ,   2 0 0 0 ,   W I R E L   N E T W ,   V 6 ,   P 3 0 7 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 1 9 1 0 6 1 1 8 4 1 9 ;   N i c u l e s c u   D . ,   2 0 0 3 ,   P   9   A N N   I N T   C   M O B   C O ,   P 2 6 0 ;   O r d a n i n i   A ,   2 0 1 1 ,   J   S E R V   M A N A G E ,   V 2 2 ,   P 4 4 3 ,   D O I   1 0 . 1 1 0 8 / 0 9 5 6 4 2 3 1 1 1 1 1 5 5 0 7 9 ;   S p y r o p o u l o s   T . ,   2 0 0 5 ,   P   A C M   S I G C O M M   W O R K S H ,   P 2 5 2 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 0 8 0 1 3 9 . 1 0 8 0 1 4 3 ;   S u r o w i e c k i   J a m e s ,   2 0 0 5 ,   W I S D O M   C R O W D S ;   Z h a o   J . ,   2 0 0 6 ,   P   2 5   I E E E   I N T   C   C O M P ,   P 1 ,   D O I   1 0 . 1 1 0 9 / I N F O C O M . 2 0 0 6 . 2 9 8 ;   Z h a o   W . ,   2 0 0 4 ,   P   5   A C M   I N T   S   M O B   A D ,   P 1 8 7 ,   D O I   1 0 . 1 1 4 5 / 9 8 9 4 5 9 . 9 8 9 4 8 3 	 1 2 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 5 2 5 - 3 5 1 1 	 	 9 7 8 - 1 - 4 6 7 3 - 0 4 3 7 - 5 ;   9 7 8 - 1 - 4 6 7 3 - 0 4 3 6 - 8 	 I E E E   W C N C 	 	 	 2 0 1 2 	 	 	 	 	 	 	 3 3 0 7 	 3 3 1 1 	 	 	 	 5 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 B G Y 3 7 	 W O S : 0 0 0 3 2 4 5 8 0 7 0 3 0 7 4 	 	 
 J 	 L i n ,   Y L ;   A r o y o ,   L 	 	 T o r t o r a ,   G ;   L e v i a l d i ,   S ;   T u c c i ,   M 	 	 L i n ,   Y i - l i n g ;   A r o y o ,   L o r a 	 	 	 I n t e r a c t i v e   C u r a t i n g   o f   U s e r   T a g s   f o r   A u d i o v i s u a l   A r c h i v e s 	 P R O C E E D I N G S   O F   T H E   I N T E R N A T I O N A L   W O R K I N G   C O N F E R E N C E   O N   A D V A N C E D   V I S U A L   I N T E R F A C E S 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I n t e r n a t i o n a l   W o r k i n g   C o n f e r e n c e   o n   A d v a n c e d   V i s u a l   I n t e r f a c e s   ( A V I ) 	 M A Y   2 1 - 2 5 ,   2 0 1 2 	 I T A L Y 	 	 	 S o c i a l   t a g g i n g ;   F o l k s o n o m y ;   T a g   g a r d e n i n g ;   I n t e r a c t i v e   I n t e r f a c e s ;   C u l t u r a l   H e r i t a g e 	 F O L K S O N O M I E S 	 W i t h   t h e   r a p i d l y   i n c r e a s i n g   p o p u l a r i t y   o f   s o c i a l   s h a r i n g   s i t e s ,   t h e   t r a d i t i o n a l   m a n u a l   i n d e x i n g   t e c h n i q u e s   a r e   n o   l o n g e r   f e a s i b l e   t o   c o p e   w i t h   t h e   g r o w i n g   a m o u n t   o f   m u l t i m e d i a   c o n t e n t .   E m e r g i n g   f o l k s o n o m i e s   o f   u s e r   t a g s   t h r o u g h   c r o w d s o u r c i n g   p r o v i d e   a   p o t e n t i a l   f o r   t h e   c o l l a b o r a t i v e   a n n o t a t i o n   o f   v a r i o u s   t y p e s   o f   o n l i n e   m u l t i m e d i a   r e s o u r c e s .   H o w e v e r ,   t h e   s h o r t c o m i n g s   o f   f o l k s o n o m i e s   s t i l l   p r e s e n t   r e s e a r c h e r s   w i t h   c h a l l e n g e s   t o   e f f e c t i v e l y   u s e   t h e   c o l l e c t e d   u s e r   t a g s   i n   p r o f e s s i o n a l   o r   p u b l i c   c o l l e c t i o n s .   E x a m p l e s   o f   s u c h   c h a l l e n g e s   a r e   d e t e r m i n i n g   h o w   t o   t a c k l e   t h e   q u a l i t y   o f   t a g s ,   t o   u n d e r s t a n d   t a g s '   m e a n i n g   a n d   r e l e v a n c e   t o   t h e   r e s o u r c e   m a t e r i a l ,   a n d   t o   d e f i n e   q u a l i t y   p a r a m e t e r s   o f   t h e   f i n a l   (   t a r g e t e d )   a n n o t a t i o n s   o f   m u l t i m e d i a   r e s o u r c e s .   T h i s   w o r k   a d d r e s s e s   s u c h   c h a l l e n g e s   i n   a   c o n c r e t e   u s e   c a s e   -   t h e   c r o w d s o u r c i n g   v i d e o   a n n o t a t i o n   g a m e   c a l l e d   W a i s d a ? .   T h i s   g a m e   i s   u s e d   t o   c o l l e c t   u s e r   t a g s   f o r   v i d e o s   f r o m   t h e   D u t c h   N a t i o n a l   A u d i o v i s u a l   A r c h i v e   ' S o u n d   a n d   V i s i o n ' .   I n   t h i s   p a p e r   w e   e x p l o r e   t h e   i n t e r a c t i v e   a s p e c t s   o f   a   p o s t - g a m e   c r o w d s o u r c i n g   t o o l   c a l l e d   ' T a g   G a r d e n i n g '   f o r   c u r a t i n g   u s e r   t a g s .   W e   t a c k l e   t h e   c h a l l e n g e s   o f   b r i n g i n g   o u t   q u a l i t y   a n d   e x t r a c t i n g   m e a n i n g   f r o m   t h e   u s e r   t a g s   i n   o r d e r   t o   f i n a l l y   a c h i e v e   s a t i s f a c t o r y   v i d e o   a n n o t a t i o n s . 	 [ L i n ,   Y i - l i n g ]   U n i v   P i t t s b u r g h ,   P i t t s b u r g h ,   P A   1 5 2 6 0   U S A 	 L i n ,   Y L   ( r e p r i n t   a u t h o r ) ,   U n i v   P i t t s b u r g h ,   1 3 5   N o r t h   B e l l e f i e l d   A v e ,   P i t t s b u r g h ,   P A   1 5 2 6 0   U S A . 	 y i l 5 4 @ p i t t . e d u ;   l . m . a r o y o @ c s . v u . n l 	 	 	 	 	 B a l t u s s e n   L . B . ,   2 0 1 0 ,   B A R B A R I A N S   V E R S U S   G A ,   P 4 4 ;   B e g e l m a n   G . ,   2 0 0 6 ,   C O L L   W E B   T A G G   W O R K S H ,   V 2 2 ,   P 1 5 ;   C a p o c c i   A . ,   2 0 0 8 ,   J   P H Y S   A ,   V 4 1 ,   P 2 2 ;   D a m m e   C . V . ,   2 0 0 7 ,   B R I D G I N G   G A P   S E M A N T I ,   V 2 ,   P 5 7 ;   F i c h t e r   D ,   2 0 0 6 ,   O N L I N E ,   V 3 0 ,   P 4 3 ;   G l i g o r o v   R . ,   2 0 1 0 ,   W E B   S C I ;   G o v e r n o r   J a m e s ,   2 0 0 6 ,   E M   P R O F   T A G   G A R D ;   H i l d e b r a n d   M ,   2 0 1 1 ,   M U L T I M E D I A   S E M A N T I C S :   M E T A D A T A ,   A N A L Y S I S   A N D   I N T E R A C T I O N ,   P 2 6 1 ;   O o m e n   J . ,   2 0 1 0 ,   W E B   S C I   1 0   E X T E N D I N G ;   P l a n g p r a s o p c h o k   A . ,   2 0 1 0 ,   K D D 2 0 1 0 ,   P 9 4 9 ;   R o l l a   P J ,   2 0 0 9 ,   L I B R   R E S O U R   T E C H   S E R ,   V 5 3 ,   P 1 7 4 ;   S i g u r b j o r n s s o n   B . ,   2 0 0 8 ,   P   1 7   I N T   C   W O R L D   W I D ,   P 3 2 7 ,   D O I   1 0 . 1 1 4 5 / 1 3 6 7 4 9 7 . 1 3 6 7 5 4 2 ;   S p e c i a   L ,   2 0 0 7 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 5 1 9 ,   P 6 2 4 ;   T r a t t n e r   C . ,   2 0 1 1 ,   I   K N O W   1 1 ;   v a n   E e s   A n n e l i e s ,   2 0 1 0 ,   T A G   7 0   0 0 0   V I D E O S   P O ,   P 6 6 ;   v o n   A h n   L ,   2 0 0 6 ,   C O M P U T E R ,   V 3 9 ,   P 9 2 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 6 . 1 9 6 ;   W e l l e r   I . P . ,   2 0 0 8 ,   W E B O L O G Y ,   V 5 ,   P 3 	 1 7 	 0 	 0 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 1 5 1 5   B R O A D W A Y ,   N E W   Y O R K ,   N Y   1 0 0 3 6 - 9 9 9 8   U S A 	 	 	 9 7 8 - 1 - 4 5 0 3 - 1 2 8 7 - 5 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 6 8 5 	 6 8 8 	 	 1 0 . 1 1 4 5 / 2 2 5 4 5 5 6 . 2 2 5 4 6 8 5 	 	 4 	 C o m p u t e r   S c i e n c e ,   C y b e r n e t i c s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 B G J 2 8 	 W O S : 0 0 0 3 2 3 2 1 4 9 0 0 1 1 5 	 	 
 J 	 H a r u e c h a i y a s a k ,   C ;   P a i l a i ,   J 	 	 S h e n ,   C W ;   K u o ,   S Y ;   D a l K w a c k ,   K ;   C h e n ,   Y W ;   H s u ,   P Y ;   K o ,   F 	 	 H a r u e c h a i y a s a k ,   C h o o c h a r t ;   P a i l a i ,   J a r u w a t 	 	 	 A R S A :   A n   A r c h i v e   S o c i a l   A n n o t a t i o n   T o o l   f o r   C o n t e n t   D i g i t i z a t i o n 	 2 0 1 2   6 T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   N E W   T R E N D S   I N   I N F O R M A T I O N   S C I E N C E ,   S E R V I C E   S C I E N C E   A N D   D A T A   M I N I N G   ( I S S D M 2 0 1 2 ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 6 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   N e w   T r e n d s   i n   I n f o r m a t i o n   S c i e n c e ,   S e r v i c e   S c i e n c e   a n d   D a t a   M i n i n g   ( I S S D M ) 	 O C T   2 3 - 2 5 ,   2 0 1 2 	 T a i p e i ,   T A I W A N 	 I n s t   E l e c t   &   E l e c t   E n g i n e e r s   ( I E E E ) ,   I n s t   E l e c t   &   E l e c t   E n g i n e e r s   ( I E E E ) ,   T a i p e i   S e c t ,   I n s t   E l e c t   &   E l e c t   E n g i n e e r s   ( I E E E ) ,   K o r e a   C o u n c i l ,   A I C I T ,   N a t l   C e n t   U n i v 	 	 C o n t e n t   a n n o t a t i o n ;   t r a n s c r i p t i o n ;   d i g i t a l   a r c h i v e ;   c r o w d s o u r c i n g ;   s o c i a l   n e t w o r k i n g ;   F a c e b o o k 	 	 T h e   p r o c e s s   o f   a n n o t a t i n g   m u l t i m e d i a   c o n t e n t s   ( s u c h   a s   a u d i o   t i l e s   a n d   i m a g e   d o c u m e n t s )   i n   d i g i t a l   a r c h i v e   r e q u i r e s   t h r e e   t y p e s   o f   r e s o u r c e   i n c l u d i n g   h u m a n ,   t i m e   a n d   m o n e y .   T o d a y   w o r l d w i d e   d i g i t a l   a r c h i v e s   h a v e   i n c r e a s e d   i n   t h e i r   s i z e s .   A s   a   r e s u l t ,   t h e   c o n t e n t   a n n o t a t i o n   w o u l d   r e q u i r e   a   l a r g e   a m o u n t   o f   r e s o u r c e s .   T o   h e l p   r e d u c e   t h e   c o s t   a s s o c i a t e d   w i t h   t h e   c o n t e n t   a n n o t a t i o n ,   w e   h a v e   d e s i g n e d   a   f r a m e w o r k   c a l l e d   A R S A   ( A R c h i v e   S o c i a l   A n n o t a t i o n )   t o   p r o v i d e   a   c o n v e n i e n t   p l a t f o r m   f o r   u s e r s   t o   a n n o t a t e   d i g i t a l   c o n t e n t s   i n   s o c i a l   n e t w o r k i n g   e n v i r o n m e n t .   A R S A   a d o p t s   t h e   c o n c e p t   o f   c r o w d s o u r c i n g   w h i c h   a l l o w s   u s e r s   t o   c o l l a b o r a t e   i n   c o n t e n t   a n n o t a t i o n   t a s k .   T h e   c u r r e n t   v e r s i o n   o f   A R S A   h a s   b e e n   d e s i g n e d   a n d   i m p l e m e n t e d   f o r   t h e   B u d d h a d a s a   I n d a p a n n o   A r c h i v e s   ( B I A ) .   T h e   c o n t e n t s   a r e   i n   t w o   f o r m a t s ,   ( 1 )   a u d i o   f i l e s   a n d   ( 2 )   i m a g e   d o c u m e n t s   o f   h a n d w r i t t e n   a n d   t y p e w r i t t e n   t e x t s .   B o t h   c o n t e n t s   a r e   r e l a t e d   t o   B u d d h a d a s a ' s   d h a m m a   t e a c h i n g .   A R S A   p r o v i d e s   a   u s e r - f r i e n d l y   a n d   s o c i a l l y   c o n n e c t e d   i n t e r f a c e   f o r   v o l u n t e e r s   t o   t r a n s c r i b e   a u d i o   f i l e s   a n d   i m a g e   d o c u m e n t s .   T h e   t r a n s c r i b e d   t e x t s   c o u l d   b e   u s e d   t o   i m p l e m e n t   a   s e a r c h   e n g i n e   f o r   f u l l - t e x t   s e a r c h   o r   u s e d   f o r   p r e p a r i n g   p r i n t e d   m a t e r i a l s . 	 [ H a r u e c h a i y a s a k ,   C h o o c h a r t ]   N a t l   E l e c t   &   C o m p   T e c h n o l   C t r   N E C T E C ,   S p e e c h   &   A u d i o   T e c h n o l   L a b   S P T ,   K l o n g l u a n g   1 2 1 2 0 ,   P a t h u m t h a n i ,   T h a i l a n d 	 	 c h o o c h a r t . h a r u e c h a i y a s a k @ n e c t e c . o r . t h 	 	 	 	 	 A m e s   M ,   2 0 0 7 ,   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1   A N D   2 ,   P 9 7 1 ;   B u r a n a s i n g   W . ,   2 0 1 0 ,   N E C T E C   T E C H N I C A L   J ,   V 1 0 ;   C h e n   S Y ,   2 0 0 8 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 3 6 2 ,   P 4 1 4 ;   D i n g   X . ,   2 0 0 4 ,   P   D O C   I M   A N   L I B   P A L ,   P 4 6 ;   F a g a   R ,   2 0 1 0 ,   D O C E N G 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 0 1 0   A C M   S Y M P O S I U M   O N   D O C U M E N T   E N G I N E E R I N G ,   P 1 7 ;   G l a d n e y   H M ,   2 0 0 6 ,   C O M M U N   A C M ,   V 4 9 ,   P 1 1 1 ,   D O I   1 0 . 1 1 4 5 / 1 1 1 3 0 3 4 . 1 1 1 3 0 3 8 ;   G o t s c h a r e k   A ,   2 0 0 9 ,   D O C E N G ' 0 9 :   P R O C E E D I N G S   O F   T H E   2 0 0 9   A C M   S Y M P O S I U M   O N   D O C U M E N T   E N G I N E E R I N G ,   P 1 9 3 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   M a r o s o   A L ,   2 0 0 5 ,   P r o c e e d i n g s   o f   t h e   5 t h   A C M / I E E E   J o i n t   C o n f e r e n c e   o n   D i g i t a l   L i b r a r i e s ,   P r o c e e d i n g s ,   P 3 9 0 ,   D O I   1 0 . 1 1 4 5 / 1 0 6 5 3 8 5 . 1 0 6 5 4 9 3 ;   N i c o l a s   S . ,   2 0 0 3 ,   P   2 0 0 3   A C M   S   D O C   E N G ,   P 5 5 ;   O l t m a n s   E . ,   2 0 0 4 ,   P r o c e e d i n g s   o f   t h e   F o u r t h   A C M / I E E E   J o i n t   C o n f e r e n c e   o n   D i g i t a l   L i b r a r i e s   ( I E E E   C a t .   N o . 0 4 T H 8 7 6 6 ) ,   D O I   1 0 . 1 1 4 5 / 9 9 6 3 5 0 . 9 9 6 4 1 6 ;   P i o t r o w s k i   M ,   2 0 1 0 ,   D O C E N G 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 0 1 0   A C M   S Y M P O S I U M   O N   D O C U M E N T   E N G I N E E R I N G ,   P 2 2 3 ;   V o n d r i c k   C ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 3 1 4 ,   P 6 1 0 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 5 5 6 1 - 1 _ 4 4 ;   W u   S . - Y . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 1 5 3 1 ;   Z O G L A   A ,   2 0 1 0 ,   P   4   I N T   C   B A L T   H L T ,   V 2 1 9 ,   P 1 7 7 	 1 5 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 6 7 3 - 0 8 7 6 - 2 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 7 7 9 	 7 8 4 	 	 	 	 6 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 C o m p u t e r   S c i e n c e ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 B G W 3 1 	 W O S : 0 0 0 3 2 4 3 7 1 9 0 0 1 5 0 	 	 
 J 	 L a s e c k i ,   W S ;   W e s l e y ,   R ;   B i g h a m ,   J P ;   K u l k a r n i ,   A 	 	 	 A C M 	 L a s e c k i ,   W a l t e r   S . ;   W e s l e y ,   R a c h e l ;   B i g h a m ,   J e f f r e y   P . ;   K u l k a r n i ,   A n a n d 	 	 	 S p e a k i n g   W i t h   t h e   C r o w d 	 A D J U N C T   P R O C E E D I N G S   O F   T H E   2 5 T H   A N N U A L   A C M   S Y M P O S I U M   O N   U S E R   I N T E R F A C E   S O F T W A R E   A N D   T E C H N O L O G Y 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 2 5 t h   A n n u a l   A C M   S y m p o s i u m   o n   U s e r   I n t e r f a c e   S o f t w a r e   a n d   T e c h n o l o g y   ( U I S T ) 	 O C T   0 7 - 1 0 ,   2 0 1 2 	 C a m b r i d g e ,   M A 	 A C M ,   A C M ,   S p e c i a l   I n t e r e s t   G r p   C o m p   H u m a n   I n t e r a c t ,   A C M ,   S p e c i a l   I n t e r e s t   G r p   C o m p   G r a p h 	 	 C o n v e r s a t i o n a l   I n t e r f a c e s ;   C r o w d s o u r c i n g 	 	 A u t o m a t e d   s y s t e m s   a r e   n o t   y e t   a b l e   t o   e n g a g e   i n   a   r o b u s t   d i a l o g u e   w i t h   u s e r s   d u e   t h e   c o m p l e x i t y   a n d   a m b i g u i t y   o f   n a t u r a l   l a n g u a g e .   H o w e v e r ,   h u m a n s   c a n   e a s i l y   c o n v e r s e   w i t h   o n e   a n o t h e r   a n d   m a i n t a i n   a   s h a r e d   h i s t o r y   o f   p a s t   i n t e r a c t i o n s .   I n   t h i s   p a p e r ,   w e   i n t r o d u c e   C h o r u s ,   a   s y s t e m   t h a t   e n a b l e s   r e a l - t i m e ,   t w o - w a y   n a t u r a l   l a n g u a g e   c o n v e r s a t i o n   b e t w e e n   a n   e n d   u s e r   a n d   a   c r o w d   a c t i n g   a s   a   s i n g l e   a g e n t .   C h o r u s   i s   c a p a b l e   o f   m a i n t a i n i n g   a   c o n s i s t e n t ,   o n - t o p i c   c o n v e r s a t i o n   w i t h   e n d   u s e r s   a c r o s s   m u l t i p l e   s e s s i o n s ,   d e s p i t e   c o n s t i t u e n t   i n d i v i d u a l s   p e r p e t u a l l y   j o i n i n g   a n d   l e a v i n g   t h e   c r o w d .   T h i s   i s   e n a b l e d   b y   u s i n g   a   c u r a t e d   s h a r e d   d i a l o g u e   h i s t o r y .   E v e n   t h o u g h   c r o w d   m e m b e r s   a r e   c o n s t a n t l y   p r o v i d i n g   i n p u t ,   w e   p r e s e n t   u s e r s   w i t h   a   s t r e a m   o f   d i a l o g u e   t h a t   a p p e a r s   t o   b e   f r o m   a   s i n g l e   c o n v e r s a t i o n a l   p a r t n e r .   E x p e r i m e n t s   d e m o n s t r a t e   t h a t   d i a l o g u e   w i t h   C h o r u s   d i s p l a y s   e l e m e n t s   o f   c o n v e r s a t i o n a l   m e m o r y   a n d   i n t e r a c t i o n   c o n s i s t e n c y .   W o r k e r s   w e r e   a b l e   t o   a n s w e r   8 4 . 6 %   o f   u s e r   q u e r i e s   c o r r e c t l y ,   d e m o n s t r a t i n g   t h a t   c r o w d - p o w e r e d   c o m m u n i c a t i o n   i n t e r f a c e s   c a n   s e r v e   a s   a   r o b u s t   m e a n s   o f   i n t e r a c t i n g   w i t h   s o f t w a r e   s y s t e m s . 	 [ L a s e c k i ,   W a l t e r   S . ;   W e s l e y ,   R a c h e l ;   B i g h a m ,   J e f f r e y   P . ]   U n i v   R o c h e s t e r ,   R O C   H C I ,   R o c h e s t e r ,   N Y   1 4 6 2 7   U S A 	 L a s e c k i ,   W S   ( r e p r i n t   a u t h o r ) ,   U n i v   R o c h e s t e r ,   R O C   H C I ,   R o c h e s t e r ,   N Y   1 4 6 2 7   U S A . 	 w l a s e c k i @ c s . r o c h e s t e r . e d u ;   r w e s l e y 2 @ u . r o c h e s t e r . e d u ;   j b i g h a m @ c s . r o c h e s t e r . e d u ;   a n a n d k @ b e r k e l e y . e d u 	 	 	 	 	 A L L E N   J F ,   1 9 9 5 ,   J   E X P   T H E O R   A R T I F   I N ,   V 7 ,   P 7 ,   D O I   1 0 . 1 0 8 0 / 0 9 5 2 8 1 3 9 5 0 8 9 5 3 7 9 9 ;   B e r n s t e i n   M . S . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 3 1 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 7 8 ;   B i g h a m   J . P . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 3 3 3 ,   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 8 0 ;   K u l k a r n i   A .   P . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   E X T   H U M ,   P 2 0 5 3 ;   L a s e c k i   W . ,   2 0 1 1 ,   P   2 4   A N N   A C M   S   U S   I N ,   P 2 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 0 4 7 1 9 6 . 2 0 4 7 2 0 0 ;   Z h a n g   H . ,   2 0 1 2 ,   P   C H I   2 0 1 2   I N   P R E S S 	 6 	 0 	 0 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 1 5 1 5   B R O A D W A Y ,   N E W   Y O R K ,   N Y   1 0 0 3 6 - 9 9 9 8   U S A 	 	 	 9 7 8 - 1 - 4 5 0 3 - 1 5 8 2 - 1 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 2 5 	 2 6 	 	 	 	 2 	 C o m p u t e r   S c i e n c e ,   C y b e r n e t i c s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 B H D 2 7 	 W O S : 0 0 0 3 2 5 0 7 2 1 0 0 0 1 3 	 	 
 J 	 L a s e c k i ,   W S ;   H e ,   G ;   B i g h a m ,   J P ;   L a u ,   T 	 	 	 A C M 	 L a s e c k i ,   W a l t e r   S . ;   H e ,   G r a n t ;   B i g h a m ,   J e f f r e y   P . ;   L a u ,   T e s s a 	 	 	 C r o w d - B a s e d   R e c o g n i t i o n   o f   W e b   I n t e r a c t i o n   P a t t e r n s 	 A D J U N C T   P R O C E E D I N G S   O F   T H E   2 5 T H   A N N U A L   A C M   S Y M P O S I U M   O N   U S E R   I N T E R F A C E   S O F T W A R E   A N D   T E C H N O L O G Y 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 2 5 t h   A n n u a l   A C M   S y m p o s i u m   o n   U s e r   I n t e r f a c e   S o f t w a r e   a n d   T e c h n o l o g y   ( U I S T ) 	 O C T   0 7 - 1 0 ,   2 0 1 2 	 C a m b r i d g e ,   M A 	 A C M ,   A C M ,   S p e c i a l   I n t e r e s t   G r p   C o m p   H u m a n   I n t e r a c t ,   A C M ,   S p e c i a l   I n t e r e s t   G r p   C o m p   G r a p h 	 	 I n t e r a c t i o n   P a t t e r n s ;   W e b   A u t o m a t i o n ;   C r o w d s o u r c i n g 	 	 W e b   a u t o m a t i o n   o f t e n   i n v o l v e s   u s e r s   d e s c r i b i n g   c o m p l e x   t a s k s   t o   a   s y s t e m ,   w i t h   d i r e c t i v e s   g e n e r a l l y   l i m i t e d   t o   l o w - l e v e l   c o n s t i t u e n t   a c t i o n s   l i k e   " c l i c k   t h e   s e a r c h   b u t t o n . "   T h i s   l e v e l   o f   d e s c r i p t i o n   i s   u n n a t u r a l   a n d   m a k e s   i t   d i f f i c u l t   t o   g e n e r a l i z e   t h e   t a s k   a c r o s s   w e b s i t e s .   I n   t h i s   p a p e r ,   w e   p r o p o s e   a   s y s t e m   f o r   a u t o m a t i c a l l y   r e c o g n i z i n g   h i g h e r - l e v e l   i n t e r a c t i o n   p a t t e r n s   f r o m   u s e r ' s   c o m p l e t i o n   o f   t a s k s ,   s u c h   a s   " s e a r c h i n g   f o r   c a t   v i d e o s "   o r   " r e p l y i n g   t o   a   p o s t " .   W e   p r e s e n t   P a t F i n d e r ,   a   s y s t e m   t h a t   i d e n t i f i e s   t h e s e   p a t t e r n s   u s i n g   t h e   i n p u t   o f   c r o w d   w o r k e r s .   W e   v a l i d a t e   t h e   s y s t e m   b y   g e n e r a t i n g   d a t a   f o r   1 0   t a s k s ,   h a v i n g   6 2   c r o w d   w o r k e r s   l a b e l   t h e m ,   a n d   a u t o m a t i c a l l y   e x t r a c t i n g   1 4   i n t e r a c t i o n   p a t t e r n s .   O u r   r e s u l t s   s h o w   t h a t   t h e   n u m b e r   o f   p a t t e r n s   g r o w s   s u b l i n e a r l y   w i t h   t h e   n u m b e r   o f   t a s k s ,   s u g g e s t i n g   t h a t   a   s m a l l   f i n i t e   s e t   o f   p a t t e r n s   m a y   s u f f i c e   t o   d e s c r i b e   t h e   v a s t   m a j o r i t y   o f   t a s k s   o n   t h e   w e b . 	 [ L a s e c k i ,   W a l t e r   S . ;   H e ,   G r a n t ;   B i g h a m ,   J e f f r e y   P . ]   U n i v   R o c h e s t e r ,   R O C   H C I ,   R o c h e s t e r ,   N Y   1 4 6 2 7   U S A 	 L a s e c k i ,   W S   ( r e p r i n t   a u t h o r ) ,   U n i v   R o c h e s t e r ,   R O C   H C I ,   6 0 1   E l m w o o d   A v e ,   R o c h e s t e r ,   N Y   1 4 6 2 7   U S A . 	 w l a s e c k i @ c s . r o c h e s t e r . e d u ;   g h e 3 @ c s . r o c h e s t e r . e d u ;   j b i g h a m @ c s . r o c h e s t e r . e d u ;   t e s s a l a u @ u s . i b m . c o m 	 	 	 	 	 A l l e n   J . ,   A A A I   2 0 0 7 ,   P 1 5 1 4 ;   B i r d   S . ,   2 0 0 9 ,   N A T U R A L   L A N G U A G E   P R O ;   L a s e c k i   W .   S . ,   2 0 1 2 ,   R E A L   T I M E   C R O W   U N P U B ;   L a u   T . ,   U I S T   2 0 1 0 ,   P 2 2 9 ;   M a h m u d   J . ,   W W W   2 0 0 9 ,   P 8 7 1 ;   M I L L E R   G A ,   1 9 9 5 ,   C O M M U N   A C M ,   V 3 8 ,   P 3 9 ,   D O I   1 0 . 1 1 4 5 / 2 1 9 7 1 7 . 2 1 9 7 4 8 ;   S c h u l e r   K K ,   2 0 0 5 ,   T H E S I S   U   P E N N S Y L V A N I 	 7 	 0 	 0 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 1 5 1 5   B R O A D W A Y ,   N E W   Y O R K ,   N Y   1 0 0 3 6 - 9 9 9 8   U S A 	 	 	 9 7 8 - 1 - 4 5 0 3 - 1 5 8 2 - 1 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 9 9 	 1 0 0 	 	 	 	 2 	 C o m p u t e r   S c i e n c e ,   C y b e r n e t i c s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 B H D 2 7 	 W O S : 0 0 0 3 2 5 0 7 2 1 0 0 0 4 2 	 	 
 J 	 L a s e c k i ,   W S ;   M i l l e r ,   C D ;   S a d i l e k ,   A ;   A b u m o u s s a ,   A ;   B o r r e l l o ,   D ;   K u s h a l n a g a r ,   R ;   B i g h a m ,   J P 	 	 	 A C M 	 L a s e c k i ,   W a l t e r   S . ;   M i l l e r ,   C h r i s t o p h e r   D . ;   S a d i l e k ,   A d a m ;   A b u m o u s s a ,   A n d r e w ;   B o r r e l l o ,   D o n a t o ;   K u s h a l n a g a r ,   R a j a ;   B i g h a m ,   J e f f r e y   P . 	 	 	 R e a l - T i m e   C a p t i o n i n g   b y   G r o u p s   o f   N o n - E x p e r t s 	 U I S T ' 1 2 :   P R O C E E D I N G S   O F   T H E   2 5 T H   A N N U A L   A C M   S Y M P O S I U M   O N   U S E R   I N T E R F A C E   S O F T W A R E   A N D   T E C H N O L O G Y 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 2 5 t h   A n n u a l   A C M   S y m p o s i u m   o n   U s e r   I n t e r f a c e   S o f t w a r e   a n d   T e c h n o l o g y   ( U I S T ) 	 O C T   0 7 - 1 0 ,   2 0 1 2 	 C a m b r i d g e ,   M A 	 A C M ,   A C M ,   S p e c i a l   I n t e r e s t   G r p   C o m p   H u m a n   I n t e r a c t ,   A C M ,   S p e c i a l   I n t e r e s t   G r p   C o m p   G r a p h 	 	 r e a l - t i m e ;   c a p t i o n i n g ;   t r a n s c r i p t i o n ;   d e a f ;   h a r d   o f   h e a r i n g ;   t e x t   a l i g n m e n t ;   c r o w d s o u r c i n g 	 P E R F O R M A N C E ;   S E Q U E N C E 	 R e a l - t i m e   c a p t i o n i n g   p r o v i d e s   d e a f   a n d   h a r d   o f   h e a r i n g   p e o p l e   i m m e d i a t e   a c c e s s   t o   s p o k e n   l a n g u a g e   a n d   e n a b l e s   p a r t i c i p a t i o n   i n   d i a l o g u e   w i t h   o t h e r s .   L o w   l a t e n c y   i s   c r i t i c a l   b e c a u s e   i t   a l l o w s   s p e e c h   t o   b e   p a i r e d   w i t h   r e l e v a n t   v i s u a l   c u e s .   C u r r e n t l y ,   t h e   o n l y   r e l i a b l e   s o u r c e   o f   r e a l - t i m e   c a p t i o n s   a r e   e x p e n s i v e   s t e n o g r a p h e r s   w h o   m u s t   b e   r e c r u i t e d   i n   a d v a n c e   a n d   w h o   a r e   t r a i n e d   t o   u s e   s p e c i a l i z e d   k e y b o a r d s .   A u t o m a t i c   s p e e c h   r e c o g n i t i o n   ( A S R )   i s   l e s s   e x p e n s i v e   a n d   a v a i l a b l e   o n - d e m a n d ,   b u t   i t s   l o w   a c c u r a c y ,   h i g h   n o i s e   s e n s i t i v i t y ,   a n d   n e e d   f o r   t r a i n i n g   b e f o r e h a n d   r e n d e r   i t   u n u s a b l e   i n   r e a l - w o r l d   s i t u a t i o n s .   I n   t h i s   p a p e r ,   w e   i n t r o d u c e   a   n e w   a p p r o a c h   i n   w h i c h   g r o u p s   o f   n o n - e x p e r t   c a p t i o n i s t s   ( p e o p l e   w h o   c a n   h e a r   a n d   t y p e )   c o l l e c t i v e l y   c a p t i o n   s p e e c h   i n   r e a l - t i m e   o n - d e m a n d .   W e   p r e s e n t   L E G I O N :   S   C R I B E ,   a n   e n d - t o - e n d   s y s t e m   t h a t   a l l o w s   d e a f   p e o p l e   t o   r e q u e s t   c a p t i o n s   a t   a n y   t i m e .   W e   i n t r o d u c e   a n   a l g o r i t h m   f o r   m e r g i n g   p a r t i a l   c a p t i o n s   i n t o   a   s i n g l e   o u t p u t   s t r e a m   i n   r e a l - t i m e ,   a n d   a   c a p t i o n i n g   i n t e r f a c e   d e s i g n e d   t o   e n c o u r a g e   c o v e r a g e   o f   t h e   e n t i r e   a u d i o   s t r e a m .   E v a l u a t i o n   w i t h   2 0   l o c a l   p a r t i c i p a n t s   a n d   1 8   c r o w d   w o r k e r s   s h o w s   t h a t   n o n - e x p e r t s   c a n   p r o v i d e   a n   e f f e c t i v e   s o l u t i o n   f o r   c a p t i o n i n g ,   a c c u r a t e l y   c o v e r i n g   a n   a v e r a g e   o f   9 3 . 2 %   o f   a n   a u d i o   s t r e a m   w i t h   o n l y   1 0   w o r k e r s   a n d   a n   a v e r a g e   p e r - w o r d   l a t e n c y   o f   2 . 9   s e c o n d s .   M o r e   g e n e r a l l y ,   o u r   m o d e l   i n   w h i c h   m u l t i p l e   w o r k e r s   c o n t r i b u t e   p a r t i a l   i n p u t s   t h a t   a r e   a u t o m a t i c a l l y   m e r g e d   i n   r e a l - t i m e   m a y   b e   e x t e n d e d   t o   a l l o w   d y n a m i c   g r o u p s   t o   s u r p a s s   c o n s t i t u e n t   i n d i v i d u a l s   ( e v e n   e x p e r t s )   o n   a   v a r i e t y   o f   h u m a n   p e r f o r m a n c e   t a s k s . 	 [ L a s e c k i ,   W a l t e r   S . ;   M i l l e r ,   C h r i s t o p h e r   D . ;   S a d i l e k ,   A d a m ;   A b u m o u s s a ,   A n d r e w ;   B o r r e l l o ,   D o n a t o ;   B i g h a m ,   J e f f r e y   P . ]   U n i v   R o c h e s t e r ,   R O C   H C I ,   R o c h e s t e r ,   N Y   1 4 6 2 3   U S A 	 L a s e c k i ,   W S   ( r e p r i n t   a u t h o r ) ,   U n i v   R o c h e s t e r ,   R O C   H C I ,   R o c h e s t e r ,   N Y   1 4 6 2 3   U S A . 	 w l a s e c k i @ c s . r o c h e s t e r . e d u ;   c . m i l l e r @ r o c h e s t e r . e d u ;   s a d i l e k @ c s . r o c h e s t e r . e d u ;   a b u m o u s s @ c s . r o c h e s t e r . e d u ;   d o n a t o . b o r r e l l o @ r o c h e s t e r . e d u ;   r s k i c s @ r i t . e d u ;   j b i g h a m @ c s . r o c h e s t e r . e d u 	 	 	 	 	 J e n s e m a   C ,   1 9 9 6 ,   A M   A N N   D E A F ,   V 1 4 1 ,   P 2 8 4 ;   [ A n o n y m o u s ] ,   1 9 9 4 ,   D E M O G R A P H I C   A S P E C T S ;   B e r n s t e i n   M . S . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 3 1 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 7 8 ;   B e r n s t e i n   M . S . ,   2 0 1 1 ,   P   2 4   A N N   A C M   S   U S   I N ,   P 3 3 ;   B i g h a m   J . P . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 3 3 3 ,   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 8 0 ;   B i g h a m   J P ,   2 0 1 1 ,   A S S E T S   1 1 :   P R O C E E D I N G S   O F   T H E   1 3 T H   I N T E R N A T I O N A L   A C M   S I G A C C E S S   C O N F E R E N C E   O N   C O M P U T E R S   A N D   A C C E S S I B I L I T Y ,   P 3 ;   C h i l t o n   L . ,   2 0 0 9 ,   T H E S I S   M I T ;   C o o k e   M ,   2 0 0 1 ,   S P E E C H   C O M M U N ,   V 3 4 ,   P 2 6 7 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 7 - 6 3 9 3 ( 0 0 ) 0 0 0 3 4 - 0 ;   C o o p e r   S ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 7 5 6 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 9 3 0 4 ;   C u i   X D ,   2 0 0 8 ,   I N T   C O N F   A C O U S T   S P E E ,   P 5 1 2 1 ;   D A M E R A U   F J ,   1 9 6 4 ,   C O M M U N   A C M ,   V 7 ,   P 1 7 1 ,   D O I   1 0 . 1 1 4 5 / 3 6 3 9 5 8 . 3 6 3 9 9 4 ;   E d g a r   R C ,   2 0 0 4 ,   N U C L E I C   A C I D S   R E S ,   V 3 2 ,   P 1 7 9 2 ,   D O I   1 0 . 1 0 9 3 / n a r / g k h 3 4 0 ;   E l l i o t   L .   B . ,   2 0 0 8 ,   A M   E D   R E S   A S S   A N N   M ;   F e l s e n s t e i n   J ,   2 0 0 4 ,   I N F E R R I N G   P H Y T O G E N I E ;   F L O W E R D E W   J L ,   1 9 9 2 ,   D I S C O U R S E   P R O C E S S ,   V 1 5 ,   P 1 6 5 ;   I m a i   T . ,   2 0 0 2 ,   I C S L P ,   P 1 7 5 7 ;   K a d r i   H . ,   2 0 0 8 ,   P   E U R   S I G N   P R O C   C   E U ;   K i t t u r   A . ,   2 0 1 1 ,   P   2 4   A N N   A C M   S   U S   I N ,   P 4 3 ;   L a s e c k i   W . ,   2 0 1 1 ,   P   2 4   A N N   A C M   S   U S   I N ,   P 2 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 0 4 7 1 9 6 . 2 0 4 7 2 0 0 ;   L a s e c k i   W .   S . ,   2 0 1 2 ,   P   C O L L   I N T   2 0 1 2 ;   L i e m   Y .   C .   B e a t r i c e ,   2 0 1 1 ,   P   3   W O R K S H   H U M   C O M P ;   L i t t l e   G . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 5 7 ,   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 4 0 ;   M a t t h e w s   T ,   2 0 0 6 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 2 0 6 ,   P 1 5 9 ;   N E E D L E M A . S B ,   1 9 7 0 ,   J   M O L   B I O L ,   V 4 8 ,   P 4 4 3 ,   D O I   1 0 . 1 0 1 6 / 0 0 2 2 - 2 8 3 6 ( 7 0 ) 9 0 0 5 7 - 4 ;   S u t t o n   C . ,   2 0 0 6 ,   I N T R O   C O N D I T I O N A L   R A ;   T r i t s c h l e r   A . ,   1 9 9 9 ,   6   E U R   C   S P E E C H   C O M M ;   v a n   d e n   B r i n k   C L ,   2 0 0 4 ,   J   A M   G E R I A T R   S O C ,   V 5 2 ,   P 3 5 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 3 2 - 5 4 1 5 . 2 0 0 4 . 5 2 1 0 5 . x ;   v o n   A h n   L . ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 3 1 9 ,   D O I   1 0 . 1 1 4 5 / 9 8 5 6 9 2 . 9 8 5 7 3 3 ;   v o n   A h n   L . ,   2 0 0 5 ,   T H E S I S ;   W a l d   M . ,   2 0 0 6 ,   I N T   J   I N T E R A C T I V E   T E ,   V 3 ,   P 1 3 1 ;   Y e - Y i   A .   A .   W a n g ,   2 0 0 3 ,   I E E E   W O R K S H   A U T   S P E E 	 3 1 	 0 	 0 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 1 5 1 5   B R O A D W A Y ,   N E W   Y O R K ,   N Y   1 0 0 3 6 - 9 9 9 8   U S A 	 	 	 9 7 8 - 1 - 4 5 0 3 - 1 5 8 0 - 7 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 2 3 	 3 3 	 	 	 	 1 1 	 C o m p u t e r   S c i e n c e ,   C y b e r n e t i c s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 B H A 3 9 	 W O S : 0 0 0 3 2 4 8 1 5 3 0 0 0 0 4 	 	 
 J 	 R z e s z o t a r s k i ,   J M ;   K i t t u r ,   A 	 	 	 A C M 	 R z e s z o t a r s k i ,   J e f f r e y   M . ;   K i t t u r ,   A n i k e t 	 	 	 C r o w d S c a p e :   I n t e r a c t i v e l y   V i s u a l i z i n g   U s e r   B e h a v i o r   a n d   O u t p u t 	 U I S T ' 1 2 :   P R O C E E D I N G S   O F   T H E   2 5 T H   A N N U A L   A C M   S Y M P O S I U M   O N   U S E R   I N T E R F A C E   S O F T W A R E   A N D   T E C H N O L O G Y 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 2 5 t h   A n n u a l   A C M   S y m p o s i u m   o n   U s e r   I n t e r f a c e   S o f t w a r e   a n d   T e c h n o l o g y   ( U I S T ) 	 O C T   0 7 - 1 0 ,   2 0 1 2 	 C a m b r i d g e ,   M A 	 A C M ,   A C M ,   S p e c i a l   I n t e r e s t   G r p   C o m p   H u m a n   I n t e r a c t ,   A C M ,   S p e c i a l   I n t e r e s t   G r p   C o m p   G r a p h 	 	 C r o w d s o u r c i n g ;   V i s u a l i z a t i o n ;   I n t e r f a c e s ;   E v e n t   L o g g i n g ;   U s e r   B e h a v i o r ;   Q u a l i t y   C o n t r o l ;   P e r f o r m a n c e 	 	 C r o w d s o u r c i n g   h a s   b e c o m e   a   p o w e r f u l   p a r a d i g m   f o r   a c c o m p l i s h i n g   w o r k   q u i c k l y   a n d   a t   s c a l e ,   b u t   i n v o l v e s   s i g n i f i c a n t   c h a l l e n g e s   i n   q u a l i t y   c o n t r o l .   R e s e a r c h e r s   h a v e   d e v e l o p e d   a l g o r i t h m i c   q u a l i t y   c o n t r o l   a p p r o a c h e s   b a s e d   o n   e i t h e r   w o r k e r   o u t p u t s   ( s u c h   a s   g o l d   s t a n d a r d s   o r   w o r k e r   a g r e e m e n t )   o r   w o r k e r   b e h a v i o r   ( s u c h   a s   t a s k   f i n g e r p r i n t i n g ) ,   b u t   e a c h   a p p r o a c h   h a s   s e r i o u s   l i m i t a t i o n s ,   e s p e c i a l l y   f o r   c o m p l e x   o r   c r e a t i v e   w o r k .   H u m a n   e v a l u a t i o n   a d d r e s s e s   t h e s e   l i m i t a t i o n s   b u t   d o e s   n o t   s c a l e   w e l l   w i t h   i n c r e a s i n g   n u m b e r s   o f   w o r k e r s .   W e   p r e s e n t   C r o w d S c a p e ,   a   s y s t e m   t h a t   s u p p o r t s   t h e   h u m a n   e v a l u a t i o n   o f   c o m p l e x   c r o w d   w o r k   t h r o u g h   i n t e r a c t i v e   v i s u a l i z a t i o n   a n d   m i x e d   i n i t i a t i v e   m a c h i n e   l e a r n i n g .   T h e   s y s t e m   c o m b i n e s   i n f o r m a t i o n   a b o u t   w o r k e r   b e h a v i o r   w i t h   w o r k e r   o u t p u t s ,   h e l p i n g   u s e r s   t o   b e t t e r   u n d e r s t a n d   a n d   h a r n e s s   t h e   c r o w d .   W e   d e s c r i b e   t h e   s y s t e m   a n d   d i s c u s s   i t s   u t i l i t y   t h r o u g h   g r o u n d e d   c a s e   s t u d i e s .   W e   e x p l o r e   o t h e r   c o n t e x t s   w h e r e   C r o w d S c a p e ' s   v i s u a l i z a t i o n s   m i g h t   b e   u s e f u l ,   s u c h   a s   i n   u s e r   s t u d i e s . 	 [ R z e s z o t a r s k i ,   J e f f r e y   M . ;   K i t t u r ,   A n i k e t ]   C a r n e g i e   M e l l o n   U n i v ,   P i t t s b u r g h ,   P A   1 5 2 1 3   U S A 	 R z e s z o t a r s k i ,   J M   ( r e p r i n t   a u t h o r ) ,   C a r n e g i e   M e l l o n   U n i v ,   P i t t s b u r g h ,   P A   1 5 2 1 3   U S A . 	 j e f f r z @ c s . c m u . e d u ;   n k i t t u r @ c s . c m u . e d u 	 	 	 	 	 A h m a d   S . ,   2 0 1 1 ,   P   2 4   A N N   A C M   S   U S   I N ,   P 5 3 ;   B e r n s t e i n   M . S . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 3 1 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 7 8 ;   B o s t o c k   M . ,   2 0 1 1 ,   I E E E   T   V I S U A L I Z A T I O N ,   V 1 7 ,   P 2 3 0 1 ;   C a l l i s o n - B u r c h   C . ,   2 0 0 9 ,   P   2 0 0 9   C   E M P   M E T H   N A ,   P 2 8 6 ;   D e k e l   O f e r ,   2 0 0 9 ,   P   2 2   A N N   C   L E A R N   T H E ;   D i m s d a l e   B . ,   1 9 9 0 ,   I E E E   V I S U A L I Z A T I O N ,   V 1 ,   P 3 6 1 ;   D o w   S . ,   2 0 1 1 ,   P   C S C W   1 1 ;   D o w n s   J . S . ,   2 0 1 0 ,   P   C H I   1 0 ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ;   I s h i k a w a   S . ,   2 0 1 2 ,   C L I C K W O R K E R S   I N T E R A C ,   P 2 ;   K i t t u r   A . ,   2 0 1 2 ,   P   C S C W   1 2 ;   K i t t u r   A . ,   2 0 1 1 ,   P   U I S T   1 1 ;   K i t t u r   A . ,   2 0 0 8 ,   P   C H I   0 8 ;   K u l k a r n i   A . ,   2 0 1 2 ,   P   C S C W   1 2 ;   R z e s z o t a r s k i   J . M . ,   2 0 1 1 ,   P   U I S T   1 1 ;   S h n e i d e r m a n   B . ,   1 9 9 4 ,   S O F T W A R E ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   v a n   d e r   A a l s t   W M P ,   2 0 0 3 ,   D A T A   K N O W L   E N G ,   V 4 7 ,   P 2 3 7 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 9 - 0 2 3 X ( 0 3 ) 0 0 0 6 6 - 1 ;   Y u   L .   C . ,   2 0 1 1 ,   P   I C I S ,   P 1 	 1 9 	 2 	 2 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 1 5 1 5   B R O A D W A Y ,   N E W   Y O R K ,   N Y   1 0 0 3 6 - 9 9 9 8   U S A 	 	 	 9 7 8 - 1 - 4 5 0 3 - 1 5 8 0 - 7 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 5 5 	 6 2 	 	 	 	 8 	 C o m p u t e r   S c i e n c e ,   C y b e r n e t i c s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 B H A 3 9 	 W O S : 0 0 0 3 2 4 8 1 5 3 0 0 0 0 7 	 	 
 J 	 L e e ,   M ;   H a n ,   D 	 	 D a l K w a c k ,   K ;   K a w a t a ,   S ;   H w a n g ,   S ;   H a n ,   D ;   K o ,   F 	 	 L e e ,   M i n k y u ;   H a n ,   D o n g s o o 	 	 	 Q R L o c :   U s e r - I n v o l v e d   C a l i b r a t i o n   U s i n g   Q u i c k   R e s p o n s e   C o d e s   f o r   W i - F i   B a s e d   I n d o o r   L o c a l i z a t i o n 	 2 0 1 2   7 T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   C O M P U T I N G   A N D   C O N V E R G E N C E   T E C H N O L O G Y   ( I C C C T 2 0 1 2 ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 7 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m p u t i n g   a n d   C o n v e r g e n c e   T e c h n o l o g y   ( I C C C T ) 	 D E C   0 3 - 0 5 ,   2 0 1 2 	 S e o u l ,   S O U T H   K O R E A 	 I n s t   E l e c t   &   E l e c t   E n g i n e e r s   ( I E E E ) ,   I n s t   E l e c t   &   E l e c t   E n g i n e e r s   ( I E E E ) ,   K o r e a   C o u n c i l ,   A d v   I n s t   C o n v e r g e n c e   I n f o r m a t   T e c h n o l   ( A I C I T ) ,   E T R I ,   K I S T I 	 	 W i - F i ;   p o s i t i o n i n g ;   c r o w d s o u r c i n g ;   Q R   c o d e ;   r a d i o   m a p ;   f i n g e r p r i n t 	 L O C A T I O N   E S T I M A T I O N 	 C o n s t r u c t i n g   a   r a d i o   m a p   i s   o n e   o f   e s s e n t i a l   s t e p s   f o r   f i n g e r p r i n t - b a s e d   l o c a l i z a t i o n .   A   l o t   o f   t i m e   a n d   e f f o r t s   a r e   n e c e s s a r y   t o   c o n s t r u c t   a   r a d i o   m a p   t h a t   c o v e r s   a   l a r g e   a r e a .   M o r e o v e r   t h e   r a d i o   m a p   s h o u l d   b e   u p d a t e d   w h e n   t h e r e   i s   a   s e v e r e   c h a n g e   i n   W i - F i   e n v i r o n m e n t s   o f   a   s e r v i c e   a r e a .   I n   t h i s   p a p e r ,   w e   d e v e l o p   a   W i - F i   f i n g e r p r i n t   c o l l e c t i n g   s y s t e m ,   Q R L o c ,   t o   r e d u c e   s u c h   c o l l e c t i o n   e f f o r t s .   Q R L o c   c o l l e c t s   W i - F i   f i n g e r p r i n t s   w i t h   t h e   h e l p   f r o m   s m a r t p h o n e   u s e r s   a n d   Q u i c k   R e s p o n s e   ( Q R )   c o d e s   ( o r   s h o r t - r a n g e   t a g   i d e n t i f i c a t i o n   t e c h n i q u e )   a t t a c h e d   a t   f i x e d   w a l l s   o r   p i l l a r s   a c r o s s   a   s e r v i c e   a r e a .   T h e   k e y   i d e a   o f   Q R L o c   i s   t o   a u t o m a t i c a l l y   c o l l e c t   f i n g e r p r i n t s   w h e n   s m a r t p h o n e   u s e r s   s c a n   Q R   c o d e s   a t t a c h e d   a t   k n o w n   a n d   f i x e d   l o c a t i o n s   s u c h   a s   s i g n s   a n d   p o s t e r s .   Q R L o c   c a n   a d d r e s s   t h e   m o t i v e l e s s   p r o b l e m   o f   u s e r s   i n   c o l l e c t i n g   W i F i   f i n g e r p r i n t s   b e c a u s e   t h e   c o n t r i b u t i o n s   a r e   m a d e   i n   a n   u n o b t r u s i v e   m a n n e r   f r o m   t h e   u s e r ' s   o r d i n a r y   a c t i v i t y   l i k e   c a p t u r i n g   Q R   c o d e s . 	 [ L e e ,   M i n k y u ;   H a n ,   D o n g s o o ]   K o r e a   A d v   I n s t   S c i   &   T e c h n o l ,   D e p t   C o m p   S c i ,   T a e j o n   3 0 5 7 0 1 ,   S o u t h   K o r e a 	 L e e ,   M   ( r e p r i n t   a u t h o r ) ,   K o r e a   A d v   I n s t   S c i   &   T e c h n o l ,   D e p t   C o m p   S c i ,   2 9 1   D a e h a k   R o ,   T a e j o n   3 0 5 7 0 1 ,   S o u t h   K o r e a . 	 n i k l a u s @ k a i s t . a c . k r ;   d s h a n @ k a i s t . a c . k r 	 	 	 	 	 B a r r y   A ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 8 0 1 ,   P 1 9 7 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 4 3 8 5 - 7 _ 1 4 ;   B a r r y   A .   J . ,   2 0 1 0 ,   I N T   C   M O B   A D H   S E N S   S ;   B h a s k e r   E . ,   2 0 0 4 ,   I E E E   I N T   C   P E R V   C O M P ,   P 1 1 1 ;   B o l l i g e r   P ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 5 6 1 ,   P 3 7 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 1 7 2 1 - 6 _ 3 ;   B o l l i g e r   P . ,   2 0 0 8 ,   P   1   A C M   I N T   W O R K S H   M ,   P 5 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 1 0 0 1 2 . 1 4 1 0 0 2 5 ;   C h a i   X Y ,   2 0 0 7 ,   I E E E   T   M O B I L E   C O M P U T ,   V 6 ,   P 6 4 9 ,   D O I   1 0 . 1 1 0 9 / T M C . 2 0 0 7 . 1 0 2 5 ;   C h e n   Y Q ,   2 0 0 6 ,   I E E E   T   K N O W L   D A T A   E N ,   V 1 8 ,   P 8 7 7 ;   G r i s w o l d   W G ,   2 0 0 4 ,   C O M P U T E R ,   V 3 7 ,   P 7 3 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 4 . 1 4 9 ;   J i   Y . ,   2 0 0 6 ,   P   I E E E   M O B I S Y S   C   J U N ,   V 2 ,   P 1 5 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 1 3 4 6 8 0 . 1 1 3 4 6 9 7 ;   K u o   S .   P . ,   2 0 0 7 ,   I E E E   I N T   C   M O B   A D   H O ;   L a M a r c a   A ,   2 0 0 5 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 4 6 8 ,   P 1 1 6 ;   L e e   M ,   2 0 1 2 ,   I E E E   C O M M U N   L E T T ,   V 1 6 ,   P 4 0 4 ,   D O I   1 0 . 1 1 0 9 / L C O M M . 2 0 1 2 . 0 2 0 2 1 2 . 1 1 1 9 9 2 ;   P a r k   J . - G . ,   2 0 1 0 ,   P   8   I N T   C   M O B   S Y S T   A ;   R e k i m o t o   J . ,   2 0 0 7 ,   P   3   I N T   S   L O C   C O N T   A 	 1 4 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 6 7 3 - 0 8 9 4 - 6 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 1 4 6 0 	 1 4 6 5 	 	 	 	 6 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B G W 8 0 	 W O S : 0 0 0 3 2 4 4 1 2 8 0 0 2 8 3 	 	 
 J 	 O s i p o v ,   K ;   S u k t h a n k a r ,   G 	 	 	 I E E E 	 O s i p o v ,   K i r i l l ;   S u k t h a n k a r ,   G i t a 	 	 	 F o r m i n g   E f f e c t i v e   T e a m s   f r o m   A g e n t s   w i t h   D i v e r s e   S k i l l   S e t s 	 P R O C E E D I N G S   O F   T H E   2 0 1 2   A S E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   S O C I A L   I N F O R M A T I C S   ( S O C I A L I N F O R M A T I C S   2 0 1 2 ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 A S E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S o c i a l   I n f o r m a t i c s   ( S o c i a l I n f o r m a t i c s ) 	 D E C   1 4 - 1 6 ,   2 0 1 2 	 W a s h i n g t o n ,   D C 	 A c a d   S c i   &   E n g n ,   I E E E   C o m p   S o c 	 	 	 	 R e c e n t   w o r k   i n   c r o w d s o u r c i n g   a p p l i c a t i o n s   b a s e d   o n   e n t e r p r i s e   s o c i a l   n e t w o r k s   ( e . g .   P e o p l e C l o u d )   h a s   s h o w n   t h a t   t h e   g r o u p   p r o b l e m   s o l v i n g   a p p r o a c h   c a n   b e   e x t e n d e d   t o   e n t e r p r i s e   a n d   p o t e n t i a l l y   I n t e r n e t - w i d e   s c a l e s .   I n   c r o w d s o u r c i n g   s y s t e m s ,   i t   i s   d e s i r a b l e   t o   s p e c i f y   s k i l l s   a t   a   s u f f i c i e n t l y   f i n e   g r a i n e d   d e t a i l   l e v e l   s o   a s   t o   a v o i d   a m b i g u i t y .   I n   a d d i t i o n ,   t h e   s k i l l   s e t   m a y   g r o w   a t   s y s t e m   r u n t i m e   a s   p a r t i c i p a n t s   l i s t   o r   a c q u i r e   a d d i t i o n a l   s k i l l s .   H o w e v e r ,   t h e   i n c r e a s e   o f   t h e   p a r t i c i p a n t   s k i l l   s e t   l e a d s   t o   a n   e x p o n e n t i a l   g r o w t h   i n   t h e   n u m b e r   o f   t h e   p o t e n t i a l   g r o u p s   w h e r e   t h e   p a r t i c i p a n t   m a y   b e   i n c l u d e d .   T h i s   p a p e r   s t u d i e s   a   p a r a l l e l   n e t w o r k   a d a p t a t i o n   a l g o r i t h m   t o   a d d r e s s   e x p o n e n t i a l   g r o w t h   i n   p o t e n t i a l   s o l u t i o n s   a r i s i n g   f r o m   t h e   i n c r e a s e   i n   s k i l l   d i v e r s i t y .   W e   d e m o n s t r a t e   t h a t   s y s t e m s   t h a t   e x p e c t   t o   f o r m   g r o u p s   ( e . g .   c r o w d s o u r c i n g )   b y   e n g a g i n g   p a r t i c i p a n t s   e q u i p p e d   w i t h   d i v e r s e   s k i l l   s e t s   r e q u i r e   m o r e   s o p h i s t i c a t e d   n e t w o r k   a d a p t a t i o n   s t r a t e g i e s   t h a n   w h a t   c a n   b e   e x p e c t e d   b a s e d   o n   p r e v i o u s   r e s e a r c h .   T o   a d d r e s s   t h i s   n e e d ,   w e   e v a l u a t e   a   s e t   o f   n e t w o r k   a d a p t a t i o n   a l g o r i t h m s   f o r   c r o w d s o u r c i n g   a n d   p r e s e n t   s o m e   e m p i r i c a l   r e s u l t s   f r o m   a   s i m u l a t i o n   b a s e d   s t u d y . 	 [ O s i p o v ,   K i r i l l ;   S u k t h a n k a r ,   G i t a ]   U n i v   C e n t   F l o r i d a ,   D e p t   E E C S ,   O r l a n d o ,   F L   3 2 8 1 6   U S A 	 O s i p o v ,   K   ( r e p r i n t   a u t h o r ) ,   U n i v   C e n t   F l o r i d a ,   D e p t   E E C S ,   O r l a n d o ,   F L   3 2 8 1 6   U S A . 	 k a r l @ k n i g h t s . u c f . e d u ;   g i t a r s @ e e c s . u c f . e d u 	 	 	 	 	 G a s t o n   M . ,   2 0 0 4 ,   P   A A A I   2 0 0 4   F A L L ;   G a s t o n   M . E . ,   2 0 0 5 ,   P   4   I N T   J O I N T   C   A U T ,   P 2 3 0 ,   D O I   1 0 . 1 1 4 5 / 1 0 8 2 4 7 3 . 1 0 8 2 5 0 8 ;   G i a m p a p a   J .   A . ,   2 0 0 2 ,   T E A M   O R I E N T E D   A G E N T ;   K a r p   R .   M . ,   2 0 1 0 ,   R E D U C I B I L I T Y   C O M B I N A ;   L e n o x   T .   L . ,   2 0 0 0 ,   P   I E A   2 0 0 0   H F E S   2 0 0 0 ;   L o p e z   M a r i a n a ,   2 0 1 0 ,   2 0 1 0   I E E E   7 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S e r v i c e s   C o m p u t i n g   ( S C C   2 0 1 0 ) ,   D O I   1 0 . 1 1 0 9 / S C C . 2 0 1 0 . 7 4 ;   M a g h a m i   M . ,   2 0 1 1 ,   S B P   1 1   P   4   I N T   C   S O C ;   M i t t e l m a n n   H .   D . ,   2 0 0 7 ,   2 2   E U R   C   O P   R E S   P R A G ;   S y c a r a   K ,   2 0 0 2 ,   A U T O N   A G E N T   M U L T I - A G ,   V 5 ,   P 1 7 3 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 1 4 8 9 7 2 1 0 5 2 5 ;   V a z i r a n i   V . V . ,   2 0 0 1 ,   A P P R O X I M A T I O N   A L G O R I ;   Y p o d i m a t o p o u l o s   P . ,   2 0 1 1 ,   2 0 1 1   A n n u a l   S R I I   G l o b a l   C o n f e r e n c e   ( S R I I ) ,   D O I   1 0 . 1 1 0 9 / S R I I . 2 0 1 1 . 9 4 	 1 1 	 1 	 1 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 0 - 7 6 9 5 - 5 0 1 5 - 2 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 4 4 	 4 8 	 	 1 0 . 1 1 0 9 / S o c i a l I n f o r m a t i c s . 2 0 1 2 . 5 5 	 	 5 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B G Z 8 4 	 W O S : 0 0 0 3 2 4 7 6 4 4 0 0 0 0 8 	 	 
 J 	 V a y a ,   S 	 	 	 I E E E 	 V a y a ,   S h a i l e s h 	 	 	 R o b u s t   r e p u t a t i o n   m e c h a n i s m s   f o r   a c h i e v i n g   f a i r   c o m p e n s a t i o n   a n d   q u a l i t y   a s s u r a n c e   i n   c r o w d c o m p u t i n g 	 P R O C E E D I N G S   O F   T H E   2 0 1 2   A S E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   S O C I A L   I N F O R M A T I C S   ( S O C I A L I N F O R M A T I C S   2 0 1 2 ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 A S E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S o c i a l   I n f o r m a t i c s   ( S o c i a l I n f o r m a t i c s ) 	 D E C   1 4 - 1 6 ,   2 0 1 2 	 W a s h i n g t o n ,   D C 	 A c a d   S c i   &   E n g n ,   I E E E   C o m p   S o c 	 	 C r o w d c o m p u t i n g ;   C r o w d s o u r c i n g ;   Q u a l i t y   A s s u r a n c e ;   F a i r   C o m p e n s a t i o n ;   R e p u t a t i o n   f u n c t i o n s   a n d   m e c h a n i s m s ;   G o l d   T a s k s 	 	 T h e   p r o c e s s   o f   d i s t r i b u t i n g   t a s k s   t o   a n o n y m o u s   g r o u p   o f   p e o p l e ,   c o l l e c t i n g   t h e i r   s o l u t i o n s   a n d   i n t e g r a t i n g   t h e m   t o   p r o d u c e   t h e   f i n a l   r e s u l t   i s   c a l l e d   C r o w d c o m p u t i n g .   I t   i s   a   p r o m i s i n g   a l t e r n a t i v e   f o r   l a r g e   a n d   s m a l l   b u s i n e s s   e n t e r p r i s e s   t o   a c c o m p l i s h   m a n y   d i f f e r e n t   t y p e s   o f   t a s k s   t h r o u g h   g e o g r a p h i c a l l y   d i s t r i b u t e d   w o r k f o r c e   w i t h   u n c o n t r a c t e d   w o r k f o r c e   i n   a   l a   p a y - p e r - u s e   b a s i s ,   a l l o w i n g   t h e m   t o   s e e m l e s s l y   s c a l e   t h e i r   b u s i n e s s e s .   T w o   p r i m a r y   c o n c e r n s   t h a t   a r i s e   i n   a d a p t i n g   c r o w d s o u r c i n g   t o   a c c o m p l i s h   i m p o r t a n t   b u s i n e s s   o b j e c t i v e s   a r e :   ( a )   A s c e r t a i n i n g   t h a t   a c c e p t a b l e   q u a l i t y   o f   w o r k   i s   o b t a i n e d   f r o m   c r o w d w o r k e r s   ( b )   A s s i g n i n g   c o m m e n s u r a t e   r e c o g n i t i o n   o r   m o n e t a r y   r e w a r d s   t o   t h e   c r o w d w o r k e r s   t o   n u r t u r e   a n d   m a i n t a i n   a   r e l i a b l e   w o r k f o r c e .   I n   t h i s   w o r k ,   w e   p r o p o s e   s e v e r a l   m e c h a n i s m s   t o   d i s t r i b u t e   t a s k s   t o   c r o w d w o r k e r s ,   c o l l e c t   t h e i r   o u t p u t s   a n d   c o m p u t e   f i n a l   r e s u l t s   a n d   a s s i g n   p a y m e n t s   i n   a   m a n n e r   t h a t   a d d r e s s e s   t h e s e   t w o   c o n c e r n s   s i m u l t a n e o u s l y .   O u r   m e t h o d s   i n t i m a t e l y   i n v o l v e   t h e   u s e   o f   g o l d   t a s k s   f o r   w h i c h   a n s w e r s   a r e   p r e - c o m p u t e d .   I n   a n y   s e t   o f   r e g u l a r   t a s k s   t h a t   a r e   t o   b e   a s s i g n e d   t o   a   c r o w d w o r k e r   a n   i n d i s t i n g u i s h a b l e   s e t   o f   g o l d   t a s k s   a r e   i n t e r m i x e d .   W e   m a k e   s e v e r a l   c o n t r i b u t i o n s :   ( a )   O u r   f i r s t   s e t   o f   s c h e m e s   a r e   b a s e d   l a r g e l y   o n   e v a l u a t i n g   t h e   r e s p o n s e s   o f   t h e   c r o w d w o r k e r s   o n   t h e   g o l d   t a s k s   a n d   t h e n   u s i n g   t h e m   t o   a s s i g n   a p p r o p r i a t e   w e i g h t s   t o   t h e   c r o w d w o r k e r s .   T h i s   p e r f o r m a n c e   m e a s u r e   i s   u s e d   t o   a s s i g n   a p p r o p r i a t e   w e i g h t s   t o   t h e   c r o w d w o r k e r s .   T h i s   i n f l u e n c e   f a c t o r   i s   t h e n   u s e d   t o   d e t e r m i n e   h o w   t h e   r e s p o n s e s   o f   t h e   g i v e n   c r o w d w o r k e r   a r e   t o   b e   a s s i m i l a t e d   w i t h   t h e   r e s p o n s e s   o f   o t h e r   c r o w d w o r k e r s   t o   c o m p u t e   t h e   f i n a l   a n s w e r s .   T h e   c o m p e n s a t i o n   a w a r d e d   t o   t h e   c r o w d w o r k e r s   m a y   a l s o   b e   m a d e   t o   d e p e n d   o n   t h i s   w e i g h t .   T h e s e   f i r s t   t w o   s c h e m e s   o n l y   u s e   t h e   c u r r e n t   p e r f o r m a n c e   o f   t h e   c r o w d w o r k e r s   t o   d e c i d e   t h e i r   c o m p e n s a t i o n   f o r   t h e   a s s i g n e d   s e t   o f   j o b s ,   a s   w e l l   a s   f o r   q u a l i t y   a s s u r a n c e   p u r p o s e .   ( b )   S e c o n d l y ,   w e   p r o p o s e   a   g e n e r a l   r e p u t a t i o n   f u n c t i o n   w h i c h   t a k e s   t h e   n u m b e r   o f   t a s k s   c o r r e c t l y   a n d   i n c o r r e c t l y   p e r f o r m e d   b y   t h e   c r o w d w o r k e r ,   t i l l   d a t e ,   a n d   m a p s   i t   t o   a n   i n t e g r a l   v a l u e .   T h e   r e p u t a t i o n   f u n c t i o n   h a s   s e v e r a l   f e a t u r e s   s o   t h a t   i t   p e n a l i z e s   p o o r l y   p e r f o r m i n g   w o r k e r s ,   s p a m m e r s   a n d   s c a m m e r s   i n   s u c h   a   m a n n e r   t h a t   t h e y   n e e d   t o   c o n s i d e r a b l y   p e r f o r m   w e l l   t o   b e   a s s i g n e d   a   p o s i t i v e   i n t e g r a l   v a l u e .   A t   t h e   s a m e   t i m e ,   n o   w o r k e r   h o w e v e r   m u c h   l o w l y   p e r f o r m i n g   i t   m a y   h a v e   b e e n   i n   p a s t ,   i s   d o o m e d   f o r   e v e r   b y   t h e   r e p u t a t i o n   f u n c t i o n .   T h a t   i s   t h e   w o r k e r   c a n   s t a r t   r e g u l a r l y   p e r f o r m i n g   w e l l   a n d   r a i s e   i t s   r e p u t a t i o n   s o   t h a t   h e / s h e   i s   c o m p e n s a t e d   w e l l   e t c . .   T h e   r e p u t a t i o n   f u n c t i o n   i s   g e n e r i c   i n   n a t u r e   t h a t   i t   c a n   b e   e m p l o y e d   i n   v a r i e t y   o f   s u c h   s c h e m e s .   ( c )   T h i r d l y ,   w e   d e s i g n   s c h e m e s   t h a t   t a k e   i n t o   a c c o u n t   b o t h   t h e   p a s t   p e r f o r m a n c e   o f   t h e   w o r k e r ,   w h i c h   i s   r e f l e c t e d   b y   t h e   c u r r e n t   r e p u t a t i o n   v a l u e ,   a n d   t h e   c u r r e n t   p e r f o r m a n c e ,   r e f l e c t e d   b y   c r o w d   w o r k e r s   p e r f o r m a n c e   o n   t h e   g o l d   t a s k s ,   t o   c o m p u t e   t h e   a n s w e r s   t o   t h e   r e g u l a r   t a s k s   a n d   t o   d e c i d e   t h e   c o m p e n s a t i o n   t o   b e   a w a r d e d   t o   t h e   c r o w d w o r k e r s .   W e   a l s o   d e s c r i b e   h o w   r e s p o n s e   t i m e s   o f   t h e   c r o w d w o r k e r s   i n   a c c o m p l i s h i n g   t h e   t a s k s   c a n   b e   i n c o r p o r a t e d   i n   a w a r d i n g   t h e m   c o m p e n s a t i o n s . 	 X e r o x   R e s   C t r   I n d i a ,   B a n g a l o r e   5 6 0 0 4 8 ,   K a r n a t a k a ,   I n d i a 	 V a y a ,   S   ( r e p r i n t   a u t h o r ) ,   X e r o x   R e s   C t r   I n d i a ,   N e i l   R a o   T o w e r s ,   B a n g a l o r e   5 6 0 0 4 8 ,   K a r n a t a k a ,   I n d i a . 	 s h a i l e s h . v a y a @ x e r o x . c o m 	 	 	 	 	 [ A n o n y m o u s ] ,   2 0 0 5 ,   A M A Z O N   M E C H   T U R K ;   D a w i d   A P ,   1 9 7 9 ,   A P P L I E D   S T A T I S T I C S ,   V 2 8 ,   P 2 0 ,   D O I   1 0 . 2 3 0 7 / 2 3 4 6 8 0 6 ;   D o w   S .   P . ,   2 0 1 1 ,   P   C H I   H U M   F A C T   C O M P ,   P 1 6 6 9 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   I p e i r o t i s   P . ,   2 0 1 0 ,   K D D   H C O M P   2 0 1 0 ;   K i t t u r   A . ,   2 0 0 7 ,   P   A C M   C   H U M   F A C T   C O M ;   L e   J . ,   2 0 1 0 ,   P   A C M   S I G I R   2 0 1 0   W O R ;   O l e s o n   D . ,   2 0 1 1 ,   W O R K S H   H U M   C O M P   A A A I ;   P i r a t l a   N . ,   H Y B R I D   M U L T I I T E R A T I V ;   S h e n g   V . ,   2 0 0 8 ,   A C M   K D D   A U G   2 4   2 7   L A ;   S n o w   R . ,   E M N L P   P   C   E M P   M E T H   N ,   P 2 5 4 ;   V a y a   S . ,   P E R F O R M A N C E   B A S E D   C O 	 1 2 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 0 - 7 6 9 5 - 5 0 1 5 - 2 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 2 2 8 	 2 3 5 	 	 1 0 . 1 1 0 9 / S o c i a l I n f o r m a t i c s . 2 0 1 2 . 5 0 	 	 8 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B G Z 8 4 	 W O S : 0 0 0 3 2 4 7 6 4 4 0 0 0 3 2 	 	 
 J 	 G a n ,   C M ;   K o s o n e n ,   M ;   B l o m q v i s t ,   K 	 	 C e g a r r a ,   J G 	 	 G a n ,   C h u n m e i ;   K o s o n e n ,   M i i a ;   B l o m q v i s t ,   K i r s i m a r j a 	 	 	 K n o w l e d g e   S h a r i n g   i n   C r o w d s o u r c i n g   -   i t   i s   M o r e   T h a n   M o t i v a t i o n 	 P R O C E E D I N G S   O F   T H E   1 3 T H   E U R O P E A N   C O N F E R E N C E   O N   K N O W L E D G E   M A N A G E M E N T ,   V O L S   1   A N D   2 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 3 t h   E u r o p e a n   C o n f e r e n c e   o n   K n o w l e d g e   M a n a g e m e n t   ( E C K M ) 	 S E P   0 6 - 0 7 ,   2 0 1 2 	 S P A I N 	 	 U n i v   P o l i t e c n i c a   C a r t a g e n a 	 k n o w l e d g e   s h a r i n g ;   m o t i v a t i o n ;   o p p o r t u n i t y ;   a b i l i t y ;   c r o w d s o u r c i n g ;   o n l i n e   c o m m u n i t y 	 V I R T U A L   C U S T O M E R   E N V I R O N M E N T S ;   S E L F - E F F I C A C Y ;   I N T E G R A T I V E   F R A M E W O R K ;   P R O D U C T   D E V E L O P M E N T ;   C O - C R E A T I O N ;   C O M M U N I T I E S ;   P A R T I C I P A T I O N ;   M A N A G E M E N T ;   M O D E L ;   U S E R S 	 I n   r e c e n t   y e a r s ,   c o m p a n i e s   h a v e   o p e n e d   u p   t h e i r   i n n o v a t i o n   a c t i v i t i e s   t o   u s e r s   t h r o u g h   t h e   e s t a b l i s h m e n t   o f   o n l i n e   c r o w d s o u r c i n g   c o m m u n i t i e s   -   f i r m - h o s t e d   c u s t o m e r   c o - i n n o v a t i o n   a n d   v a l u e   c o - c r e a t i o n   p l a t f o r m s ;   w h i c h   s t a n d s   f o r   a n   i m p o r t a n t   s t r a t e g y ,   k n o w n   a s   o p e n   i n n o v a t i o n .   H o w e v e r ,   w e   i d e n t i f y   t w o   r e s e a r c h   g a p s   e x i s t :   f i r s t ,   k n o w l e d g e   s h a r i n g   l i t e r a t u r e   e m p h a s i z e s   m a c r o - l e v e l   ( o r g a n i z a t i o n a l   l e v e l ) ,   a n d   p a y s   r e l a t i v e l y   l e s s   a t t e n t i o n   t o   m i c r o - l e v e l   ( i n d i v i d u a l   l e v e l ) ;   s e c o n d l y ,   o n l i n e   c o m m u n i t y   r e s e a r c h   f o c u s e s   m a i n l y   o n   t h e   i m p o r t a n c e   o f   m o t i v a t i o n   a s   a   d r i v e r   o f   b e h a v i o r .   T h e r e f o r e   i n   t h i s   p a p e r   w e   d e v e l o p   a   c o n c e p t u a l   f r a m e w o r k   t h a t   d r a w s   o n   t h e   m i c r o - f o u n d a t i o n s   p e r s p e c t i v e   t o   c o n s i d e r   a n   i n t e g r a t e d   s e t   o f   m o t i v a t i o n ,   o p p o r t u n i t y   a n d   a b i l i t y   ( M O A )   t h a t   d r i v e   u s e r s   t o   s h a r e   k n o w l e d g e   i n   t h e   c r o w d s o u r c i n g   c o m m u n i t y .   B a s e d   o n   t h e o r e t i c a l   b a c k g r o u n d   o f   k n o w l e d g e   s h a r i n g   i n   o n l i n e   c o m m u n i t i e s ,   w e   p u t   f o r w a r d   a   t h e o r e t i c a l   f r a m e w o r k   t o   e x p l a i n   t h e   r e l a t i o n s h i p   b e t w e e n   M O A   a n d   k n o w l e d g e   s h a r i n g   f o r   f u r t h e r   e m p i r i c a l   r e s e a r c h . 	 [ G a n ,   C h u n m e i ;   K o s o n e n ,   M i i a ;   B l o m q v i s t ,   K i r s i m a r j a ]   L a p p e e n r a n t a   U n i v   T e c h n o l ,   S c h   B u s i n e s s ,   T e c h n o l   B u s i n e s s   R e s   C t r ,   L a p p e e n r a n t a ,   F i n l a n d 	 	 x c h m 2 0 0 8 1 9 8 6 @ y a h o o . c o m . c n ;   M i i a . k o s o n e n @ l u t . f i ;   K i r s i m a r j a . b l o m q v i s t @ l u t . f i 	 	 	 	 	 A i t a m u r t o   T . ,   2 0 1 1 ,   P R O M I S E   I D E A   C R O W D S O ;   A r g o t e   L ,   2 0 0 3 ,   M A N A G E   S C I ,   V 4 9 ,   P 5 7 1 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 9 . 4 . 5 7 1 . 1 4 4 2 4 ;   B a k e r   P .   M .   A . ,   2 0 0 2 ,   I n f o r m a t i o n   C o m m u n i c a t i o n   &   S o c i e t y ,   V 5 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 0 2 1 0 1 3 0 7 8 9 ;   B A N D U R A   A ,   1 9 8 2 ,   A M   P S Y C H O L ,   V 3 7 ,   P 1 2 2 ,   D O I   1 0 . 1 0 3 7 / 0 0 0 3 - 0 6 6 X . 3 7 . 2 . 1 2 2 ;   B A N D U R A   A ,   1 9 9 0 ,   E V A L   P R O G R A M   P L A N N ,   V 1 3 ,   P 9 ,   D O I   1 0 . 1 0 1 6 / 0 1 4 9 - 7 1 8 9 ( 9 0 ) 9 0 0 0 4 - G ;   B l o m q v i s t   K . ,   2 0 0 8 ,   C   O R G   K N O W L   C O M P   L E A ;   B l o m q v i s t   K . ,   2 0 0 9 ,   E C K M   C   V I C   I T   S E P T ;   B l u m b e r g   M . ,   1 9 8 2 ,   A C A D   M A N A G E   R E V ,   V 7 ,   P 5 6 0 ,   D O I   D O I   1 0 . 5 4 6 5 / A M R . 1 9 8 2 . 4 2 8 5 2 4 0 ;   B r a b h a m   D C ,   2 0 1 0 ,   I N F O R M   C O M M U N   S O C ,   V 1 3 ,   P 1 1 2 2 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 1 0 0 3 6 2 4 0 9 0 ;   B r o w n   J S ,   1 9 9 1 ,   O R G A N   S C I ,   V 2 ,   P 4 0 ,   D O I   1 0 . 1 2 8 7 / o r s c . 2 . 1 . 4 0 ;   C h i u   C M ,   2 0 0 6 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 2 ,   P 1 8 7 2 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 6 . 0 4 . 0 0 1 ;   C o l e m a n   J a m e s   S a m u e l ,   1 9 9 0 ,   F D N   S O C I A L   T H E O R Y ;   C u m m i n g s   L a r r y   L ,   1 9 7 3 ,   P E R F O R M A N C E   O R G   D E T E ;   D u n e t t e   M .   D . ,   1 9 7 6 ,   H D B   I N D   O R G   P S Y C H O L ;   F a r a j   S ,   2 0 1 1 ,   O R G A N   S C I ,   V 2 2 ,   P 1 2 2 4 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 1 0 0 . 0 6 1 4 ;   F o s s   N .   J . ,   2 0 0 9 ,   W O R K I N G   P A P E R ;   F o s s   N J ,   2 0 1 0 ,   J   M A N A G E   S T U D ,   V 4 7 ,   P 4 5 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 6 4 8 6 . 2 0 0 9 . 0 0 8 7 0 . x ;   F o s s   N J ,   2 0 0 7 ,   O R G A N I Z A T I O N ,   V 1 4 ,   P 2 9 ,   D O I   1 0 . 1 1 7 7 / 1 3 5 0 5 0 8 4 0 7 0 7 1 8 5 9 ;   F r e y   B .   S . ,   2 0 0 2 ,   S U C C E S S F U L   M A N A G E M E N ;   F u l l e r   J ,   2 0 1 0 ,   C A L I F   M A N A G E   R E V ,   V 5 2 ,   P 9 8 ;   H o f s t e d e   G . ,   1 9 9 1 ,   C U L T U R E S   O R G   S O F T W A R ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   H s u   M H ,   2 0 0 7 ,   I N T   J   H U M - C O M P U T   S T ,   V 6 5 ,   P 1 5 3 ,   D O I   1 0 . 1 0 1 6 / j . i j h c s . 2 0 0 6 . 0 9 . 0 0 3 ;   J e p p e s e n   L B ,   2 0 0 9 ,   R E S   P O L I C Y ,   V 3 8 ,   P 1 5 8 2 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 9 . 0 9 . 0 0 2 ;   K i m   L . ,   2 0 0 1 ,   K N O W L E D G E   E M E R G E N C E ;   K o s o n e n   M i i a ,   2 0 0 9 ,   I n t e r n a t i o n a l   J o u r n a l   o f   W e b   B a s e d   C o m m u n i t i e s ,   V 5 ,   D O I   1 0 . 1 5 0 4 / I J W B C . 2 0 0 9 . 0 2 3 9 6 2 ;   L a n e   P J ,   2 0 0 6 ,   A C A D   M A N A G E   R E V ,   V 3 1 ,   P 8 3 3 ;   W e n g e r   E t i e n n e ,   1 9 9 1 ,   S I T U A T E D   L E A R N I N G   L E ;   L e n g n i c k H a l l   C A ,   1 9 9 6 ,   A C A D   M A N A G E   R E V ,   V 2 1 ,   P 7 9 1 ,   D O I   1 0 . 2 3 0 7 / 2 5 9 0 0 2 ;   L e r n e r   J ,   2 0 0 2 ,   J   I N D   E C O N ,   V 5 0 ,   P 1 9 7 ;   M A C I N N I S   D J ,   1 9 8 9 ,   J   M A R K E T I N G ,   V 5 3 ,   P 1 ;   M A C I N N I S   D J ,   1 9 9 1 ,   J   M A R K E T I N G ,   V 5 5 ,   P 3 2 ,   D O I   1 0 . 2 3 0 7 / 1 2 5 1 9 5 5 ;   M a h r   D . ,   2 0 1 1 ,   R E S   P O L I C Y ,   V 4 1 ,   P 1 6 7 ;   M A Y E R   R C ,   1 9 9 5 ,   A C A D   M A N A G E   R E V ,   V 2 0 ,   P 7 0 9 ,   D O I   1 0 . 2 3 0 7 / 2 5 8 7 9 2 ;   M i n b a e v a   D .   B . ,   2 0 1 0 ,   W O R K I N G   P A P E R ;   N a h a p i e t   J ,   1 9 9 8 ,   A C A D   M A N A G E   R E V ,   V 2 3 ,   P 2 4 2 ,   D O I   1 0 . 2 3 0 7 / 2 5 9 3 7 3 ;   N A M B I S A N   S ,   2 0 0 2 ,   A C A D   M A N A G E   R E V ,   V 2 7 ,   P 3 9 2 ,   D O I   D O I   1 0 . 2 3 0 7 / 4 1 3 4 3 8 6 ;   N a m b i s a n   S ,   2 0 1 0 ,   O R G A N   S C I ,   V 2 1 ,   P 5 5 4 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 9 0 . 0 4 6 0 ;   N a m b i s a n   S ,   2 0 0 7 ,   J   I N T E R A C T   M A R K ,   V 2 1 ,   P 4 2 ,   D O I   1 0 . 1 0 0 2 / d i r . 2 0 0 7 7 ;   N a m b i s a n   S ,   2 0 0 9 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 6 ,   P 3 8 8 ;   P i l l e r   F T ,   2 0 0 6 ,   R & D   M A N A G E ,   V 3 6 ,   P 3 0 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 6 . 0 0 4 3 2 . x ;   P o r t e r   C E ,   2 0 1 1 ,   C A L I F   M A N A G E   R E V ,   V 5 3 ,   P 8 0 ;   R o b e r t s   J A ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 9 8 4 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 5 4 ;   R o t h s c h i l d   M L ,   1 9 9 9 ,   J   M A R K E T I N G ,   V 6 3 ,   P 2 4 ,   D O I   1 0 . 2 3 0 7 / 1 2 5 1 9 7 2 ;   S i e m s e n   E ,   2 0 0 8 ,   J   O P E R   M A N A G ,   V 2 6 ,   P 4 2 6 ,   D O I   1 0 . 1 0 1 6 / j . j o m . 2 0 0 7 . 0 9 . 0 0 1 ;   S k i n n e r   B F ,   1 9 5 3 ,   S C I   H U M A N   B E H A V ;   T s a i   W P ,   1 9 9 8 ,   A C A D   M A N A G E   J ,   V 4 1 ,   P 4 6 4 ,   D O I   1 0 . 2 3 0 7 / 2 5 7 0 8 5 ;   T S O U K A S   H ,   1 9 9 4 ,   J   M A N A G E   S T U D ,   V 3 1 ,   P 7 6 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 6 4 8 6 . 1 9 9 4 . t b 0 0 6 3 8 . x ;   v o n   H i p p e l   E . ,   1 9 8 8 ,   S O U R C E   I N N O V A T I O N ;   v o n   H i p p e l   E r i c ,   2 0 0 5 ,   D E M O C R A T I Z I N G   I N N O V A ;   v o n   H i p p e l   E ,   2 0 0 2 ,   M A N A G E   S C I ,   V 4 8 ,   P 8 2 1 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 8 . 7 . 8 2 1 . 2 8 1 7 ;   V O N H I P P E L   E ,   1 9 8 6 ,   M A N A G E   S C I ,   V 3 2 ,   P 7 9 1 ,   D O I   1 0 . 1 2 8 7 / m n s c . 3 2 . 7 . 7 9 1 ;   W a s k o   M M ,   2 0 0 0 ,   J   S T R A T E G I C   I N F   S Y S T ,   V 9 ,   P 1 5 5 ;   W a s k o   M M ,   2 0 0 5 ,   M I S   Q U A R T ,   V 2 9 ,   P 3 5 ;   W i n d   J . ,   2 0 0 1 ,   J   I N T E R A C T   M A R K ,   V 1 5 ,   P 1 3 ,   D O I   1 0 . 1 0 0 2 / 1 5 2 0 - 6 6 5 3 ( 2 0 0 1 2 4 ) 1 5 : 1 < 1 3 : : A I D - D I R 1 0 0 1 > 3 . 0 . C O ; 2 - # ;   Z h e n g   H C ,   2 0 1 1 ,   I N T   J   E L E C T R O N   C O M M ,   V 1 5 ,   P 5 7 ,   D O I   1 0 . 2 7 5 3 / J E C 1 0 8 6 - 4 4 1 5 1 5 0 4 0 2 	 5 6 	 0 	 0 	 A C A D     C O N F E R E N C E S   L T D 	 N R   R E A D I N G 	 C U R T I S   F A R M ,   K I D M O R E   E N D ,   N R   R E A D I N G ,   R G 4   9 A Y ,   E N G L A N D 	 	 	 9 7 8 - 1 - 9 0 8 2 7 2 - 6 4 - 5 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 3 8 0 	 3 8 8 	 	 	 	 9 	 B u s i n e s s ;   P s y c h o l o g y ,   A p p l i e d ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s ;   P s y c h o l o g y ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 B F Z 5 0 	 W O S : 0 0 0 3 2 1 9 7 3 4 0 0 0 4 3 	 	 
 J 	 S o n g ,   C ;   W u ,   J ;   L i u ,   M ;   G o n g ,   H G ;   G o u ,   B J 	 	 	 I E E E 	 S o n g ,   C h a o ;   W u ,   J i e ;   L i u ,   M i n g ;   G o n g ,   H a i g a n g ;   G o u ,   B o j u n 	 	 	 R E S e n :   S e n s i n g   a n d   E v a l u a t i n g   t h e   R i d i n g   E x p e r i e n c e   b a s e d   o n   C r o w d s o u r c i n g   b y   S m a r t   P h o n e s 	 2 0 1 2   E I G H T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   A D   H O C   A N D   S E N S O R   N E T W O R K S   ( M S N   2 0 1 2 ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 8 t h   A n n u a l   I n t e r n a t i o n a l   C o n f e r e n c e   o n   M o b i l e   A d - h o c   a n d   S e n s o r   N e t w o r k s   ( M S N ) 	 D E C   1 4 - 1 6 ,   2 0 1 2 	 C h e n g d u ,   P E O P L E S   R   C H I N A 	 N a t l   N a t   S c i   F d n   C h i n a ,   U n i v   E l e c t   S c i   &   T e c h n o l   C h i n a 	 	 r i d i n g   e x p e r i e n c e ;   p a r t i c i p a t o r y   s e n s i n g ;   c r o w d s o u r c i n g ;   m o t i o n   s e n s o r 	 	 C o m f o r t a b l e   t r a v e l   i s   a n   e s s e n t i a l   i s s u e   o f   I n t e l l i g e n t   T r a n s p o r t   S y s t e m s   ( I T S ) .   H o w e v e r ,   t h e   d r i v e r ' s   b e h a v i o r   a n d   t h e   r o a d   c o n d i t i o n   a f f e c t   t h e   c o m f o r t   o f   t h e   p a s s e n g e r ' s   r i d i n g   e x p e r i e n c e   w h i l e   t h e y   a r e   t r a v e l i n g .   I n   t h i s   p a p e r ,   w e   p r o p o s e   a   s y s t e m   n a m e d   R i d i n g   E x p e r i e n c e   S e n s o r   ( R E S e n )   f o r   s e n s i n g   a n d   e v a l u a t i n g   t h e   r i d i n g   e x p e r i e n c e ,   b a s e d   o n   c r o w d s o u r c i n g   b y   s m a r t   p h o n e s .   W e   u t i l i z e   t h e   a c c e l e r a t i o n   s e n s o r   a n d   g r a v i t y   s e n s o r   f o r   s e n s i n g   w i t h   a r b i t r a r y   o r i e n t a t i o n s   o f   s m a r t   p h o n e s .   W e   p a r t i t i o n   t h e   r i d i n g   e x p e r i e n c e   i n t o   h o r i z o n t a l   a n d   v e r t i c a l   f o r   e v a l u a t i o n .   T h u s ,   b a s e d   o n   t h e   d r i v e r ' s   h i s t o r i c a l   t r a j e c t o r i e s ,   t h e   s y s t e m   c a n   p r o v i d e   f e e d b a c k s   f o r   i m p r o v i n g   d r i v i n g   b y   f i n d i n g   t h e   a n o m a l i e s   a l o n g   t h e s e   t r a j e c t o r i e s .   B a s e d   o n   t h e   m a p ,   w h i c h   h a s   e v a l u a t e d   t h e   c o m f o r t   o f   e a c h   r o a d ,   t h e   s y s t e m   c a n   p r o v i d e   a   c o m f o r t a b l e   t r a v e l   p l a n   f o r   q u e r y   u s e r s . 	 [ S o n g ,   C h a o ;   L i u ,   M i n g ;   G o n g ,   H a i g a n g ]   U n i v   E l e c t   S c i   &   T e c h n o l   C h i n a ,   S c h   C o m p   S c i   &   E n g n ,   C h e n g d u ,   P e o p l e s   R   C h i n a 	 S o n g ,   C   ( r e p r i n t   a u t h o r ) ,   U n i v   E l e c t   S c i   &   T e c h n o l   C h i n a ,   S c h   C o m p   S c i   &   E n g n ,   C h e n g d u ,   P e o p l e s   R   C h i n a . 	 	 	 	 	 	 [ A n o n y m o u s ] ,   M O T   S E N S ;   [ A n o n y m o u s ] ,   1 9 9 7 ,   2 6 3 1 1 1 9 9 7   I S O ;   A z i z y a n   M . ,   2 0 0 9 ,   A C M   M O B I C O M ;   E r i k s s o n   J . ,   2 0 0 8 ,   P   M O B I S Y S   0 8 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   J o h n s o n   D .   A . ,   2 0 1 1 ,   P   1 4   I N T   I E E E   C   I N T ;   K o u k o u m i d i s   E . ,   2 0 1 1 ,   P   M O B I S Y S   1 1 ;   L i n   C .   Y . ,   2 0 1 0 ,   P   A C M   P H O N E S E N S E ;   L u   H ,   2 0 0 9 ,   A C M   M O B I S Y S ;   M i l u z z o   E . ,   2 0 0 8 ,   A C M   S E N S Y S ;   M o h a n   P . ,   2 0 0 8 ,   A C M   S E N S Y S ;   R a i   A . ,   2 0 1 2 ,   P   M O B I C O M   2 0 1 2 ;   R e d d y   S . ,   2 0 1 0 ,   P E R V A S I V E   C O M P U T I N G ;   Y a n g   D . ,   P   M O B I C O M   2 0 1 2 ;   Y a n g   J . ,   2 0 1 1 ,   P   M O B I C O M   1 1 ;   Y u e n   M .   C . ,   2 0 1 1 ,   P   I N T   C   S O C   C O M P   S O C ;   Z h o u   P . ,   2 0 1 2 ,   P   M O B I S Y S   1 2 	 1 7 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 0 - 7 6 9 5 - 4 9 6 1 - 3 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 1 4 7 	 1 5 2 	 	 1 0 . 1 1 0 9 / M S N . 2 0 1 2 . 1 0 	 	 6 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B G R 4 5 	 W O S : 0 0 0 3 2 3 8 9 4 4 0 0 0 2 2 	 	 
 J 	 K o s i n s k i ,   M ;   B a c h r a c h ,   Y ;   K a s n e c i ,   G ;   V a n - G a e l ,   J ;   G r a e p e l ,   T 	 	 	 A C M 	 K o s i n s k i ,   M i c h a l ;   B a c h r a c h ,   Y o r a m ;   K a s n e c i ,   G j e r g j i ;   V a n - G a e l ,   J u r g e n ;   G r a e p e l ,   T h o r e 	 	 	 C r o w d   I Q :   M e a s u r i n g   t h e   I n t e l l i g e n c e   o f   C r o w d s o u r c i n g   P l a t f o r m s 	 P R O C E E D I N G S   O F   T H E   3 R D   A N N U A L   A C M   W E B   S C I E N C E   C O N F E R E N C E ,   2 0 1 2 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 3 r d   A n n u a l   A C M   W e b   S c i e n c e   C o n f e r e n c e   ( W e b S c i ) 	 J U N   2 2 - 2 4 ,   2 0 1 2 	 E v a n s t o n ,   I L 	 A C M 	 	 C r o w d s o u r c i n g ;   P s y c h o m e t r i c s ;   I n c e n t i v e   S c h e m e s 	 P E R F O R M A N C E ;   S Y S T E M S ;   W O R L D 	 W e   m e a s u r e   c r o w d s o u r c i n g   p e r f o r m a n c e   b a s e d   o n   a   s t a n d a r d   I Q   q u e s t i o n n a i r e ,   a n d   e x a m i n e   A m a z o n ' s   M e c h a n i c a l   T u r k   ( A M T )   p e r f o r m a n c e   u n d e r   d i f f e r e n t   c o n d i t i o n s .   T h e s e   i n c l u d e   v a r i a t i o n s   o f   t h e   p a y m e n t   a m o u n t   o f f e r e d ,   t h e   w a y   i n c o r r e c t   r e s p o n s e s   a f f e c t   w o r k e r s '   r e p u t a t i o n s ,   t h r e s h o l d   r e p u t a t i o n   s c o r e s   o f   p a r t i c i p a t i n g   A M T   w o r k e r s ,   a n d   t h e   n u m b e r   o f   w o r k e r s   p e r   t a s k .   W e   s h o w   t h a t   c r o w d s   c o m p o s e d   o f   w o r k e r s   o f   h i g h   r e p u t a t i o n   a c h i e v e   h i g h e r   p e r f o r m a n c e   t h a n   l o w   r e p u t a t i o n   c r o w d s ,   a n d   t h e   e f f e c t   o f   t h e   a m o u n t   o f   p a y m e n t   i s   n o n - m o n o t o n e - b o t h   p a y i n g   t o o   m u c h   a n d   t o o   l i t t l e   a f f e c t s   p e r f o r m a n c e .   F u r t h e r m o r e ,   h i g h e r   p e r f o r m a n c e   i s   a c h i e v e d   w h e n   t h e   t a s k   i s   d e s i g n e d   s u c h   t h a t   i n c o r r e c t   r e s p o n s e s   c a n   d e c r e a s e   w o r k e r s '   r e p u t a t i o n   s c o r e s .   U s i n g   m a j o r i t y   v o t e   t o   a g g r e g a t e   m u l t i p l e   r e s p o n s e s   t o   t h e   s a m e   t a s k   c a n   s i g n i f i c a n t l y   i m p r o v e   p e r f o r m a n c e ,   w h i c h   c a n   b e   f u r t h e r   b o o s t e d   b y   d y n a m i c a l l y   a l l o c a t i n g   w o r k e r s   t o   t a s k s   i n   o r d e r   t o   b r e a k   t i e s . 	 [ K o s i n s k i ,   M i c h a l ]   U n i v   C a m b r i d g e ,   P s y c h o m e t r   C t r ,   C a m b r i d g e   C B 2   1 T N ,   E n g l a n d 	 K o s i n s k i ,   M   ( r e p r i n t   a u t h o r ) ,   U n i v   C a m b r i d g e ,   P s y c h o m e t r   C t r ,   C a m b r i d g e   C B 2   1 T N ,   E n g l a n d . 	 m k 5 8 3 @ c a m . a c . u k ;   y o b a c h @ m i c r o s o f t . c o m ;   g j e r g j i k @ m i c r o s o f t . c o m ;   j u r g e n @ m i c r o s o f t . c o m ;   t h o r e g @ m i c r o s o f t . c o m 	 	 	 	 	 A d a m i c   L .   A . ,   2 0 0 8 ,   P   1 7   I N T   C   W O R L D   W I D ,   P 6 6 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 6 7 4 9 7 . 1 3 6 7 5 8 7 ;   A r c h a k   N . ,   2 0 0 9 ,   I C I S   2 0 0 9   P ,   V 2 0 0 ;   B a c h r a c h   Y . ,   2 0 0 9 ,   P   2 1   I N T   J O N T   C   A R T ,   P 2 0 1 6 ;   B a c h r a c h   Y . ,   2 0 1 2 ,   A A M A S ;   B a c h r a c h   Y . ,   2 0 1 0 ,   A U T O N O M O U S   A G E N T S   M U ;   B a c h r a c h   Y ,   2 0 0 9 ,   A U T O N   A G E N T   M U L T I - A G ,   V 1 9 ,   P 1 5 3 ,   D O I   1 0 . 1 0 0 7 / s 1 0 4 5 8 - 0 0 8 - 9 0 7 3 - 6 ;   B o r s t   W . A . M . ,   2 0 1 0 ,   T H E S I S   E R A S M U S   U   R O T ;   D a w i d   A P ,   1 9 7 9 ,   A P P L I E D   S T A T I S T I C S ,   V 2 8 ,   P 2 0 ,   D O I   1 0 . 2 3 0 7 / 2 3 4 6 8 0 6 ;   D i P a l a n t i n o   D . ,   2 0 0 9 ,   P   1 0   A C M   C   E L   C O M M ,   P 1 1 9 ,   D O I   1 0 . 1 1 4 5 / 1 5 6 6 3 7 4 . 1 5 6 6 3 9 2 ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   G a l l a n d   A . ,   2 0 1 0 ,   W S D M ,   P 1 3 1 ;   G a o   A . ,   2 0 1 2 ,   A A A I ;   G O L D B E R G   D ,   1 9 9 2 ,   C O M M U N   A C M ,   V 3 5 ,   P 6 1 ,   D O I   1 0 . 1 1 4 5 / 1 3 8 8 5 9 . 1 3 8 8 6 7 ;   G o t t f r e d s o n   L S ,   1 9 9 7 ,   I N T E L L I G E N C E ,   V 2 4 ,   P 7 9 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 0 - 2 8 9 6 ( 9 7 ) 9 0 0 1 4 - 3 ;   G o w e r s   T ,   2 0 0 9 ,   N A T U R E ,   V 4 6 1 ,   P 8 7 9 ,   D O I   1 0 . 1 0 3 8 / 4 6 1 8 7 9 a ;   H s u e h   P . ,   2 0 0 9 ,   P   N A A C L   H L T   2 0 0 9   W O R ,   P 2 7 ,   D O I   1 0 . 3 1 1 5 / 1 5 6 4 1 3 1 . 1 5 6 4 1 3 7 ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 6 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 9 0 6 ;   J e n s e n   A R ,   1 9 9 8 ,   G   F A C T O R   S C I   M E N T A L ;   J o s a n g   A ,   2 0 0 7 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 3 ,   P 6 1 8 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 5 . 0 5 . 0 1 9 ;   K a s n e c i   G . ,   2 0 1 1 ,   W S D M ,   P 4 6 5 ;   K A S N E C I   G ,   2 0 1 0 ,   E C M L   P K D D ,   V 6 3 2 2 ,   P 1 ;   L i n d e n   G ,   2 0 0 3 ,   I E E E   I N T E R N E T   C O M P U T ,   V 7 ,   P 7 6 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 0 3 . 1 1 6 7 3 4 4 ;   L i s t   C ,   2 0 0 9 ,   H D B   R A T I O N A L   S O C I A L ;   L u b i n s k i   D ,   2 0 0 4 ,   J   P E R S   S O C   P S Y C H O L ,   V 8 6 ,   P 9 6 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 8 6 . 1 . 9 6 ;   L y l e   J . A . ,   2 0 0 8 ,   C O L L E C T I V E   P R O B L E M   S ;   M a s o n   W . ,   2 0 1 0 ,   A C M   S I G K D D   E X P L O R A T I ,   V 1 1 ,   P 1 0 0 ,   D O I   [ D O I   1 0 . 1 1 4 5 / 1 8 0 9 4 0 0 . 1 8 0 9 4 2 2 ,   D O I   1 0 . 1 1 4 5 / - 1 8 0 9 4 0 0 . 1 8 0 9 4 2 2 ] ;   M c L e n n a n   A ,   1 9 9 8 ,   A M   P O L I T   S C I   R E V ,   V 9 2 ,   P 4 1 3 ,   D O I   1 0 . 2 3 0 7 / 2 5 8 5 6 7 3 ;   P e n n o c k   D . M . ,   2 0 0 7 ,   C O M P U T A T I O N A L   A S P E C T ;   R a v e n   J ,   2 0 0 0 ,   C O G N I T I V E   P S Y C H O L ,   V 4 1 ,   P 1 ,   D O I   1 0 . 1 0 0 6 / c o g p . 1 9 9 9 . 0 7 3 5 ;   R a v e n   J .   C . ,   S T A N D A R D   P R O G R   M A T R I ;   R a v e n   J .   C . ,   1 9 3 8 ,   P R O G R   M A T R I C E S ;   R a y k a r   V C ,   2 0 1 0 ,   J   M A C H   L E A R N   R E S ,   V 1 1 ,   P 1 2 9 7 ;   S a r w a r   B . ,   2 0 0 1 ,   J   M A C H I N E   L E A R N I N G   R ,   P 2 8 5 ;   S A U T T E R   G ,   2 0 1 1 ,   S O C I A L   I N F O R M ,   V 6 9 8 4 ,   P 2 4 0 ;   S c h m i d t   F L ,   2 0 0 4 ,   J   P E R S   S O C   P S Y C H O L ,   V 8 6 ,   P 1 6 2 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 8 6 . 1 . 1 6 2 ;   S e n   A . ,   1 9 8 6 ,   H D B   M A T H   E C ,   V 3 ,   P 1 0 7 3 ,   D O I   D O I   1 0 . 1 0 1 6 / S 1 5 7 3 - 4 3 8 2 ( 8 6 ) 0 3 0 0 4 - 7 ;   S h a p l e y   L ,   1 9 5 3 ,   C O N T R I B U T I O N S   T H E O R Y ,   P 3 1 ;   S h a p l e y   L S ,   1 9 5 4 ,   A M   P O L I T   S C I   R E V ,   V 4 8 ,   P 7 8 7 ,   D O I   1 0 . 2 3 0 7 / 1 9 5 1 0 5 3 ;   S p e a r m a n   C . ,   1 9 2 7 ,   A B I L I T I E S   M A N ;   v o n   A h n   L ,   2 0 0 6 ,   C O M P U T E R ,   V 3 9 ,   P 9 2 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 6 . 1 9 6 ;   V u k o v i c   M a j a ,   2 0 0 9 ,   P r o c e e d i n g s   o f   t h e   2 0 0 9   I E E E   C o n g r e s s   o n   S e r v i c e s .   S E R V I C E S   2 0 0 9 ,   D O I   1 0 . 1 1 0 9 / S E R V I C E S - I . 2 0 0 9 . 5 6 ;   W h i t b y   A . ,   2 0 0 4 ,   P   7   I N T   W O R K S H   T R U S T ;   W o l f e r s   J . ,   2 0 0 4 ,   T E C H N I C A L   R E P O R T ;   W o o l l e y   A W ,   2 0 1 0 ,   S C I E N C E ,   V 3 3 0 ,   P 6 8 6 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 9 3 1 4 7 	 4 4 	 0 	 0 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 1 5 1 5   B R O A D W A Y ,   N E W   Y O R K ,   N Y   1 0 0 3 6 - 9 9 9 8   U S A 	 	 	 9 7 8 - 1 - 4 5 0 3 - 1 2 2 8 - 8 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 1 5 1 	 1 6 0 	 	 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 B G M 0 3 	 W O S : 0 0 0 3 2 3 4 8 2 7 0 0 0 2 1 	 	 
 B 	 M i n d e r ,   P ;   B e r n s t e i n ,   A 	 	 	 A C M 	 M i n d e r ,   P a t r i c k ;   B e r n s t e i n ,   A b r a h a m 	 	 	 H o w   t o   T r a n s l a t e   a   B o o k   W i t h i n   a n   H o u r   T o w a r d s   G e n e r a l   P u r p o s e   P r o g r a m m a b l e   H u m a n   C o m p u t e r s   w i t h   C r o w d L a n g 	 P R O C E E D I N G S   O F   T H E   3 R D   A N N U A L   A C M   W E B   S C I E N C E   C O N F E R E N C E ,   2 0 1 2 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 3 r d   A n n u a l   A C M   W e b   S c i e n c e   C o n f e r e n c e   ( W e b S c i ) 	 J U N   2 2 - 2 4 ,   2 0 1 2 	 E v a n s t o n ,   I L 	 A C M 	 	 H u m a n   C o m p u t a t i o n ;   C r o w d s o u r c i n g ;   C r o w d L a n g 	 	 I n   t h i s   p a p e r   w e   p r e s e n t   t h e   p r o g r a m m i n g   l a n g u a g e   a n d   f r a m e w o r k   C r o w d L a n g ( 1 )   f o r   e n g i n e e r i n g   c o m p l e x   c o m p u t a t i o n   s y s t e m s   i n c o r p o r a t i n g   l a r g e   n u m b e r s   o f   n e t w o r k e d   h u m a n s   a n d   m a c h i n e s   a g e n t s .   W e   e v a l u a t e   C r o w d L a n g   b y   d e v e l o p i n g   a   t e x t   t r a n s l a t i o n   p r o g r a m   i n c o r p o r a t i n g   h u m a n   a n d   m a c h i n e   a g e n t s .   T h e   e v a l u a t i o n   s h o w s   t h a t   w e   a r e   a b l e   t o   s i m p l y   e x p l o r e   a   l a r g e   d e s i g n   s p a c e   o f   p o s s i b l e   p r o b l e m   s o l v i n g   p r o g r a m s   w i t h   t h e   s i m p l e   v a r i a t i o n   o f   t h e   u s e d   a b s t r a c t i o n s .   F u r t h e r m o r e ,   a n   e x p e r i m e n t ,   i n v o l v i n g   1 9 1 8   d i f f e r e n t   h u m a n   a c t o r s ,   s h o w s   t h a t   t h e   d e v e l o p e d   m i x e d   h u m a n - m a c h i n e   t r a n s l a t i o n   p r o g r a m   s i g n i f i c a n t l y   o u t p e r f o r m s   a   p u r e   m a c h i n e   t r a n s l a t i o n   i n   t e r m s   o f   a d e q u a c y   a n d   f l u e n c y   w h i l s t   t r a n s l a t i n g   m o r e   t h a n   3 0   p a g e s   p e r   h o u r   a n d   t h a t   t h e   p r o g r a m   a p p r o x i m a t e s   t h e   p r o f e s s i o n a l   t r a n s l a t e d   g o l d - s t a n d a r d   t o   7 5 %   u s i n g   t h e   a u t o m a t i c   e v a l u a t i o n   m e t r i c   M E T E O R .   L a s t   b u t   n o t   l e a s t ,   o u r   e v a l u a t i o n   i l l u s t r a t e s   t h a t   o u r   n e w   h u m a n   c o m p u t a t i o n   p a t t e r n   s t a g e d - c o n t e s t   w i t h   p r u n i n g   o u t p e r f o r m s   a l l   o t h e r   r e f i n e m e n t s   i n   t h e   t r a n s l a t i o n   t a s k . 	 [ M i n d e r ,   P a t r i c k ;   B e r n s t e i n ,   A b r a h a m ]   U n i v   Z u r i c h ,   D y n a m   &   D i s t r i b u t e d   I n f o r m a t   S y s t   G r p ,   C H - 8 0 0 6   Z u r i c h ,   S w i t z e r l a n d 	 M i n d e r ,   P   ( r e p r i n t   a u t h o r ) ,   U n i v   Z u r i c h ,   D y n a m   &   D i s t r i b u t e d   I n f o r m a t   S y s t   G r p ,   C H - 8 0 0 6   Z u r i c h ,   S w i t z e r l a n d . 	 m i n d e r @ i f i . u z h . c h ;   b e r n s t e i n @ i f i . u z h . c h 	 	 	 	 	 A h m a d   S . ,   2 0 1 1 ,   P   2 4   A N N   A C M   S   U S   I N ;   A q u i l a n o   N .   J . ,   2 0 0 6 ,   O P E R A T I O N S   M A N A G E M E N ;   B a n e r j e e   S . ,   2 0 0 5 ,   P   A C L   W O R K S H   I N T R   E X ,   P 6 5 ;   B e r n s t e i n   A . ,   1 9 9 9 ,   P   2 0   I N T   C   I N F   S Y S T ;   B e r n s t e i n   A . ,   2 0 0 0 ,   P   A C M   C   C O M P   S U P P   C O ;   B e r n s t e i n   A . ,   2 0 1 2 ,   C O M M U N   A C M ,   V 5 5 ,   P 1 ;   B e r n s t e i n   M S ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ;   C h e n   Y . ,   2 0 1 1 ,   H U M   C O M P   A A A I   W O R K S H ;   D e a n   J . ,   2 0 0 8 ,   C O M M U N I C A T I O N S   A C M ,   V 5 1 ;   K i t t u r   A . ,   2 0 1 1 ,   P   2 4   A N N   A C M   S   U S   I N ;   L i t t l e   G . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ;   M a l o n e   T ,   2 0 1 0 ,   M I T   S L O A N   M A N A G E M E N T ,   V 5 1 ;   M a l o n e   T .   W . ,   1 9 9 4 ,   A C M   C O M P U T I N G   S U R V E Y ,   V 2 6 ;   M a l o n e   T W ,   2 0 1 1 ,   H A R V A R D   B U S   R E V ,   V 8 9 ,   P 5 6 ;   M i n d e r   P . ,   2 0 1 2 ,   P R O G R A M M I N G   H U M A N   C O ;   N o r o n h a   J . ,   2 0 1 1 ,   P   2 4   A N N   A C M   S   U S   I N ,   P 1 ;   Z h a n g   H . ,   2 0 1 2 ,   C H I 	 1 7 	 0 	 0 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 1 5 1 5   B R O A D W A Y ,   N E W   Y O R K ,   N Y   1 0 0 3 6 - 9 9 9 8   U S A 	 	 	 9 7 8 - 1 - 4 5 0 3 - 1 2 2 8 - 8 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 2 0 9 	 2 1 2 	 	 	 	 4 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 B G M 0 3 	 W O S : 0 0 0 3 2 3 4 8 2 7 0 0 0 2 7 	 	 
 B 	 E r i c k s o n ,   H M ;   O g b u r n ,   J 	 	 	 S o c i e t y   f o r   I m a g i n g   S c i e n c e   a n d   T e c h n o l o g y 	 E r i c k s o n ,   H a l   M . ;   O g b u r n ,   J o y c e 	 	 	 r e t r o R e v e a l . o r g :   S e m i - a u t o m a t e d   O p e n - s o u r c e   A l g o r i t h m s   a n d   C r o w d s o u r c i n g   T o o l s   f o r   t h e   D i s c o v e r y ,   C h a r a c t e r i z a t i o n   a n d   R e c o v e r y   o f   L o s t   o r   O b s c u r e d   C o n t e n t 	 A R C H I V I N G   2 0 1 2 :   P R E S E R V A T I O N   S T R A T E G I E S   A N D   I M A G I N G   T E C H N O L O G I E S   F O R   C U L T U R A L   H E R I T A G E   I N S T I T U T I O N S   A N D   M E M O R Y   O R G A N I Z A T I O N S 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 9 t h   I S & T   A r c h i v i n g   C o n f e r e n c e 	 J U N   1 2 - 1 5 ,   2 0 1 2 	 C o p e n h a g e n ,   D E N M A R K 	 S o c   I m a g   S c i   &   T e c h n o l ,   R o y a l   D a n i s h   A c a d   F i n e   A r t s ,   S c h   C o n s e r v a t ,   H a s s e l b l a d ,   I m a g e   E n g n ,   J V C ,   M A M - A ,   M I C R O   S T R A T E G I E S ,   M O L A N D E R S ,   O R A C L E 	 N a t i o n a l m u s e e t 	 	 	 T h i s   i n t e r a c t i v e   s e s s i o n   w i l l   m a r k   t h e   f o r m a l   l a u n c h   o f   r e t r o R e v e a l   1 . 0 ,   a   f r e e   s e r v i c e   l o c a t e d   a t   w w w . r e t r o R e v e a l . o r g .   S u p p o r t e d   a n d   h o s t e d   b y   t h e   U n i v e r s i t y   o f   U t a h   M a r r i o t t   L i b r a r y .   T h e   s e r v e r   p r o v i d e s   s e m i - a u t o m a t e d   f o r e n s i c - s t y l e   e n h a n c e m e n t   o f   d i g i t a l   i m a g e s   o f   v a r y i n g   q u a l i t y   f r o m   c a m e r a s   a n d   s c a n n e r s .   T h o u g h   o r i g i n a l l y   t a r g e t e d   a t   a r c h i v i s t s ,   c u r a t o r s ,   c o n s e r v a t o r s   a n d   s c h o l a r s ,   r e t r o R e v e a l   a l g o r i t h m s   h a v e   p r o v e n   u s e f u l   t o   o t h e r s   d u r i n g   t h e   d e v e l o p m e n t   p h a s e ,   m o s t   n o t a b l y   a r c h a e o l o g i s t s .   r e t r o R e v e a l   a c c e p t s   s o u r c e   i m a g e s   o f   m o d e s t - t o - g o o d   q u a l i t y   a n d   p r o v i d e s   a n   a c c e s s i b l e   i n t e r f a c e   a l l o w i n g   n o n - e x p e r t s   t o   a p p l y   f o r e n s i c - s t y l e   a l g o r i t h m s   a n d   t o   e a s i l y   r e v i e w ,   f l a g   a n d   t a g   s e t s   o f   p r o c e s s e d   i m a g e s   f r o m   t h e i r   o w n   o r   i n s t i t u t i o n a l   u p l o a d s .   r e t r o R e v e a l   i s   n o t   i n t e n d e d   t o   r e p l a c e   a d v a n c e d   i m a g i n g   t e c h n o l o g i e s   f o r   t h e   m o s t   d i f f i c u l t   c a s e s .   I t   m e r e l y   d e l i v e r s   f r e e   u s e r - f r i e n d l y   t o o l s   f o r   d i s c o v e r y   a n d   a d e q u a t e   i d e n t i f i c a t i o n / c h a r a c t e r i z a t i o n   o f   r e l e v a n t   c o n t e n t   i n   t h a t   v a s t   m a j o r i t y   o f   c a s e s   w h e r e   s o p h i s t i c a t e d   i n v e s t i g a t i o n   i s   i n f e a s i b l e .   T h a t   c o n c e d e d ,   r e c e n t   p r o b l e m s   s o l v e d   i n c l u d e :   1 .   r e n d e r i n g   f o r   t r a n s l a t i o n   o f   a   p a p y r u s   p a l i m p s e s t   s o   f a i n t   t h a t   t h e   s c h o l a r   h a d n ' t   e v e n   c o r r e c t l y   i d e n t i f i e d   t h e   l a n g u a g e ;   t h e   p a l i m p s e s t   i s   M o s l e m   " c o v e r   s c r o l l "   t h a t   r e p o r t e d l y   p r e d a t e s   t h e   p r e v i o u s   e a r l i e s t   k n o w n   i n s t a n c e ;   2 .   r e a d i n g   t h r o u g h   s t r o n g   r e d a c t i o n   i n   a   M a r k   T w a i n   l e t t e r ;   3 .   r e a d i n g   t h r o u g h   e n d p a p e r s   d o w n   t o   a   v e l l u m   l e t t e r   u s e d   a s   a   b o o k ' s   s e w i n g   s u p p o r t   i n   t h e   b i n d i n g   p r o c e s s ;   4 .   v i s u a l i z i n g   m e d i e v a l   A r a b i c   c o n t e n t   t h r o u g h   g o l d   l e a f ;   5 .   r e c o v e r i n g   B e e t h o v e n ' s   w a t e r - d a m a g e d   i n s t r u c t i o n s   t o   a   p u b l i s h e r   c o n c e r n i n g   m u s i c a l   d e t a i l s   o f   a   s c o r e ;   6 .   i m a g i n g   m i s c a r r i a g e - r e l a t e d   e r a s u r e s   o n   a   s k e t c h e d   s e l f - p o r t r a i t   o f   F r i d a   K a h l o   w i t h   D i e g o   R i v e r a ;   7 .   r e v e a l i n g   f i n e   d e t a i l   o f   S t r a d i v a r i u s   w o o d   a n d   v a r n i s h   i n   a   n e a r l y   b l a c k   s e c t i o n   o f   a   j o u r n a l - p u b l i s h e d   p h o t o m i c r o g r a p h ;   8 .   r e c o v e r i n g   c o n t e n t   f r o m   m a s s i v e l y - o v e r e x p o s e d   m i c r o f i l m s   o f   o b j e c t s   t h a t   c a n   n o   l o n g e r   b e   a c c e s s e d ;   9 .   r e v e a l i n g   f r o m   a   p o o r - q u a l i t y   l o w - l i g h t   a e r i a l   p h o t o : s l i d e   t h a t   a   w e l l - s u r v e y e d   s m a l l   a n d   u n i m p o r t a n t   a r c h a e o l o g i c a l   s i t e   w a s   a c t u a l l y   a   m a j o r   a r c h a e o a s t r o n o m i c a l   c o m p l e x ;   1 0 .   f r o m   l o w - q u a l i t y   s o u r c e   i m a g e s ,   v i s u a l i z i n g   e x p o s u r e - f a d e d   t r a c e s   o f   m e s s a g e s   w r i t t e n   i n   w a g o n   a x l e - g r e a s e   o n   " m e s s a g e   s t o n e s "   a l o n g   t h e   O r e g o n   T r a i l . .   1 1 .   r e c o v e r i n g   a   t i t l e   f r o m   f a i n t   s c r a t c h e s   o n   t h e   s k i v e r - c o v e r e d   f r o n t   b o a r d   o f   a   B r i g h a m   Y o u n g   d i a r y   c o v e r i n g   o n e   o f   t h e   m o s t   c o n t e n t i o u s   s u m m e r s   i n   t h e   h i s t o r y   o f   U t a h   s e t t l e m e n t .   A t   p r e s e n t   m u c h   o f   t h e   i m a g e   e n h a n c e m e n t   i s   d a t a b a s e - m a n a g e d   s c r i p t - d r i v e n   p r o c e s s i n g   u s i n g   N I H   I m a g e   [ 1 ]   t h o u g h   a   s w i t c h   t o   c o m p i l e d   b i n a r i e s   i s   p e n d i n g .   A l l   s c r i p t s   a n d   p r o c e s s i n g   s o u r c e   c o d e   w i l l   e v o l v e   a s   o p e n - s o u r c e ,   a n d   a l l   p r o c e s s e d   i m a g e r y   a n d   m e t a d a t a   a r e   d i s t r i b u t e d   u n d e r   C r e a t i v e   C o m m o n s   l i c e n s i n g .   W h i l e   p r o c e s s e d   i m a g e s   c a n   b e   s a v e d   t o   t h e   u s e r ' s   h a r d   d r i v e ,   v e r y   s o o n   a n y   p r o c e s s e d   r e s u l t   m a y   b e   a s s i g n e d   a   D O I .   T h i s   p e r s i s t e n t   a c a d e m i c a l l y - c i t a b l e   l o c a t e r   o f   d i g i t a l   r e s o u r c e s   w i l l   a l l o w   o t h e r s   t o   i n v o k e   t h e   o r i g i n a l   a l g o r i t h m   a n d   r e g e n e r a t e / i n s p e c t   t h e   v i e w   t h a t   w a s   s e e n   b y   t h e   c i t i n g ,   c o r r e s p o n d i n g   o r   c o l l a b o r a t i n g   a u t h o r .   I n   t h e   n e a r   f u t u r e ,   t h e   s e r v e r   w i l l   a l s o   c r o w d s o u r c e   t h e   f l a g g i n g   o f   l o s t / o b s c u r e d   c o n t e n t   i n   t h e   d i g i t i z e d   c o l l e c t i o n s   o f   p a r t n e r   i n s t i t u t i o n s ,   b u t   t h e s e   f e a t u r e s   a r e   s t i l l   u n d e r   d e v e l o p m e n t   a n d   m a y   n o t   b e   a v a i l a b l e   a t   t h e   l a u n c h   o f   r e t r o R e v e a l   1 . 0 .   W h e n   i m p l e m e n t e d ,   o n l i n e   t u t o r i a l s   w i l l   t r a i n   v o l u n t e e r s   t o   s p o t   s u c h   f e a t u r e s   a s   p a l i m p s e s t s ,   r e d a c t i o n s ,   a u t h o r i a l   e r a s u r e s ,   b l e a c h e d   o r   e r a s e d   p r o v e n a n c i a l   m a r k i n g s / m a r g i n a l i a ,   a l t e r a t i o n s ,   c o n t e n t   b e n e a t h   p a s t e d - d o w n   b i n d i n g   m a t e r i a l s ,   f u g i t i v e   m e d i a ,   c o n t e n t   o n   v e r s o   o f   m o u n t e d   i t e m s ,   w a t e r - d a m a g e d   m e d i a ,   o b s c u r i n g   m o l d   o r   s o i l i n g / s t a i n i n g ,   a n d   a r c h a e o l o g i c a l   v i s u a l i z a t i o n   b o t h   o f   l a n d   u s e   i n   r e m o t e   i m a g i n g   a n d   f u g i t i v e   c o n t e n t   o n   s t o n e .   T h e   n a t u r e   o f   r e t r o R e v e a l   w o r k p r o d u c t   i s   s u c h   t h a t   a n y   s u b s t a n t i v e   d e s c r i p t i o n   m u s t   b e   h i g h l y   d e p e n d e n t   o n   p a i r s   o f   h i g h - r e s o l u t i o n   i m a g e s .   a t   l e a s t   o n e   o f   w h i c h   i s   t y p i c a l l y   f u l l - c o l o r .   T h i s   d e p e n d e n c e   m e a n s   t h a t   a   u s e f u l   c o m m u n i c a t i o n   ( 1 )   c a n n o t   b e   u s e f u l l y   r e n d e r e d   i n   g r a y s c a l e   p r i n t i n g ,   a n d   ( 2 )   w i l l   b e   p u s h e d   b e y o n d   t h e   p a g e   c o n s t r a i n t s   o f   a   P r o c e e d i n g s   p a p e r .   T h e   i n t e r e s t e d   r e a d e r   m a y   d o w n l o a d   a n   I S & T - f o r m a t t e d   w h i t e   p a p e r   f r o m   t h e   U n i v e r s i t y   o f   U t a h   i n s t i t u t i o n a l   r e p o s i t o r y   a t   h t t p : / / u s p a c e . u t a h . e d u /   o r   f r o m   t h e   r e t r o R e v e a l   s i t e   i t s e l f   a t   h t t p : / / w w w . r e t r o R e v e a l . o r g / p u b s / A r c h i v i n g 2 0 1 2 . p d f . 	 [ E r i c k s o n ,   H a l   M . ]   U n i v   U t a h ,   H l t h   S c i   C t r ,   D i v   C a r d i o t h o r a c   S u r g ,   S a l t   L a k e   C i t y ,   U T   U S A 	 	 	 	 	 	 	 R a s b a n d   W . ,   1 9 9 7 ,   I M A G E J 	 1 	 0 	 0 	 S O C   I M A G I N G   S C I E N C E   &   T E C H N O L O G Y 	 S P R I N G F I E L D 	 7 0 0 3   K I L W O R T H   L A N E ,   S P R I N G F I E L D ,   V A   2 2 1 5 1   U S A 	 	 	 9 7 8 - 0 - 8 9 2 0 8 - 3 0 0 - 8 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 8 8 	 8 8 	 	 	 	 1 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e ;   I m a g i n g   S c i e n c e   &   P h o t o g r a p h i c   T e c h n o l o g y 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e ;   I m a g i n g   S c i e n c e   &   P h o t o g r a p h i c   T e c h n o l o g y 	 B F Q 4 1 	 W O S : 0 0 0 3 2 0 9 6 5 4 0 0 0 2 0 	 	 
 B 	 C h e n ,   P Y ;   K u o ,   P J 	 	 	 S o c i e t y   f o r   I m a g i n g   S c i e n c e   a n d   T e c h n o l o g y 	 C h e n ,   P o - Y e n ;   K u o ,   P e i - J e n g 	 	 	 A r c h i v i n g   o f   P e r s o n a l   D i g i t a l   P h o t o g r a p h   C o l l e c t i o n s   w i t h   a   M P E G - 7   B a s e d   G e o t a g   R e l a t e d   A n n o t a t i o n   M e t h o d o l o g y 	 A R C H I V I N G   2 0 1 2 :   P R E S E R V A T I O N   S T R A T E G I E S   A N D   I M A G I N G   T E C H N O L O G I E S   F O R   C U L T U R A L   H E R I T A G E   I N S T I T U T I O N S   A N D   M E M O R Y   O R G A N I Z A T I O N S 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 9 t h   I S & T   A r c h i v i n g   C o n f e r e n c e 	 J U N   1 2 - 1 5 ,   2 0 1 2 	 C o p e n h a g e n ,   D E N M A R K 	 S o c   I m a g   S c i   &   T e c h n o l ,   R o y a l   D a n i s h   A c a d   F i n e   A r t s ,   S c h   C o n s e r v a t ,   H a s s e l b l a d ,   I m a g e   E n g n ,   J V C ,   M A M - A ,   M I C R O   S T R A T E G I E S ,   M O L A N D E R S ,   O R A C L E 	 N a t i o n a l m u s e e t 	 	 	 N o w a d a y s ,   e v e r y o n e   m a y   e a s i l y   p o s s e s s   o n e   o r   m o r e   c a m e r a s .   T h e   i n n o v a t i o n   o f   d i g i t a l   c a m e r a   t e c h n o l o g y   i s   g e t t i n g   f a s t e r   a n d   f a s t e r ,   a n d   i t s   p e r f o r m a n c e   a n d   c a p a c i t y   i s   c o n s t a n t l y   g r o w i n g .   W i t h   t h e   p e r v a s i v e   o f   d i g i t a l   r e c o r d i n g   d e v i c e s ,   p e r s o n a l   d i g i t a l   d a t a   m a y   s h o w   a n   e x p o n e n t i a l   g r o w t h .   H o w e v e r ,   i t   i s   d i f f i c u l t   a n d   t i m e   c o n s u m i n g   t o   o r g a n i z e   a n d   r e l o c a t e   s p e c i f i c   p h o t o g r a p h   c o l l e c t i o n   w i t h i n   s u c h   a   h u g e   a m o u n t   o f   d i g i t a l   d a t a   w h e n   t h e r e   i s   l a c k   o f   p r e b u i l t   d e s c r i p t i o n s .   I n   2 0 0 4 ,   K u o   e t   a l .   [ 1 0 ]   p r o p o s e d   a   m u l t i m e d i a   d e s c r i p t i o n   s c h e m a   s y s t e m   b a s e d   o n   M P E G - 7   t e c h n o l o g y   c a l l e d   P A R I S   ( P e r s o n a l   A r c h i v i n g   a n d   R e t r i e v i n g   I m a g e   S y s t e m ) .   I t   w a s   d e s i g n e d   t o   i n t e g r a t e   s p a t i a l   a n d   t e m p o r a l   i n f o r m a t i o n   o f   m u l t i m e d i a   c o n t e n t   i n t o   a   M P E G - 7   b a s e d   s e m a n t i c   d e s c r i p t i o n .   W i t h   t h i s   d e s c r i p t i o n   a r c h i t e c t u r e ,   P A R I S   e n v i s i o n e d   b e i n g   a b l e   t o   c o n t i n u o u s l y   c a p t u r e   a n d   a r c h i v e   p e r s o n a l   e x p e r i e n c e   w i t h   a u d i o v i s u a l   r e c o r d i n g   d a t a   a n d   u t i l i z e   p o t e n t i a l   s o c i a l   n e t w o r k i n g   a n n o t a t i o n s   p r o v i d e d   b y   t h i r d   p a r t y   s e r v i c e s .   W e   c a r r y   o u t   a n   o n g o i n g   p r o j e c t   w i t h   t h e   P A R I S   a r c h i t e c t u r e   u s i n g   a   s e m i - a u t o m a t i c   c r o w d s o u r c i n g   a n n o t a t i o n   p o s s i b i l i t y   e n a b l e d   b y   t h i r d   p a r t y   s o c i a l   n e t w o r k i n g   s e r v i c e s .   W h i l e   m o s t   c u r r e n t   s m a r t p h o n e   c a m e r a s   a r e   e q u i p p e d   w i t h   G P S   r e c o r d i n g   f e a t u r e s ,   t h e   p o s s i b i l i t y   o f   s e m i - a u t o m a t i c   r e c o r d i n g   o f   p e r s o n a l   r e c o g n i z a b l e   t e x t   b a s e d   s p a t i a l   d a t a   i s   s t i l l   u n a b l e .   I n   t h i s   p a p e r   w e   e x p l a i n s   o u r   p r o p o s e d   m e t h o d o l o g y   o f   a d d i n g   t e x t   b a s e d   l o c a t i o n   d e s c r i p t i o n   i n t o   m u l t i m e d i a   c o n t e n t s   w i t h   t h e   a i d   o f   c u r r e n t   s o c i a l   n e t w o r k i n g   s e r v i c e s . 	 [ C h e n ,   P o - Y e n ;   K u o ,   P e i - J e n g ]   N a t l   C h e n g c h i   U n i v ,   D e p t   C o m p   S c i ,   T a i p e i   1 1 6 2 3 ,   T a i w a n 	 	 	 	 	 	 	 A n g e l i d e s   M a r i o s   C . ,   2 0 1 1 ,   H D B   M P E G   A P P L   S T A N D A ,   P 2 6 3 ;   B e n i t e z   A B ,   2 0 0 2 ,   I E E E   I M A G E   P R O C ,   P 1 3 7 ;   G a o   W e i ,   2 0 1 0 ,   P r o c e e d i n g s   2 0 1 0   3 r d   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n t e l l i g e n t   N e t w o r k s   a n d   I n t e l l i g e n t   S y s t e m s   ( I C I N I S   2 0 1 0 ) ,   D O I   1 0 . 1 1 0 9 / I C I N I S . 2 0 1 0 . 4 0 ;   ( G u u s )   S c h r e i b e r   A .   T h . ,   2 0 0 1 ,   J   I E E E   I N T E L L I G E N T   S ,   V 1 6 ,   P 6 6 ;   H y v o n e n   E e r o ,   2 0 0 2 ,   P   X M L   F I N L   2 0 0 2   C ,   P 1 5 ;   J a i m e s   A l e j a n d r o ,   2 0 0 3 ,   P   I C M E ,   P 7 8 1 ;   K u o   P e g - J e n g ,   2 0 0 7 ,   T H E S I S   U   T O K Y O ;   K u o   P . - J . ,   2 0 0 4 ,   P r o c e e d i n g s .   2 0 0 4   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   e - T e c h n o l o g y ,   e - C o m m e r c e   a n d   e - S e r v i c e ;   K u o   P . - J . ,   2 0 0 4 ,   P r o c e e d i n g s .   C o m p u t e r   G r a p h i c s   I n t e r n a t i o n a l ;   M a n j u n a t h   B .   S . ,   2 0 0 2 ,   I N T R O   M P E G   7   M U L T I M E ,   P 8 3 ;   M a r i o s   C . ,   2 0 1 1 ,   H D B   M P E G   A P P L   S T A N D A ,   P 2 2 1 ;   P e i - J e n g   K u o ,   2 0 0 5 ,   P   A R C H ,   P 1 8 8 ;   S o o   V o n - W u n ,   2 0 0 3 ,   P   3   A C M   I E E E   C S   J O I N ,   P 6 1 	 1 3 	 0 	 0 	 S O C   I M A G I N G   S C I E N C E   &   T E C H N O L O G Y 	 S P R I N G F I E L D 	 7 0 0 3   K I L W O R T H   L A N E ,   S P R I N G F I E L D ,   V A   2 2 1 5 1   U S A 	 	 	 9 7 8 - 0 - 8 9 2 0 8 - 3 0 0 - 8 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 1 0 7 	 1 1 0 	 	 	 	 4 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e ;   I m a g i n g   S c i e n c e   &   P h o t o g r a p h i c   T e c h n o l o g y 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e ;   I m a g i n g   S c i e n c e   &   P h o t o g r a p h i c   T e c h n o l o g y 	 B F Q 4 1 	 W O S : 0 0 0 3 2 0 9 6 5 4 0 0 0 2 5 	 	 
 B 	 K l u c k ,   C 	 	 	 S o c i e t y   f o r   I m a g i n g   S c i e n c e   a n d   T e c h n o l o g y 	 K l u e c k ,   C a r l a 	 	 	 Z o o m i n g   I n   o n   t h e   B i g   P i c t u r e :   D i g i t i z a t i o n   o f   N i t r a t e   P a n o r a m i c   F i l m 	 A R C H I V I N G   2 0 1 2 :   P R E S E R V A T I O N   S T R A T E G I E S   A N D   I M A G I N G   T E C H N O L O G I E S   F O R   C U L T U R A L   H E R I T A G E   I N S T I T U T I O N S   A N D   M E M O R Y   O R G A N I Z A T I O N S 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 9 t h   I S & T   A r c h i v i n g   C o n f e r e n c e 	 J U N   1 2 - 1 5 ,   2 0 1 2 	 C o p e n h a g e n ,   D E N M A R K 	 S o c   I m a g   S c i   &   T e c h n o l ,   R o y a l   D a n i s h   A c a d   F i n e   A r t s ,   S c h   C o n s e r v a t ,   H a s s e l b l a d ,   I m a g e   E n g n ,   J V C ,   M A M - A ,   M I C R O   S T R A T E G I E S ,   M O L A N D E R S ,   O R A C L E 	 N a t i o n a l m u s e e t 	 	 	 L i b r a r y   a n d   A r c h i v e s   C a n a d a   ( L A C )   h a s   m a d e   s i g n i f i c a n t   c h a n g e s   i n   t h e   s t o r a g e   o f   t h e   i n s t i t u t i o n ' s   c e l l u l o s e   n i t r a t e   c o l l e c t i o n   a n d   m a d e   g r e a t   p r o g r e s s   t o w a r d s   s o l v i n g   t h e   p r o b l e m   o f   i n a c c e s s i b i l i t y   c o n c e r n i n g   n i t r a t e   p a n o r a m i c   f i l m .   L A C ' S   v a s t   c o l l e c t i o n   o f   n i t r a t e   m a t e r i a l   i n c l u d e s   6 0 0 , 0 0 0   p h o t o g r a p h i c   n e g a t i v e s   o f   w h i c h   a p p r o x i m a t e l y   4 , 0 0 0   p a n o r a m a s   h a v e   r e m a i n e d   i n a c c e s s i b l e   t o   b o t h   t h e   p u b l i c   a n d   a r c h i v i s t s .   T h e   p a n o r a m a s   h a d   p r e v i o u s l y   b e e n   s t o r e d   i n   t h e i r   o r i g i n a l   h o u s i n g s ,   o f t e n   m u l t i p l e   n e g a t i v e s   p e r   m e t a l   c a n i s t e r ,   a t   a n   o f f s i t e   s t o r a g e   f a c i l i t y   t h a t   w a s   n o t   c o n s i d e r e d   c o n d u c i v e   f o r   t h e   l o n g - t e r m   p r e s e r v a t i o n   o f   n i t r a t e   m a t e r i a l .   A s   p a r t   o f   t h e   p r e p a r a t i o n s   t o   m o v e   t h e   n i t r a t e   c o l l e c t i o n   t o   L A C ' S   n e w   s t a t e - o f - t h e - a r t   N i t r a t e   F i l m   P r e s e r v a t i o n   F a c i l i t y   ( N F P F )   s t a f f   d e s c r i b e d ,   a s s e s s e d ,   m e a s u r e d ,   a n d   r e h o u s e d   e a c h   p a n o r a m i c   n e g a t i v e   b y   s e p a r a t i n g   t h e   p a n o r a m a s ,   i n d i v i d u a l l y   r o l l i n g ,   t h e n   w r a p p i n g   t h e m   i n   b o n d   p a p e r   a n d   p l a c i n g   t h e m   i n   b o x e s   i n   a n   u p r i g h t   p o s i t i o n .   I n   F e b r u a r y   2 0 1 1 ,   t h e   e n t i r e   n i t r a t e   c o l l e c t i o n   w a s   r e l o c a t e d   t o   t h i s   n e w   f a c i l i t y ,   w h i c h   i n c l u d e s   a   c o l l e c t i o n   p r o c e s s i n g   r o o m   a n d   a   d i g i t i z a t i o n   r o o m .   B u i l d i n g   o n   t h e   i n i t i a l   r e s e a r c h   u n d e r t a k e n   b y   G r e g   H i l l   a n d   T a n i a   P a s s a f i u m e   ( p r e s e n t e d   a t   t h e   I S & T   c o n f e r e n c e   i n   2 0 0 6 [ 1 ] ) ,   t h i s   p a p e r   w i l l   o u t l i n e   h o w   s t a f f   e s t a b l i s h e d   a   s u c c e s s f u l   w o r k f l o w   t o   d i g i t i z e   a   s e l e c t i o n   o f   1 , 5 0 0   p a n o r a m a s   f r o m   t h e   M e r r i l e e s   c o l l e c t i o n .   T h i s   c o l l e c t i o n   i s   i n   h i g h   d e m a n d   b u t   t h e   p a n o r a m a s   h a v e   b e e n   r e s t r i c t e d   i n   a c c e s s   d u e   t o   t h e   f r a g i l i t y   o f   t h e   m a t e r i a l .   T h e   s e l e c t e d   p a n o r a m a s   a r e   m a i n l y   i m a g e s   o f   C a n a d i a n   E x p e d i t i o n a r y   F o r c e   b a t t a l i o n s   f r o m   t h e   F i r s t   W o r l d   W a r ,   w i t h   t h e   n e g a t i v e s   m e a s u r i n g   u p   t o   2 . 6   m e t r e s   ( 9   f e e t )   i n   l e n g t h .   A f t e r   d i g i t i z a t i o n   t h e   i m a g e s   w i l l   b e   u p l o a d e d   t o   t h e   L A C   w e b s i t e .   I n   l i g h t   o f   t h e   u p c o m i n g   1 0 0 t h   a n n i v e r s a r y   o f   t h e   s t a r t   o f   t h e   F i r s t   W o r l d   W a r   i t   i s   a n t i c i p a t e d   t h a t   t h e   p u b l i c ,   t h r o u g h   w e b - b a s e d   c r o w d s o u r c i n g ,   w i l l   h e l p   i n   t h e   i d e n t i f i c a t i o n   o f   m a n y   o f   t h e   s o l d i e r s   i n   t h e   p a n o r a m a s .   T h i s   d i s c u s s i o n   w i l l   h i g h l i g h t   s e v e r a l   c h a l l e n g e s   s u c h   a s   t h e   l i m i t e d   o p t i o n s   o f   e q u i p m e n t   a n d   s e t u p   a v a i l a b l e   w h e n   d i g i t i z i n g   n i t r a t e   p a n o r a m i c   f i l m ,   a n d   d e a l i n g   w i t h   a   m e d i u m   a f f e c t e d   b y   d e t e r i o r a t i o n .   A   c o m p l e t e   r e v i e w   w i l l   a l s o   b e   p r e s e n t e d   o f   t h e   n e w   p r o c e s s   d e v e l o p e d   t o   o b t a i n   a   h i g h   r e s o l u t i o n   p r e s e r v a t i o n   s c a n   t h e r e b y   a l l o w i n g   p u b l i c   a c c e s s   t o   t h e   p a n o r a m a s   w h i l e   s i m u l t a n e o u s l y   p r e s e r v i n g   t h e   o r i g i n a l   m a t e r i a l   i n   a   s e c u r e   a n d   c o n t r o l l e d   e n v i r o n m e n t . 	 [ K l u e c k ,   C a r l a ]   L i b   &   A r c h   C a n a d a ,   O t t a w a ,   O N ,   C a n a d a 	 	 	 	 	 	 	 B o w e r s   J a m e s ,   2 0 1 1 ,   C O M M U N I C A T I O N ;   H i l l   G r e g o r y   J . ,   2 0 0 6 ,   L O N G   S H O R T   C O P Y I N G   P ,   P 2 3 6 ;   p u b l i c a t i o n s   N F P A ,   2 0 0 7 ,   N F P A   P U B L 	 3 	 0 	 0 	 S O C   I M A G I N G   S C I E N C E   &   T E C H N O L O G Y 	 S P R I N G F I E L D 	 7 0 0 3   K I L W O R T H   L A N E ,   S P R I N G F I E L D ,   V A   2 2 1 5 1   U S A 	 	 	 9 7 8 - 0 - 8 9 2 0 8 - 3 0 0 - 8 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 2 3 2 	 2 3 7 	 	 	 	 6 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e ;   I m a g i n g   S c i e n c e   &   P h o t o g r a p h i c   T e c h n o l o g y 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e ;   I m a g i n g   S c i e n c e   &   P h o t o g r a p h i c   T e c h n o l o g y 	 B F Q 4 1 	 W O S : 0 0 0 3 2 0 9 6 5 4 0 0 0 5 2 	 	 
 J 	 K o r t l e b e n ,   H ;   V o l l m a r ,   B 	 	 V i v a s ,   C ;   L u c a s ,   F 	 	 K o r t l e b e n ,   H a n n o ;   V o l l m a r ,   B e r n h a r d 	 	 	 C r o w d i n v e s t i n g ,   a n   I n n o v a t i v e   O p t i o n   f o r   S t a r t - u p   F i n a n c i n g ? 	 P R O C E E D I N G S   O F   T H E   7 T H   E U R O P E A N   C O N F E R E N C E   O N   I N N O V A T I O N   A N D   E N T R E P R E N E U R S H I P ,   V O L S   1   A N D   2 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 7 t h   E u r o p e a n   C o n f e r e n c e   o n   I n n o v a t i o n   a n d   E n t r e p r e n e u r s h i p   ( E C I E ) 	 S E P   2 0 - 2 1 ,   2 0 1 2 	 P O R T U G A L 	 	 I n s t   P o l i t e c n i c o   S a n t a r e m ,   E s c o l a   S u p e r   G e s t a o   &   T e c n o l o g i a 	 c r o w d i n v e s t i n g ;   c r o w d f u n d i n g ;   p r i n c i p a l - a g e n t   t h e o r y ;   e a r l y - s t a g e   f i n a n c i n g ;   s t a r t - u p   f i n a n c i n g 	 	 A s   p a r t   o f   t h e   r a p i d   e x p a n s i o n   o f   t h e   I n t e r n e t   a n d   t h e   i n c r e a s i n g   s o c i a l   n e t w o r k i n g   a s s o c i a t e d   w i t h   i t ,   i t   i s   n o w   p o s s i b l e   f o r   p r o j e c t   i n i t i a t o r s   t o   r a i s e   c a p i t a l   f r o m   a   w i d e   g r o u p   o f   p e o p l e ,   n o t   o n l y   f o r   c h a r i t a b l e   p r o j e c t s   b u t   a l s o   f o r   n e w   b u s i n e s s e s .   T h i s   c a n   b e   d o n e   q u i c k l y   a n d   e f f i c i e n t l y   t h r o u g h   o n l i n e   p l a t f o r m s .   C r o w d i n v e s t i n g ,   a   n e w   f o r m   o f   c r o w d s o u r c i n g ,   i s   a   p r o m i s i n g   a n d   a b s o l u t e l y   i n n o v a t i v e   m e t h o d   o f   f i n a n c i n g   a   s t a r t - u p   c o m p a n y   t h r o u g h   a   g r o u p   o f   i n v e s t o r s ,   e a c h   c a r r y i n g   i n   o n l y   a   s m a l l   p r o p o r t i o n   o f   t h e   t o t a l   f u n d i n g .   T h e   p a p e r   d e a l s   w i t h   f u n d a m e n t a l   i s s u e s   o f   c r o w d i n v e s t i n g   a s   a n   i n n o v a t i v e   a n d   p o t e n t i a l   a l t e r n a t i v e   t o   v e n t u r e   c a p i t a l .   B a s e d   o n   a n   o v e r v i e w   o f   G e r m a n   c r o w d i n v e s t i n g   p l a t f o r m s ,   w h i c h   a c t   a s   i n t e r m e d i a r i e s   b e t w e e n   i n v e s t o r s   a n d   s t a r t - u p   c o m p a n i e s ,   t h e   c r o w d i n v e s t i n g   p r o c e s s   i s   a n a l y z e d .   I n   a d d i t i o n ,   t h e   c u r r e n t   s i t u a t i o n   o f   t h e   G e r m a n   c r o w d i n v e s t i n g   m a r k e t   i s   e v a l u a t e d   a n d   e x a m p l e s   o f   s u c c e s s f u l   s t a r t - u p   f u n d i n g   v i a   c r o w d i n v e s t i n g   p l a t f o r m s   a r e   g i v e n .   T h i s   p a p e r   w i l l   a l s o   p r o v i d e   a n   a n a l y s i s   o f   p o t e n t i a l   c o n f l i c t   s i t u a t i o n s   b e t w e e n   s t a r t - u p   c o m p a n i e s ,   c r o w d i n v e s t o r s   a n d   e m p l o y e e s   o f   c r o w d i n v e s t i n g   p l a t f o r m s   f r o m   a   p r i n c i p a l - a g e n t   p e r s p e c t i v e .   T h e   m o d e l   a s s u m e s   a   t r i a n g u l a r   r e l a t i o n s h i p   b e t w e e n   t h e   p a r t i e s ,   w h i c h   h o w e v e r   c a n   a l w a y s   b e   b r o k e n   d o w n   i n t o   a   o n e - t o - o n e   r e l a t i o n s h i p .   T h e   t h e o r e t i c a l l y   d e v e l o p e d   f i n d i n g s   c o u l d   l e a d   p l a t f o r m   o p e r a t o r s   t o   i m p l e m e n t   m i s s i n g   o r   d e s i r a b l e   f e a t u r e s   i n   t h e   n e a r   f u t u r e .   C r o w d i n v e s t o r s   a n d   e n t r e p r e n e u r s   c o u l d   a l s o   t a k e   a   l o o k   a t   t h e a d d r e s s e d   i s s u e s   i n   o r d e r   t o   s t r e n g t h e n   t h e i r   o w n   d e c i s i o n s   f o r   o r   a g a i n s t   c r o w d i n v e s t i n g .   T h r o u g h   t h e   e m p i r i c a l   i n v e s t i g a t i o n   o f   s o m e   i d e a s   i t   c o u l d   b e   f o u n d ,   t h a t   s o m e   p o t e n t i a l   c o n f l i c t s   a r e   a l r e a d y   b e i n g   s o l v e d   o r   m i t i g a t e d   t h r o u g h   c o n t r a c t u a l   a r r a n g e m e n t s   o r e x i s t i n g   f u n c t i o n a l i t i e s   o f   o n l i n e   p l a t f o r m s .   H o w e v e r ,   t h e   a c t o r s   t h e m s e l v e s   a r e   r e s p o n s i b l e   f o r   e n d i n g   o t h e r   c o n f l i c t   s i t u a t i o n s .   S u c h   f o r m s   o f   m i t i g a t i n g   b e h a v i o u r   a r e   a d d r e s s e d   i n   t h i s p a p e r .   F u r t h e r m o r e ,   t h e   p a p e r   l i s t s   u p   s o m e   a r g u m e n t s   w h y   c r o w d i n v e s t i n g   p l a t f o r m s   m a y   i n c r e a s e   t h e   e f f i c i e n c y   o f   t r a n s a c t i o n   b e t w e e n   e n t r e p r e n e u r s   a n d   i n v e s t o r s ,   b e f o r e ,   f i n a l l y ,   a n   o u t l o o k   i n t o   t h e   p o t e n t i a l   f u t u r e   o f   c r o w d i n v e s t i n g   i s   g i v e n .   T h i s   w o r k   s e r v e s   a s   a   p r e l i m i n a r y   a n a l y s i s   f o r   a   m o r e   e x t e n s i v e   ( q u a n t i t a t i v e   a n d   q u a l i t a t i v e )   e m p i r i c a l   s t u d y ,   i n   o r d e r   t o   p r o v i d e   i n f o r m a t i o n   a b o u t   t h e   d e c i s i o n - m a k i n g   b e h a v i o u r   o f   i n v e s t o r s   a n d   e n t r e p r e n e u r s   i n   t h e   c o n t e x t   o f   c r o w d i n v e s t i n g . 	 [ K o r t l e b e n ,   H a n n o ;   V o l l m a r ,   B e r n h a r d ]   P F H   P r i v a t e   U n i v   A p p l   S c i ,   G o t t i n g e n ,   G e r m a n y 	 	 h k o r t l e b e n @ p f h . d e ;   v o l l m a r @ p f h . d e 	 	 	 	 	 A K E R L O F   G A ,   1 9 7 0 ,   Q   J   E C O N ,   V 8 4 ,   P 4 8 8 ,   D O I   1 0 . 2 3 0 7 / 1 8 7 9 4 3 1 ;   C o s h   A . ,   2 0 0 5 ,   E C   J   R O Y A L   E C   S O C ,   V 1 1 9 ,   P 1 4 9 4 ;   D y e r   J H ,   2 0 0 3 ,   O R G A N   S C I ,   V 1 4 ,   P 5 7 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 4 . 1 . 5 7 . 1 2 8 0 6 ;   H e i s t e r   P . ,   2 0 1 0 ,   F I N A N Z I E R U N G   S O C I A L ;   H o l m s t r o m   B ,   1 9 9 8 ,   J   E C O N   P E R S P E C T ,   V 1 2 ,   P 7 3 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   P 1 4 ;   J e n s e n   M .   C . ,   1 9 7 6 ,   T H E O R Y   F I R M   M A N A G E R I ,   P 3 0 5 ;   K a l t e n b e c k   J . ,   2 0 1 1 ,   C R O W D F U N D I N G   S O C I A L ;   K o r t l e b e n   H . ,   2 0 1 2 ,   2 0 1 2 0 6   P F H ;   L a m b e r t   T . ,   2 0 1 0 ,   E M P I R I C A L   A N A L   C R O W D ,   P 1 ;   N o r t h   D o u g l a s s   C . ,   1 9 9 0 ,   J   T H E O R E T I C A L   P O L I T I ,   V 2 ,   P 3 5 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 0 9 5 1 6 9 2 8 9 0 0 0 2 0 0 4 0 0 1 ;   P r a t t   J .   W . ,   1 9 8 5 ,   P R I N C I P A L S   A G E N T S   S T ,   p 2 f f ;   W I L L I A M S O N   O E ,   1 9 8 1 ,   A M   J   S O C I O L ,   V 8 7 ,   P 5 4 8 ,   D O I   1 0 . 1 0 8 6 / 2 2 7 4 9 6 	 1 3 	 0 	 0 	 A C A D     C O N F E R E N C E S   L T D 	 N R   R E A D I N G 	 C U R T I S   F A R M ,   K I D M O R E   E N D ,   N R   R E A D I N G ,   R G 4   9 A Y ,   E N G L A N D 	 	 	 9 7 8 - 1 - 9 0 8 2 7 2 - 6 7 - 6 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 4 0 4 	 4 1 2 	 	 	 	 9 	 B u s i n e s s ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 B F V 6 7 	 W O S : 0 0 0 3 2 1 5 6 5 5 0 0 0 4 7 	 	 
 J 	 S i l v a ,   C ;   R a m o s ,   I 	 	 V i v a s ,   C ;   L u c a s ,   F 	 	 S i l v a ,   C a n d i d a ;   R a m o s ,   I s a b e l 	 	 	 C r o w d s o u r c i n g   I n n o v a t i o n :   A   S t r a t e g y   t o   L e v e r a g e   E n t e r p r i s e   I n n o v a t i o n 	 P R O C E E D I N G S   O F   T H E   7 T H   E U R O P E A N   C O N F E R E N C E   O N   I N N O V A T I O N   A N D   E N T R E P R E N E U R S H I P ,   V O L S   1   A N D   2 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 7 t h   E u r o p e a n   C o n f e r e n c e   o n   I n n o v a t i o n   a n d   E n t r e p r e n e u r s h i p   ( E C I E ) 	 S E P   2 0 - 2 1 ,   2 0 1 2 	 P O R T U G A L 	 	 I n s t   P o l i t e c n i c o   S a n t a r e m ,   E s c o l a   S u p e r   G e s t a o   &   T e c n o l o g i a 	 o p e n   i n n o v a t i o n ;   c r o w d s o u r c i n g   i n n o v a t i o n ;   i n n o v a t i o n   e n t e r p r i s e   s t r a t e g y ;   c o l l e c t i v e   i n t e l l i g e n c e ;   c r o w d   w i s d o m 	 A B S O R P T I V E - C A P A C I T Y ;   K N O W L E D G E ;   F I R M 	 I n n o v a t i o n   i s   r e c o g n i z e d   b y   a c a d e m i c s   a n d   p r a c t i t i o n e r s   a s   a n   e s s e n t i a l   c o m p e t i t i v e   e n a b l e r   f o r   a n y   c o m p a n y   t o   s u r v i v e ,   t o   r e m a i n   c o m p e t i t i v e   a n d   t o   g r o w .   I n v e s t m e n t s   i n   t a s k s   o f   R & D   h a v e   n o t   a l w a y s   b r o u g h t   t h e   e x p e c t e d   r e s u l t s .   B u t   t h a t   d o e s n ' t   m e a n   t h a t   t h e   o u t c o m e s   w o u l d   n o t   b e   u s e f u l   t o   o t h e r   c o m p a n i e s   o f   t h e   s a m e   b u s i n e s s   a r e a   o r   e v e n   f r o m   a n o t h e r   a r e a .   T h u s ,   t h e r e   i s   m u c h   k n o w l e d g e   a l r e a d y   a v a i l a b l e   i n   t h e   m a r k e t   t h a t   c a n   b e   h e l p f u l   t o   s o m e   a n d   p r o f i t a b l e   t o   o t h e r s .   S o ,   t h e   i d e a s   a n d   e x p e r t i s e   c a n   b e   f o u n d   o u t s i d e   a   c o m p a n y ' s   b o u n d a r i e s   a n d   a l s o   e x p o r t e d   f r o m   w i t h i n .   I n f o r m a t i o n ,   k n o w l e d g e ,   e x p e r i e n c e ,   w i s d o m   i s   a l r e a d y   a v a i l a b l e   i n   t h e   m i l l i o n s   o f   t h e   h u m a n   b e i n g s   o f   t h i s   p l a n e t ,   t h e   c h a l l e n g e   i s   t o   u s e   t h e m   t h r o u g h   a   n e t w o r k   t o   p r o d u c e   n e w   i d e a s   a n d   t i p s   t h a t   c a n   b e   u s e f u l   t o   a   c o m p a n y   w i t h   l e s s   c o s t s .   T h i s   w a s   t h e   r e a s o n   f o r   t h e   e m e r g e n c e   o f   t h e   a r e a   o f   c r o w d s o u r c i n g   i n n o v a t i o n .   C r o w d s o u r c i n g   i n n o v a t i o n   i s   a   w a y   o f   u s i n g   t h e   W e b   2 . 0   t o o l s   t o   g e n e r a t e   n e w   i d e a s   t h r o u g h   t h e   h e t e r o g e n e o u s   k n o w l e d g e   a v a i l a b l e   i n   t h e   g l o b a l   n e t w o r k   o f   i n d i v i d u a l s   h i g h l y   q u a l i f i e d   a n d   w i t h   e a s y   a c c e s s   t o   i n f o r m a t i o n   a n d   t e c h n o l o g y .   S o ,   a   c r o w d s o u r c i n g   i n n o v a t i o n   b r o k e r   i s   a n   o r g a n i z a t i o n   t h a t   m e d i a t e s   t h e   c o m m u n i c a t i o n   a n d   r e l a t i o n s h i p   b e t w e e n   t h e   s e e k e r s   -   c o m p a n i e s   t h a t   a s p i r e   t o   s o l v e   s o m e   p r o b l e m   o r   t o   t a k e   a d v a n t a g e   o f   a n y   b u s i n e s s   o p p o r t u n i t y   -   w i t h   a   c r o w d   t h a t   i s   p r o n e   t o   g i v e   i d e a s   b a s e d   o n   t h e i r   k n o w l e d g e ,   e x p e r i e n c e   a n d   w i s d o m .   T h i s   p a p e r   m a k e s   a   l i t e r a t u r e   r e v i e w   o n   m o d e l s   o f   o p e n   i n n o v a t i o n ,   c r o w d s o u r c i n g   i n n o v a t i o n ,   a n d   t e c h n o l o g y   a n d   k n o w l e d g e   i n t e r m e d i a r i e s ,   a n d   d i s c u s s e s   t h i s   n e w   p h e n o m e n o n   a s   a   w a y   t o   l e v e r a g e   t h e   i n n o v a t i o n   c a p a c i t y   o f   e n t e r p r i s e s .   F i n a l l y ,   t h e   p a p e r   o u t l i n e s   a   r e s e a r c h   d e s i g n   a g e n d a f o r   e x p l a i n i n g   c r o w d s o u r c i n g   i n n o v a t i o n   b r o k e r i n g   p h e n o m e n o n ,   e x p l o i t i n g   i t s   p l a y e r s ,   m a i n   f u n c t i o n s ,   v a l u e   c r e a t i o n   p r o c e s s ,   a n d   k n o w l e d g e   c r e a t i o n   i n   o r d e r   t o   d e f i n e   a   k n o w l e d g e   m e t a m o d e l   o f   s u c h   i n t e r m e d i a r i e s . 	 [ S i l v a ,   C a n d i d a ]   P o l y t e c h   I n s t   O p o r t o ,   S c h   M a n a g e m e n t   &   I n d   S t u d i e s ,   V i l a   D o   C o n d e ,   P o r t u g a l 	 	 c a n d i d a s i l v a @ e u . i p p . p t ;   i r a m o s @ d s i . u m i n h o . p t 	 	 	 	 	 A d a m s   C . ,   2 0 0 9 ,   C U T T E R   I T   J ,   V 2 2 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   C h e s b r o u g h   H . ,   2 0 0 6 ,   O P E N   I N N O V A T I O N   R E S ;   C h e s b r o u g h   H W ,   2 0 0 3 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 4 ,   P 3 5 ;   C O H E N   W M ,   1 9 9 0 ,   A D M I N   S C I   Q U A R T ,   V 3 5 ,   P 1 2 8 ,   D O I   1 0 . 2 3 0 7 / 2 3 9 3 5 5 3 ;   D a z i e l   M . ,   2 0 1 0 ,   S U M M   C   2 0 1 0   O P   I N N   S ;   D i e n e r   K . ,   2 0 1 0 ,   M A R K E T   O P E N   I N N O V A T I ,   P 1 4 4 ;   G a s s m a n n   O . ,   2 0 0 4 ,   R   D   M A N   C ,   P 1 ;   H a c i e v l i y a g i l   N .   K . ,   2 0 0 7 ,   I N T   J   T E C H N O L O G Y   K N O ,   V 3 ,   P 4 7 ;   H a r g a d o n   A ,   1 9 9 7 ,   A D M I N   S C I   Q U A R T ,   V 4 2 ,   P 7 1 6 ,   D O I   1 0 . 2 3 0 7 / 2 3 9 3 6 5 5 ;   H a r g a d o n   A B ,   2 0 0 2 ,   R E S   O R G A N   B E H A V ,   V 2 4 ,   P 4 1 ,   D O I   1 0 . 1 0 1 6 / S 0 1 9 1 - 3 0 8 5 ( 0 2 ) 2 4 0 0 3 - 4 ;   H a r g a d o n   A B ,   1 9 9 8 ,   C A L I F   M A N A G E   R E V ,   V 4 0 ,   P 2 0 9 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   P O W E R ;   M c E v i l y   B ,   1 9 9 9 ,   S T R A T E G I C   M A N A G E   J ,   V 2 0 ,   P 1 1 3 3 ,   D O I   1 0 . 1 0 0 2 / ( S I C I ) 1 0 9 7 - 0 2 6 6 ( 1 9 9 9 1 2 ) 2 0 : 1 2 < 1 1 3 3 : : A I D - S M J 7 4 > 3 . 0 . C O ; 2 - 7 ;   S c h e n k   E . ,   2 0 1 1 ,   J   I N N O V A T I O N   E C ,   V 2 0 1 1 / 1 ,   P 9 3 ,   D O I   D O I   1 0 . 3 9 1 7 / J I E . 0 0 7 . 0 0 9 3 ;   S i l v a   C . ,   2 0 1 1 ,   1 7   I B I M A   I N T   C   P ;   S u r o w i e c k i   J a m e s ,   2 0 0 5 ,   W I S D O M   C R O W D S ;   v o n   H i p p e l   E ,   2 0 0 3 ,   O R G A N   S C I ,   V 1 4 ,   P 2 0 9 ;   V u k o v i c   M ,   2 0 0 9 ,   2 0 0 9   I E E E   C O N G R E S S   O N   S E R V I C E S   ( S E R V I C E S - 1   2 0 0 9 ) ,   V O L S   1   A N D   2 ,   P 6 8 6 ,   D O I   1 0 . 1 1 0 9 / S E R V I C E S - I . 2 0 0 9 . 5 6 ;   W a l l i n   M W ,   2 0 1 0 ,   O R G A N   D Y N ,   V 3 9 ,   P 1 4 5 ,   D O I   1 0 . 1 0 1 6 / j . o r g d y n . 2 0 1 0 . 0 1 . 0 1 0 ;   Z a h r a   S A ,   2 0 0 2 ,   A C A D   M A N A G E   R E V ,   V 2 7 ,   P 1 8 5 ,   D O I   1 0 . 2 3 0 7 / 4 1 3 4 3 5 1 	 2 2 	 0 	 0 	 A C A D     C O N F E R E N C E S   L T D 	 N R   R E A D I N G 	 C U R T I S   F A R M ,   K I D M O R E   E N D ,   N R   R E A D I N G ,   R G 4   9 A Y ,   E N G L A N D 	 	 	 9 7 8 - 1 - 9 0 8 2 7 2 - 6 7 - 6 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 6 2 4 	 6 3 0 	 	 	 	 7 	 B u s i n e s s ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 B F V 6 7 	 W O S : 0 0 0 3 2 1 5 6 5 5 0 0 0 7 2 	 	 
 J 	 C h e n ,   Q ;   W a n g ,   G ;   T a n ,   C L 	 	 	 I E E E 	 C h e n ,   Q i ;   W a n g ,   G a n g ;   T a n ,   C h e w   L i m 	 	 	 W e b   I m a g e   O r g a n i z a t i o n   a n d   O b j e c t   D i s c o v e r y   b y   A c t i v e l y   C r e a t i n g   V i s u a l   C l u s t e r s   t h r o u g h   C r o w d s o u r c i n g 	 2 0 1 2   I E E E   2 4 T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   T O O L S   W I T H   A R T I F I C I A L   I N T E L L I G E N C E   ( I C T A I   2 0 1 2 ) ,   V O L   1 	 P r o c e e d i n g s - I n t e r n a t i o n a l   C o n f e r e n c e   o n   T o o l s   W i t h   A r t i f i c i a l   I n t e l l i g e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   2 4 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   T o o l s   w i t h   A r t i f i c i a l   I n t e l l i g e n c e   ( I C T A I ) 	 N O V   0 7 - 0 9 ,   2 0 1 2 	 A t h e n s ,   G R E E C E 	 I E E E ,   I E E E   C o m p   S o c ,   B i o l   &   A r t i f i c i a l   I n t e l l i g e n c e   F d n   ( B A I F ) ,   H e l l e n   A r t i f i c i a l   I n t e l l i g e n c e   S o c   ( E E T N ) ,   U n i v   P i r a e u s ,   U n i v   P i r a e u s   R e s   C t r 	 	 i m a g e   o r g a n i z a t i o n ;   o b j e c t   d i s c o v e r y ;   a c t i v e   c l u s t e r i n g ;   c r o w d s o u r c i n g 	 	 I n   t h i s   p a p e r ,   w e   p r o p o s e   t o   o r g a n i z e   w e b   i m a g e s   b y   a c t i v e l y   c r e a t i n g   v i s u a l   c l u s t e r s   v i a   c r o w d s o u r c i n g .   W e   d e v e l o p   a   t w o - p h a s e   f r a m e w o r k   t o   e f f i c i e n t l y   a n d   e f f e c t i v e l y   c o m b i n e   c o m p u t e r s   a n d   a   l a r g e   n u m b e r   o f   h u m a n   w o r k e r s   t o   b u i l d   h i g h   q u a l i t y   v i s u a l   c l u s t e r s .   T h e   f i r s t   p h a s e   p a r t i t i o n s   a n   i m a g e   c o l l e c t i o n   i n t o   m u l t i p l e   c l u s t e r s ;   t h e   s e c o n d   p h a s e   r e f i n e s   e a c h   g e n e r a t e d   c l u s t e r   i n d e p e n d e n t l y .   I n   b o t h   p h a s e s ,   i n f o r m a t i v e   i m a g e s   a r e   s e l e c t e d   b y   c o m p u t e r s   a n d   m a n u a l l y   l a b e l e d   b y   t h e   c r o w d s   t o   l e a r n   i m p r o v e d   m o d e l s .   O u r   m e t h o d   c a n   b e   n a t u r a l l y   e x t e n d e d   t o   d i s c o v e r   o b j e c t   c a t e g o r i e s   i n   a   c o l l e c t i o n   o f   i m a g e   s e g m e n t s .   E x p e r i m e n t a l   r e s u l t s   o n   s e v e r a l   d a t a   s e t s   d e m o n s t r a t e   t h e   p r o m i s e   o f   o u r   d e v e l o p e d   a p p r o a c h   o n   b o t h   w e b   i m a g e   o r g a n i z a t i o n   a n d   o b j e c t   d i s c o v e r y   t a s k s . 	 [ C h e n ,   Q i ;   T a n ,   C h e w   L i m ]   N a t l   U n i v   S i n g a p o r e ,   D e p t   C o m p   S c i ,   S i n g a p o r e   1 1 7 5 4 8 ,   S i n g a p o r e 	 C h e n ,   Q   ( r e p r i n t   a u t h o r ) ,   N a t l   U n i v   S i n g a p o r e ,   D e p t   C o m p   S c i ,   S i n g a p o r e   1 1 7 5 4 8 ,   S i n g a p o r e . 	 c h e n q i @ c o m p . n u s . e d u . s g ;   w a n g g a n g @ n t u . e d u . s g ;   t a n c l @ c o m p . n u s . e d u . s g 	 	 	 	 	 B o s c h   A . ,   2 0 0 7 ,   P   6   A C M   I N T   C   I M   V I D ,   P 4 0 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 2 8 2 2 8 0 . 1 2 8 2 3 4 0 ;   B o t t o u   L . ,   1 9 9 1 ,   P   N E U R O N I M E S ,   V 9 1 ;   B r a n s o n   S ,   2 0 1 1 ,   2 0 1 1   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   C O M P U T E R   V I S I O N   ( I C C V ) ,   P 1 8 3 2 ,   D O I   1 0 . 1 1 0 9 / I C C V . 2 0 1 1 . 6 1 2 6 4 5 0 ;   C a i   D . ,   2 0 0 4 ,   P   1 2   A N N   A C M   I N T   C   M ,   P 9 5 2 ,   D O I   1 0 . 1 1 4 5 / 1 0 2 7 5 2 7 . 1 0 2 7 7 4 7 ;   C h u a   T . ,   2 0 0 9 ,   P   A C M   I N T   C   I M   V I D   R ,   P 4 8 ;   D o n m e z   P i n a r ,   2 0 1 0 ,   S I A M   I N T   C   D A T   M I N   S ,   P 8 2 6 ;   F r e y   B J ,   2 0 0 7 ,   S C I E N C E ,   V 3 1 5 ,   P 9 7 2 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 3 6 8 0 0 ;   G a l l e g u i l l o s   C . ,   2 0 1 1 ,   C O M P U T E R   V I S I O N   P A T T ,   P 2 6 6 5 ;   G a o   B . ,   2 0 0 5 ,   P   1 3   A N N   A C M   I N T   C   M ,   P 1 1 2 ,   D O I   1 0 . 1 1 4 5 / 1 1 0 1 1 4 9 . 1 1 0 1 1 6 7 ;   G o m e s   R . ,   2 0 1 1 ,   A D V   N E U R A L   I N F O R M   P R ;   G r a u m a n   K . ,   2 0 0 6 ,   C O M P U T E R   V I S I O N   P A T T ,   V 1 ,   P 1 9 ;   J i n g   F . ,   2 0 0 6 ,   P   1 4   A N N   A C M   I N T   C   M ,   P 3 7 7 ,   D O I   1 0 . 1 1 4 5 / 1 1 8 0 6 3 9 . 1 1 8 0 7 2 0 ;   K i m   G . ,   2 0 0 8 ,   C O M P   V I S   P A T T   R E C   2 0 ,   P 1 ;   L e e   Y J ,   2 0 1 0 ,   P R O C   C V P R   I E E E ,   P 1 ,   D O I   [ 1 0 . 1 1 0 9 / M W S Y M . 2 0 1 0 . 5 5 1 4 6 9 1 ,   1 0 . 1 1 0 9 / C V P R . 2 0 1 0 . 5 5 4 0 2 3 7 ] ;   L e e   Y J ,   2 0 0 9 ,   I N T   J   C O M P U T   V I S I O N ,   V 8 5 ,   P 1 4 3 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 6 3 - 0 0 9 - 0 2 5 2 - y ;   L e w i s   D . ,   1 9 9 4 ,   P   1 7   A N N   I N T   A C M   S I G ,   P 3 ;   L i u   D . ,   2 0 0 7 ,   I N T   C   C O M P   V I S   I C C V ,   P 1 ;   L i u   H . ,   2 0 0 4 ,   P   1   I N T   C   Q U A L   S E R V ,   P 8 4 ,   D O I   1 0 . 1 1 4 5 / 1 0 2 6 7 1 1 . 1 0 2 6 7 2 6 ;   L o w e   D G ,   2 0 0 4 ,   I N T   J   C O M P U T   V I S I O N ,   V 6 0 ,   P 9 1 ,   D O I   1 0 . 1 0 2 3 / B : V I S I . 0 0 0 0 0 2 9 6 6 4 . 9 9 6 1 5 . 9 4 ;   M a k a d i a   A ,   2 0 0 8 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 3 0 4 ,   P 3 1 6 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 8 8 6 9 0 - 7 _ 2 4 ;   R u s s e l l   B . ,   2 0 0 6 ,   C V P R ,   V 2 ,   P 1 6 0 5 ;   S c h r o f f   F . ,   2 0 0 7 ,   I E E E   1 1   I N T   C   C O M P   V ,   P 1 ;   S c h u l t z   M ,   2 0 0 4 ,   A D V   N E U R   I N ,   V 1 6 ,   P 4 1 ;   S h i   J B ,   2 0 0 0 ,   I E E E   T   P A T T E R N   A N A L ,   V 2 2 ,   P 8 8 8 ;   T i a n   Y . D . ,   2 0 0 7 ,   C O M P U T E R   V I S I O N   P A T T ,   P 1 ;   T o n g   S ,   2 0 0 2 ,   J   M A C H   L E A R N   R E S ,   V 2 ,   P 4 5 ;   V a n   L e u k e n   R .   H . ,   2 0 0 9 ,   P   1 8   I N T   C   W O R L D   W I D ,   P 3 4 1 ,   D O I   1 0 . 1 1 4 5 / 1 5 2 6 7 0 9 . 1 5 2 6 7 5 6 ;   V i j a y a n a r a s i m h a n   S . ,   2 0 1 1 ,   C V P R ,   P 1 4 4 9 ,   D O I   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 1 . 5 9 9 5 4 3 0 ;   V i j a y a n a r a s i m h a n   S . ,   2 0 0 8 ,   M U L T I L E V E L   A C T I V E   P R ;   V i j a y a n a r a s i m h a n   S ,   2 0 0 9 ,   P R O C   C V P R   I E E E ,   P 2 2 6 2 ;   v o n   A h n   L . ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 3 1 9 ,   D O I   1 0 . 1 1 4 5 / 9 8 5 6 9 2 . 9 8 5 7 3 3 ;   W a i s   P . ,   2 0 1 0 ,   P   C O M P   S O C   S C I   W I S D ,   P 1 ;   W a n g   X . ,   2 0 0 4 ,   P   1 2   A N N   A C M   I N T   C   M ,   P 4 3 6 ,   D O I   1 0 . 1 1 4 5 / 1 0 2 7 5 2 7 . 1 0 2 7 6 3 2 ;   W a n g   X . J . ,   2 0 0 5 ,   P   I E E E   M I D S   W O R K S H   S ,   P 1 2 2 ;   Y a n g   L . ,   2 0 0 7 ,   P   C   U N C   A R T   I N T 	 3 5 	 1 	 1 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 0 8 2 - 3 4 0 9 	 	 9 7 8 - 0 - 7 6 9 5 - 4 9 1 5 - 6 	 P R O C   I N T   C   T O O L S   A R T 	 	 	 2 0 1 2 	 	 	 	 	 	 	 4 1 9 	 4 2 7 	 	 1 0 . 1 1 0 9 / I C T A I . 2 0 1 2 . 6 4 	 	 9 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B F P 3 8 	 W O S : 0 0 0 3 2 0 8 6 1 9 0 0 0 5 5 	 	 
 B 	 M o g e n s e n ,   A ;   P o e n s g e n ,   A ;   F i g g e ,   C ;   C a m p a n e l l a ,   V 	 	 L a n g ,   K D ;   N i s s e n ,   N F ;   M i d d e n d o r f ,   A ;   C h a n c e r e l ,   P 	 	 M o g e n s e n ,   A n n a ;   P o e n s g e n ,   A m e i ;   F i g g e ,   C a t r i n ;   C a m p a n e l l a ,   V a l e n t i n a 	 	 	 G r e e n   c r o w d s o u r c i n g :   t h e   r o l e   o f   s o c i a l   m e d i a   f o r   g r o w i n g   e c o - p r o d u c t   d e m a n d   a n d   e c o - i n n o v a t i o n 	 2 0 1 2   E L E C T R O N I C S   G O E S   G R E E N   2 0 1 2 +   ( E G G ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 J o i n t   I n t e r n a t i o n a l   C o n f e r e n c e   a n d   E x h i b i t i o n   o n   E l e c t r o n i c s   G o e s   G r e e n   ( E G G ) 	 S E P   0 9 - 1 2 ,   2 0 1 2 	 B e r l i n ,   G E R M A N Y 	 F r a u n h o f e r ,   T e c h n i s c h e   U n i v   B e r l i n ,   F o r s c h u n g s s c h w e r p u n k t   T e c h n o l o g i e n   M i k r o p e r i p h e r i k 	 	 	 	 I n f o r m a t i o n   t e c h n o l o g i e s   h a v e   b r o u g h t   n e w   e n v i r o n m e n t a l   c h a l l e n g e s .   P r o d u c t s   w i t h   s h o r t   l i f e c y c l e s   a r e   r e s o u r c e   i n t e n s i v e   a n d   o f t e n   t a n g l e d   i n   o b s o l e s c e n c e   a n d   c o m p a t i b i l i t y   i s s u e s .   L u c k i l y   p r o d u c t   c y c l e   s p e e d   h a s   c o m e   a l o n g   w i t h   c o n n e c t i v i t y ,   e n a b l i n g   t h e   e m e r g e n c e   o f   n e w   g r o u n d s   f o r   s t a k e h o l d e r   i n t e r a c t i o n   a n d   v a l u e   c r e a t i o n .   T w o   k e y   a s p e c t s   o f   t h i s   d y n a m i c   w i l l   b e   c o n s i d e r e d .   F i r s t l y ,   s o c i a l   m e d i a   h a v e   b e c o m e   i m p o r t a n t   s a l e s   a n d   m a r k e t i n g   c h a n n e l s ,   g i v i n g   r i s e   t o   c o l l e c t i v e   t r e n d s   i n   c o n s u m p t i o n .   S e c o n d l y ,   c r o w d s o u r c i n g   o p e n s   u p   m o d e l s   f o r   c o l l a b o r a t i v e   v a l u e   c r e a t i o n   a n d   b e c o m e s   a   s o u r c e   o f   o p e n   c o - d e s i g n   o f   d e s i r a b l e   a n d   t h e r e f o r e   s u s t a i n a b l e   p r o d u c t s .   S u s t a i n a b i l i t y   t o p i c s   a r e   c u r r e n t l y   a d d r e s s e d   o n   g e n e r i c   o p e n - i n n o v a t i o n   p l a t f o r m s .   I n   t h i s   p a p e r   w e   i d e n t i f y   a n d   p r o p o s e   a n   e x t e n s i o n   o f   e x i s t i n g   p r a c t i c e s   a n d   m o d e l s ,   i n   o r d e r   t o   i n c r e a s e   t h e   e m e r g e n c e   o f   s u s t a i n a b l e   s o l u t i o n s   t h r o u g h   g r e e n   c r o w d s o u r c i n g . 	 [ M o g e n s e n ,   A n n a ;   C a m p a n e l l a ,   V a l e n t i n a ]   P a n O r d e r   E c o c o n s u l t i n g ,   L e i p z i g ,   G e r m a n y 	 M o g e n s e n ,   A   ( r e p r i n t   a u t h o r ) ,   P a n O r d e r   E c o c o n s u l t i n g ,   L e i p z i g ,   G e r m a n y . 	 a n n a . m o g e n s e n @ p a n o r d e r - e c o . c o m 	 	 	 	 	 A l b o r s   J ,   2 0 0 8 ,   I N T   J   I N F O R M   M A N A G E ,   V 2 8 ,   P 1 9 4 ,   D O I   1 0 . 1 0 1 6 / j . i j i n f o m g t . 2 0 0 7 . 0 9 . 0 0 6 ;   [ A n o n y m o u s ] ,   R I G H T   B R A I N   W O R K O U T S ;   [ A n o n y m o u s ] ,   2 0 0 9 ,   N A C H   L O H A S   K O M M T   P A R ;   [ A n o n y m o u s ] ,   2 0 1 0 ,   T H E   E C O N O M I S T ;   [ A n o n y m o u s ] ,   2 0 0 9 ,   A L L I A N Z   W I E D E R   S T U D I ;   [ A n o n y m o u s ] ,   2 0 0 6 ,   E N V   H L T H   C O N S C   C O N S ,   p [ 4 8 ,   5 1 ] ;   B i s g a a r d ,   2 0 1 0 ,   C R E A T   N E W   C O N C   P R O D ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   C h e s b r o u g h   H . ,   2 0 0 6 ,   O P E N   I N N O V A T I O N   R E S ;   D a l a l   S ,   2 0 1 1 ,   T E C H N O L   F O R E C A S T   S O C ,   V 7 8 ,   P 1 4 2 6 ,   D O I   1 0 . 1 0 1 6 / j . t e c h f o r e . 2 0 1 1 . 0 3 . 0 2 1 ;   D a n i l d a   I . ,   I N N O V A T I O N   G E N D E R ;   D o r n   C ,   2 0 1 1 ,   D A T A   K N O W L   E N G ,   V 7 0 ,   P 8 6 6 ,   D O I   1 0 . 1 0 1 6 / j . d a t a k . 2 0 1 1 . 0 6 . 0 0 4 ;   F l o r i a n   J o d l ,   2 0 1 0 ,   U N D E R S T A N D I N G   P A R T I C ;   F r e y   K ,   2 0 1 1 ,   L O N G   R A N G E   P L A N N ,   V 4 4 ,   P 3 9 7 ,   D O I   1 0 . 1 0 1 6 / j . l r p . 2 0 1 1 . 0 9 . 0 0 6 ;   H i e r o n y m i   K . ,   2 0 1 0 ,   R A W   M A T   N E X T   B I G   B A T ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G ;   M a k o w e r   J o e l ,   2 0 0 9 ,   S T R A T E G I E S   G R E E N   E C ,   P 2 4 1 ;   M c K i n s e y & C o m p a n y ,   W O M   M A T T   G E N D   D I V   C O ;   M o g e n s e n   A . ,   2 0 1 0 ,   P R O D U C T   S E R V I C E   E N V ;   R i e d e r   K . ,   2 0 0 8 ,   S C I   T E C H N O L O G Y   I N N O V ,   V 4 ;   S i m a r d ,   2 0 0 7 ,   B U S I N E S S   C A S E   G E N D E R ;   T e u l o n   H . ,   2 0 1 2 ,   S E E D S 4 G R E E N   O P E N   C O L ;   U m w e l t b u n d e s a m t ,   C O M P   I N T   C O G   S P A R   K L ,   P 7 ;   W i s e   S ,   2 0 1 0 ,   P R O C D   S O C   B E H V ,   V 2 ,   P 6 4 9 7 ,   D O I   1 0 . 1 0 1 6 / j . s b s p r o . 2 0 1 0 . 0 4 . 0 5 9 ;   Y i l m a z   L . ,   E X P L O R I N G   S I M U L A T I O N 	 2 5 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 3 - 8 3 9 6 - 0 4 3 9 - 7 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 	 	 	 	 	 6 	 E n g i n e e r i n g ,   M u l t i d i s c i p l i n a r y ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 E n g i n e e r i n g 	 B F N 0 9 	 W O S : 0 0 0 3 2 0 5 8 9 0 0 0 1 0 1 	 	 
 J 	 M a ,   M ;   H u a n g ,   Y ;   C h u ,   C H ;   W a n g ,   P 	 	 	 I E E E 	 M a ,   M e n g ;   H u a n g ,   Y u ;   C h u ,   C h a o - H s i e n ;   W a n g ,   P i n g 	 	 	 U s e r - D r i v e n   C l o u d   T r a n s p o r t a t i o n   S y s t e m   f o r   S m a r t   D r i v i n g 	 2 0 1 2   I E E E   4 T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   C L O U D   C O M P U T I N G   T E C H N O L O G Y   A N D   S C I E N C E   ( C L O U D C O M ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 4 t h   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C l o u d   C o m p u t i n g   T e c h n o l o g y   a n d   S c i e n c e   ( C l o u d C o m ) 	 D E C   0 3 - 0 6 ,   2 0 1 2 	 T a i p e i ,   T A I W A N 	 I E E E ,   Q u a n t a   C o m p ,   M e d i a T e k ,   M i c r o s o f t ,   I n s t   I n f o r m a t   I n d ,   I n d   T e c h n o l   R e s   I n s t ,   H a r e D B . c o m ,   I E E E   C o m p   S o c ,   I E E E   T e c h   C o m m   S c a l a b l e   C o m p   ( T C S C ) ,   N a t l   T s i n g   H u a   U n i v 	 	 C l o u d   T r a s p o r t a t i o n   S y s t e m   ( C T S ) ;   U s e r - D r i v e n ;   C l o u d   C o m p u t i n g ;   S m a r t   D r i v i n g 	 	 I n t e l l i g e n t   t r a n s p o r t a t i o n   s y s t e m s   ( I T S )   h a v e   e m e r g e d   a s   a n   e f f i c i e n t   a n d   e f f e c t i v e   w a y   o f   a l l e v i a t i n g   t h e   t r a f f i c   c o n g e s t i o n   a n d   i m p r o v i n g   t h e   p e r f o r m a n c e   o f   t r a n s p o r t a t i o n   s y s t e m s .   K e y   c h a l l e n g e s   o f   I T S   i n   r e c e n t   y e a r s   i n c l u d e   t h e   p e r v a s i v e   d a t a   c o l l e c t i o n ,   d a t a   s e c u r i t y ,   p r i v a c y   p r e s e r v i n g ,   l a r g e   v o l u m e   d a t a   p r o c e s s i n g ,   a n d   i n t e l l i g e n t   a n a l   t i c s .   T h e s e   c h a l l e n g e s   l e a d   t o   a   r e v o l u t i o n   i n   I T S   d e v e l o p m e n t   b y   l e v e r a g i n g   t h e   c r o w d s o u r c i n g   s c h e m e   a n d   c l o u d   c o m p u t i n g   a r c h i t e c t u r e .   I n   t h i s   p a p e r ,   w e   p r o p o s e   a   u s e r - d r i v e n   C l o u d   T r a n s p o r t a t i o n   s y s t e m   ( C T S )   w h i c h   e m p l o y s   a   s c h e m e   o f   u s e r - d r i v e n   c r o w d s o u r c i n g   t o   c o l l e c t   u s e r   d a t a   f o r   t r a f f i c   m o d e l   c o n s t r u c t i o n   a n d   c o n g e s t i o n   p r e d i c t i o n   i n c l u d i n g   d a t a   c o l l e c t i o n ,   f i l t e r i n g ,   m o d e l i n g ,   i n t e l l i g e n t   c o m p u t a t i o n   a n d   p u b l i s h .   W e   d e s c r i b e   i n   d e t a i l s   t h e   a p p l i c a t i o n   s c e n a r i o ,   s y s t e m   a r c h i t e c t u r e ,   a n d   c o r e   C T S   s e r v i c e s   m o d e l .   T o   v e r i f y   t h e   f e a s i b i l i t y   o f   o u r   a p p r o a c h ,   w e   h a v e   d e v e l o p e d   a   p r o t o t y p e   s y s t e m   w h i c h   e l a b o r a t e d   t h e   c l o u d   a r c h i t e c t u r e   a n d   o t h e r   i m p l e m e n t a t i o n   d e t a i l s .   T h i s   p a p e r   a i m s   t o   i n s p i r e   f u r t h e r   r e s e a r c h   o f   u s e r - d r i v e n   C T S   o n   i n t e l l i g e n t   d a t a   p r o c e s s i n g   m o d e l   f o r   s m a r t e r   u t i l i z a t i o n   o f   t r a n s p o r t a t i o n   i n f r a s t r u c t u r e . 	 [ M a ,   M e n g ]   P e k i n g   U n i v ,   S c h   E l e c t   E n g n   &   C o m p   S c i ,   B e i j i n g   1 0 0 8 7 1 ,   P e o p l e s   R   C h i n a 	 H u a n g ,   Y   ( r e p r i n t   a u t h o r ) ,   P e k i n g   U n i v ,   N a t l   E n g n   R e s   C t r   S o f t w a r e   E n g n ,   B e i j i n g   1 0 0 8 7 1 ,   P e o p l e s   R   C h i n a . 	 m a m e n g @ p k u . e d u . c n ;   h y @ p k u . e d u . c n ;   c h c h u @ s m u . e d u . s g ;   p w a n g @ p k u . e d u . c n 	 C H U ,   C h a o - H s i e n / G - 4 2 2 0 - 2 0 1 3 	 	 	 	 A b i d   H . ,   2 0 1 1 ,   P   4   I N T   S   A P P L   S C I   B ;   A d a m   L . ,   2 0 1 1 ,   I N V E S T I G A T I N G   S T O R A G ;   A l a z a w i   Z . ,   2 0 1 1 ,   I T S   T E L   I T S T   2 0 1 1   1 1 ,   p 3 6 1   ;   [ A n o n y m o u s ] ,   2 0 0 6 ,   1 6 0 9   I E E E   U S   D E P   T R A ;   B a r a b a s i   A L ,   2 0 0 5 ,   N A T U R E ,   V 4 3 5 ,   P 2 0 7 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 3 4 5 9 ;   B e r n s t e i n   D . ,   2 0 1 0 ,   S Y S T   N E T W   C O M M   I C S N C ,   P 1 1 7 ;   B i l e l   J ,   2 0 1 1 ,   F T R A   2 0 1 1   K I G   R W A N D ;   B i r m a n   K . P . ,   1 9 8 7 ,   P   1 1   A C M   S   O P   S Y S T   P ,   P 1 2 3 ,   D O I   1 0 . 1 1 4 5 / 4 1 4 5 7 . 3 7 5 1 5 ;   B r i z g a l o v   V ,   2 0 1 0 ,   M I C R   E L   D E V   E D M   2 0 1 0 ,   P 2 1 5 ;   C a i   W . H . ,   2 0 1 1 ,   I N N   B I O I N S P   C O M P   A P P ,   P 1 3 7 ;   D e a n   J . ,   2 0 0 4 ,   O S D I ,   P 1 3 7 ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   G o n g j u n   Y . ,   2 0 1 2 ,   C O M P L   I N T   S O F T W   I N T ,   P 3 7 0 ;   H a n   X   P ,   2 0 0 1 ,   P H Y S   P R O C E D I A ,   V 3 ,   P 1 9 0 7 ;   H a n   X   P ,   O R I G I N   S C A L I N G   L A W   H ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ;   I B M ,   2 0 1 0 ,   G L O B   T R A F F   C O N G   I B M ;   I T U - T ,   2 0 0 7 ,   1   I T U T   T E C H N   W A T C H ;   J a w o r s k i   P ,   2 0 1 1 ,   I N T   T R A N S P   S Y S T   I T S C ,   P 3 9 1 ;   L e n g   Y . ,   2 0 1 1 ,   E L   M E C H   E N G   I N F   T E C H ,   P 3 1 9 0 ;   L i   Z J ,   2 0 1 1 ,   I E E E   I N T E L L   S Y S T ,   V 2 6 ,   P 7 3 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 1 1 . 1 0 ;   L u i s   M ,   2 0 1 2 ,   O P T   I N T   C O I N   2 0 1 2   1 0 ,   P 9 1 ;   M a n o l o p o u l o s   V ,   2 0 1 0 ,   N E W C A S   C   N E W C A S   2 0 1 0 ,   P 3 6 5 ;   M u h a m m a d   M . A ,   2 0 1 2 ,   C L O U D   C O M P   S O C   N E T W ,   P 1 ;   N I S T ,   2 0 1 1 ,   N I S T   D E F I N I T I O N   C L O U ;   P e a r s o n   S ,   2 0 0 9 ,   C L O U D :   2 0 0 9   I C S E   W O R K S H O P   O N   S O F T W A R E   E N G I N E E R I N G   C H A L L E N G E S   O F   C L O U D   C O M P U T I N G ,   P 4 4 ;   P e t e r s   A ,   2 0 0 4 ,   N E W   E N G L   J   M E D ,   V 3 5 1 ,   P 1 7 2 1 ,   D O I   1 0 . 1 0 5 6 / N E J M o a 0 4 0 2 0 3 ;   Q u   F Z ,   2 0 1 0 ,   I E E E   C O M M U N   M A G ,   V 4 8 ,   P 1 3 6 ,   D O I   1 0 . 1 1 0 9 / M C O M . 2 0 1 0 . 5 6 2 1 9 8 0 ;   R h e e   L ,   2 0 0 8 ,   P   2 7   I E E E   C   C O M P   C O M ;   S c h a e f e r   R ,   2 0 0 2 ,   P   I T S   W O R L D   C   C H I C   U ;   S t e p h e n   E ,   2 0 1 0 ,   I N T E L L I G E N T   T R A N S P O R ;   S u s s m a n   J .   S . ,   2 0 0 5 ,   P E R S P E C T I V E S   I N T E L L I ;   T s u b o u c h i   K ,   2 0 1 0 ,   I E T   I N T E L L   T R A N S P   S Y ,   V 4 ,   P 2 7 0 ,   D O I   1 0 . 1 0 4 9 / i e t - i t s . 2 0 0 9 . 0 1 1 3 ;   V a z q u e z   A ,   2 0 0 6 ,   P H Y S   R E V   E ,   V 7 3 ,   D O I   1 0 . 1 1 0 3 / P h y s R e v E . 7 3 . 0 3 6 1 2 7 ;   V a z q u e z   A ,   2 0 0 5 ,   P H Y S   R E V   L E T T ,   V 9 5 ,   D O I   1 0 . 1 1 0 3 / P h y s R e v L e t t . 9 5 . 2 4 8 7 0 1 ;   W a n g   J F ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 9 8 8 ,   P 1 ;   W a n g   K ,   2 0 1 1 ,   I E E E   I N T E L L   S Y S T ,   V 2 6 ,   P 2 2 ;   W h i t e   T ,   2 0 1 1 ,   H A D O O P   D E F I N I T I V E   G U ;   Z h a n g   J P ,   2 0 1 1 ,   I E E E   T   I N T E L L   T R A N S P ,   V 1 2 ,   P 1 6 2 4 ,   D O I   1 0 . 1 1 0 9 / T I T S . 2 0 1 1 . 2 1 5 8 0 0 1 ;   Z h e   Y . ,   2 0 1 0 ,   E L E C T   T E C H N O L O G Y ,   P 1 7 	 4 0 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 6 7 3 - 4 5 1 0 - 1 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 	 	 	 	 	 8 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B F M 1 7 	 W O S : 0 0 0 3 2 0 4 7 3 5 0 0 0 9 5 	 	 
 J 	 B r a m b i l l a ,   M ;   B o z z o n ,   A 	 	 	 I E E E 	 B r a m b i l l a ,   M a r c o ;   B o z z o n ,   A l e s s a n d r o 	 	 	 W e b   D a t a   M a n a g e m e n t   t h r o u g h   C r o w d s o u r c i n g   u p o n   S o c i a l   N e t w o r k s 	 2 0 1 2   I E E E / A C M   I N T E R N A T I O N A L   C O N F E R E N C E   O N   A D V A N C E S   I N   S O C I A L   N E T W O R K S   A N A L Y S I S   A N D   M I N I N G   ( A S O N A M ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E / A C M   I n t e r n a t i o n a l   C o n f e r e n c e   o n   A d v a n c e s   i n   S o c i a l   N e t w o r k s   A n a l y s i s   a n d   M i n i n g 	 A U G   2 6 - 2 9 ,   2 0 1 2 	 I s t a n b u l ,   T U R K E Y 	 A C M ,   I E E E ,   A C M   S i g m o d ,   I E E E   C o m p   S o c ,   S p r i n g e r ,   T C D E ,   T U B i T A K ,   T U B i T A K   B i L G E M ,   A C T C   S M C S ,   I E E E   T e c h   C o m m   D a t a   E n g n ,   U n i v   C a l g a r y ,   H e l l e n   A m e r   U n i v ,   s b t a n a l i z ,   E X   t r a   F o r e i g n   T r a d e   C o   L t d ,   i n f o r c e p t ,   F N S S   S a v u n m a   S i s t e m l e r i   A   S ,   r a c c o o n i z e ,   H u a w e i 	 K a d i r   H a s   U n i v 	 S o c i a l   n e t w o r k ;   c r o w d s o u r c i n g ;   W e b   i n f o r m a t i o n   s y s t e m ;   s e m a n t i c   W e b 	 	 R e t r i e v a l   a n d   m a n a g e m e n t   o f   W e b   d a t a   i s   b e c o m i n g   a   m o r e   a n d   m o r e   c o m p l e x   p r o b l e m ,   d u e   t o   t h e   a m o u n t   o f   i n f o r m a t i o n   t o   b e   d e a l t   w i t h ,   t o   t h e   d i v e r s i t y   o f   t h e   i n f o r m a t i o n   s o u r c e s   a n d   o f   t h e   d a t a   f o r m a t s ,   a n d   t o   t h e   e v o l v i n g   e x p e c t a t i o n s   o f   u s e r s .   M o r e   a n d   m o r e   u s e r s   a r e   i n c r e a s i n g l y   r e l y i n g   o n   s o c i a l   i n t e r a c t i o n   t o   c o m p l e t e   a n d   v a l i d a t e   t h e   r e s u l t s   o f   t h e i r   o n l i n e   a c t i v i t i e s .   F o r   i n s t a n c e ,   s c o u t i n g   " i n t e r e s t i n g "   r e s u l t s ,   o r   s u g g e s t i n g   n e w ,   u n e x p e c t e d   s e a r c h   d i r e c t i o n s   i n   i n f o r m a t i o n   s e e k i n g   p r o c e s s e s ,   o c c u r s   i n   m o s t   t i m e s   a s i d e   o f   t h e   s e a r c h   s y s t e m s   a n d   p r o c e s s e s ,   p o s s i b l y   i n s t r u m e n t e d   a n d   m e d i a t e d   b y   a   s o c i a l   n e t w o r k .   M o r e o v e r ,   t a s k s   s u c h   a s   q u a l i t y   a s s e s s m e n t ,   o p i n i o n   m a k i n g ,   a n d   s e n s e   e x t r a c t i o n   c a n n o t   b e   c o m p l e t e l y   d e l e g a t e d   t o   a u t o m a t i c   p r o c e d u r e s .   I n   t h i s   p a p e r   w e   p r o p o s e   a   p a r a d i g m   t h a t   e m b o d i e s   c r o w d s   a n d   s o c i a l   n e t w o r k   c o m m u n i t i e s   a s   f i r s t - c l a s s   s o u r c e s   f o r   t h e   i n f o r m a t i o n   m a n a g e m e n t   a n d   e x t r a c t i o n   o n   t h e   W e b .   O u r   a p p r o a c h   a i m s   a t   f i l l i n g   t h e   g a p   b e t w e e n   t r a d i t i o n a l   W e b   s y s t e m s   ( C M S ,   s e a r c h   e n g i n e s   a n d   o t h e r s ) ,   w h i c h   o p e r a t e   u p o n   w o r l d - w i d e   i n f o r m a t i o n ,   w i t h   s o c i a l   s y s t e m s ,   c a p a b l e   o f   i n t e r a c t i n g   w i t h   r e a l   p e o p l e ,   i n   r e a l   t i m e ,   t o   c a p t u r e   t h e i r   o p i n i o n s ,   s u g g e s t i o n s ,   a n d   e m o t i o n s   b y   l e v e r a g i n g   c r o w d s o u r c i n g   p r a c t i c e s   a n d   m a k i n g   t h e m   v i a b l e   u p o n   a   s o c i a l   n e t w o r k .   T h a n k s   t o   t h e   p r o p o s e d   a p p r o a c h ,   t h e   d a t a   m a n a g e m e n t   a n d   m a n i p u l a t i o n   e x p e r i e n c e   o f   u s e r s   c a n   b e   e n o r m o u s l y   e n r i c h e d . 	 [ B r a m b i l l a ,   M a r c o ;   B o z z o n ,   A l e s s a n d r o ]   P o l i t e c n   M i l a n ,   D i p a r t i m e n t o   E l e t t r o n   &   I n f o r m a z ,   I - 2 0 1 3 3   M i l a n ,   I t a l y 	 B r a m b i l l a ,   M   ( r e p r i n t   a u t h o r ) ,   P o l i t e c n   M i l a n ,   D i p a r t i m e n t o   E l e t t r o n   &   I n f o r m a z ,   I - 2 0 1 3 3   M i l a n ,   I t a l y . 	 m b r a m b i l @ e l e t . p o l i m i . i t ;   b o z z o n @ e l e t . p o l i m i . i t 	 	 	 	 	 A u l a   A ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 3 5 ;   B o z z o n   A . ,   2 0 1 2 ,   W W W   2 0 1 2 ,   P 1 0 0 9 ;   B o z z o n   A . ,   2 0 1 2 ,   C R O W D S E A R C H   W O R K S H   W ,   P 3 1 ;   D o a n   A . ,   2 0 1 1 ,   C O M M U N I C A T I O N S   A C M ;   F r a n k l i n   M .   J . ,   2 0 1 1 ,   A C M   S I G M O D ,   P 6 1 ;   M a r c u s   A . ,   2 0 1 1 ,   C   I N N   D A T   S Y S T   R E S   2 ,   P 2 1 1 ;   P a r a m e s w a r a n   A .   G . ,   2 0 1 1 ,   C I D R ,   P 1 6 0 ;   Y a n   T . ,   2 0 1 0 ,   P   8   I N T   C   M O B   S Y S T   A ,   P 7 7 ,   D O I   1 0 . 1 1 4 5 / 1 8 1 4 4 3 3 . 1 8 1 4 4 4 3 	 8 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 0 - 7 6 9 5 - 4 7 9 9 - 2 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 1 1 2 3 	 1 1 2 7 	 	 1 0 . 1 1 0 9 / A S O N A M . 2 0 1 2 . 1 9 3 	 	 5 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B F L 8 6 	 W O S : 0 0 0 3 2 0 4 4 3 5 0 0 1 8 3 	 	 
 B 	 W o l l e y ,   C ;   Q u a f a f o u ,   M 	 	 V r e e k e n ,   J ;   L i n g ,   C ;   Z a k i ,   M J ;   S i e b e s ,   A ;   Y u ,   J X ;   G o e t h a l s ,   B ;   W e b b ,   G ;   W u ,   X 	 	 W o l l e y ,   C h i r i n e ;   Q u a f a f o u ,   M o h a m e d 	 	 	 L e a r n i n g   f r o m   M u l t i p l e   A n n o t a t o r s   :   w h e n   D a t a   i s   H a r d   a n d   A n n o t a t o r s   a r e   U n r e l i a b l e 	 1 2 T H   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   D A T A   M I N I N G   W O R K S H O P S   ( I C D M W   2 0 1 2 ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 2 t h   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   D a t a   M i n i n g   ( I C D M ) 	 D E C   1 0 - 1 3 ,   2 0 1 2 	 B r u s s e l s ,   B E L G I U M 	 I E E E ,   I E E E   C o m p   S o c ,   N a t l   S c i   F d n   ( N S F ) ,   F W O ,   I B M ,   S A S ,   Y a h o o ,   N A S A ,   B i s i d e ,   K N I M E ,   U n i v   A n t w e r p e n ,   U n i v   L i b r e   B r u x e l l e s   ( U L B ) 	 	 C r o w d s o u r c i n g ;   D a t a   Q u a l i t y ;   M u l t i p l e   A n n o t a t o r s ;   I g n o r a n c e ;   B a y e s i a n   A n a l y s i s 	 	 T h e   c r o w d s o u r c i n g   s e r v i c e s   b e c a m e   p o p u l a r   m a k i n g   i t   e a s y   a n d   f a s t   t o   l a b e l   d a t a s e t s   b y   m u l t i p l e   a n n o t a t o r s   i n   o r d e r   t o   a c h i e v e   s u p e r v i s e d   l e a r n i n g   t a s k s .   U n f o r t u n a t e l y ,   i n   t h i s   c o n t e x t ,   a n n o t a t o r s   a r e   n o t   r e l i a b l e   a s   t h e y   m a y   h a v e   d i f f e r e n t   l e v e l s   o f   e x p e r i e n c e   o r   k n o w l e d g e .   F u r t h e r m o r e ,   t h e   d a t a   t o   b e   l a b e l e d   m a y   a l s o   v a r y   i n   t h e i r   l e v e l   o f   d i f f i c u l t y .   H o w   d o   w e   d e a l   w i t h   h a r d   d a t a   t o   l a b e l   a n d   u n r e l i a b l e   a n n o t a t o r s ?   I n   t h i s   p a p e r ,   w e   p r e s e n t   a   p r o b a b i l i s t i c   m o d e l   t o   l e a r n   f r o m   m u l t i p l e   n a i v e   a n n o t a t o r s ,   c o n s i d e r i n g   t h a t   a n n o t a t o r s   m a y   d e c l i n e   t o   l a b e l   a n   i n s t a n c e   w h e n   t h e y   a r e   u n s u r e .   B o t h   e r r o r s   a n d   i g n o r a n c e   o f   a n n o t a t o r s   a r e   i n t e g r a t e d   s e p a r a t e l y   i n t o   t h e   p r o p o s e d   B a y e s i a n   m o d e l .   E x p e r i m e n t s   o n   s e v e r a l   d a t a s e t s   s h o w   t h a t   o u r   m e t h o d   a c h i e v e s   s u p e r i o r   p e r f o r m a n c e   c o m p a r e d   t o   o t h e r   e f f i c i e n t   l e a r n i n g   a l g o r i t h m s . 	 [ W o l l e y ,   C h i r i n e ;   Q u a f a f o u ,   M o h a m e d ]   A i x   M a r s e i l l e   U n i v ,   L S I S   U M R   7 2 9 6 ,   F - 1 3 3 9 7   M a r s e i l l e ,   F r a n c e 	 W o l l e y ,   C   ( r e p r i n t   a u t h o r ) ,   A i x   M a r s e i l l e   U n i v ,   L S I S   U M R   7 2 9 6 ,   F - 1 3 3 9 7   M a r s e i l l e ,   F r a n c e . 	 c h i r i n e . w o l l e y @ e t u . u n i v - a m u . f r ;   m o h a m e d . q u a f a f o u @ u n i v - a m u . f r 	 	 	 	 	 A s u n c i o n   A . ,   2 0 0 7 ,   U C I   M A C H I N E   L E A R N I N G ;   B a y e s   T h o m a s ,   1 7 6 3 ,   P H I L O S   T   R O Y   S O C   L O N ,   V 5 3 ,   P 3 7 0 ,   D O I   D O I   1 0 . 1 0 9 8 / R S T L . 1 7 6 3 . 0 0 5 3 ;   B e a l   M . J . ,   2 0 0 3 ,   B A Y E S I A N   S T A T ,   V 7 ;   B u r l   M . ,   1 9 9 5 ,   A D V   N E U R A L   I N F O R M   P R ,   V 7 ,   P 1 0 8 5 ;   D a w i d   A P ,   1 9 7 9 ,   A P P L I E D   S T A T I S T I C S ,   V 2 8 ,   P 2 0 ,   D O I   1 0 . 2 3 0 7 / 2 3 4 6 8 0 6 ;   D E M P S T E R   A P ,   1 9 7 7 ,   J   R O Y   S T A T   S O C   B   M E T ,   V 3 9 ,   P 1 ;   D e n g   K . ,   2 0 0 9 ,   C V P R ;   D o n m e z   P . ,   2 0 1 0 ,   P   S I A M   I N T   C   D A T   M I N ,   P 8 2 6 ;   F r a z i e r   M . ,   1 9 9 4 ,   P r o c e e d i n g s   o f   t h e   S e v e n t h   A n n u a l   A C M   C o n f e r e n c e   o n   C o m p u t a t i o n a l   L e a r n i n g   T h e o r y ,   C O L T   9 4 ,   D O I   1 0 . 1 1 4 5 / 1 8 0 1 3 9 . 1 8 1 1 7 0 ;   F r i e d m a n   N . ,   1 9 9 8 ,   1 4   C   U N C   A R T   I N T   U A I ;   G h a m r a w i   N . ,   2 0 0 5 ,   A C M   1 4   C   I N F   K N O W L   M ;   G o e t g h e b e u r   E . ,   1 9 9 9 ,   S E N S E   S E N S I T I V I T Y   I N ,   V 6 2 ,   P 7 9 ;   J e f f r e y s   H . ,   1 9 4 6 ,   P   R O Y A L   S O C   L O N D O N ;   J i n   R . ,   2 0 0 2 ,   P   N E U R   I N F   P R O C   S Y S T ;   L i t t l e   R J A ,   1 9 8 7 ,   S T A T   A N A L   M I S S I N G   D A ;   L U G O S I   G ,   1 9 9 2 ,   P A T T E R N   R E C O G N ,   V 2 5 ,   P 7 9 ,   D O I   1 0 . 1 0 1 6 / 0 0 3 1 - 3 2 0 3 ( 9 2 ) 9 0 0 0 8 - 7 ;   M o l e n b e r g h s   G ,   2 0 0 1 ,   J   R O Y   S T A T   S O C   C - A P P ,   V 5 0 ,   P 1 5 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 9 8 7 6 . 0 0 2 1 7 ;   O D E W A H N   S C ,   1 9 9 2 ,   A S T R O N   J ,   V 1 0 3 ,   P 3 1 8 ,   D O I   1 0 . 1 0 8 6 / 1 1 6 0 6 3 ;   R a y k a r   V C ,   2 0 1 0 ,   J   M A C H   L E A R N   R E S ,   V 1 1 ,   P 1 2 9 7 ;   R U B I N   D B ,   1 9 7 6 ,   B I O M E T R I K A ,   V 6 3 ,   P 5 8 1 ,   D O I   1 0 . 1 0 9 3 / b i o m e t / 6 3 . 3 . 5 8 1 ;   S n o w   R . ,   2 0 0 8 ,   P   2 0 0 8   C   E M P   M E T H   N A ;   S o r o k i n   A . ,   2 0 0 8 ,   1   I E E E   W O R K S H   I N T   V I ;   W h i t e h i l l   J . ,   2 0 0 9 ,   A D V   N E U R A L   I N   P R E S S ;   Y a n   Y . ,   2 0 1 0 ,   J M L R   W   C P 9 ,   V 9 	 2 4 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 0 - 7 6 9 5 - 4 9 2 5 - 5 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 5 1 4 	 5 2 1 	 	 1 0 . 1 1 0 9 / I C D M W . 2 0 1 2 . 4 8 	 	 8 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 B F Q 2 6 	 W O S : 0 0 0 3 2 0 9 4 6 5 0 0 0 6 8 	 	 
 S 	 M i n d e r ,   P ;   B e r n s t e i n ,   A 	 	 A b e r e r ,   K ;   F l a c h e ,   A ;   J a g e r ,   W ;   L i u ,   L ;   T a n g ,   J ;   G u e r e t ,   C 	 	 M i n d e r ,   P a t r i c k ;   B e r n s t e i n ,   A b r a h a m 	 	 	 C r o w d L a n g :   A   P r o g r a m m i n g   L a n g u a g e   f o r   t h e   S y s t e m a t i c   E x p l o r a t i o n   o f   H u m a n   C o m p u t a t i o n   S y s t e m s 	 S O C I A L   I N F O R M A T I C S ,   S O C I N F O   2 0 1 2 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 4 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S o c i a l   I n f o r m a t i c s   ( S o c I n f o ) 	 D E C   0 5 - 0 7 ,   2 0 1 2 	 L a u s a n n e ,   S W I T Z E R L A N D 	 	 	 C r o w d L a n g ;   P r o g r a m m i n g   L a n g u a g e ;   H u m a n C o m p u t a t i o n ;   C o l l e c t i v e   I n t e l l i g e n c e ;   C r o w d s o u r c i n g ;   T r a n s l a t i o n   S o f t w a r e 	 	 H u m a n   c o m p u t a t i o n   s y s t e m s   a r e   o f t e n   t h e   r e s u l t   o f   e x t e n s i v e   l e n g t h y   t r i a l - a n d - e r r o r   r e f i n e m e n t s .   W h a t   w e   l a c k   i s   a n   a p p r o a c h   t o   s y s t e m a t i c a l l y   e n g i n e e r   s o l u t i o n s   b a s e d   o n   p a s t   s u c c e s s f u l   p a t t e r n s .   I n   t h i s   p a p e r   w e   p r e s e n t   t h e   C r o w d L a n g ( 1 )   p r o g r a m m i n g   f r a m e w o r k   f o r   e n g i n e e r i n g   c o m p l e x   c o m p u t a t i o n   s y s t e m s   i n c o r p o r a t i n g   l a r g e   c r o w d s   o f   n e t w o r k e d   h u m a n s   a n d   m a c h i n e s   w i t h   a   l i b r a r y   o f   k n o w n   i n t e r a c t i o n   p a t t e r n s .   W e   e v a l u a t e   C r o w d L a n g   b y   p r o g r a m m i n g   a   G e r m a n - t o - E n g l i s h   t r a n s l a t i o n   p r o g r a m   i n c o r p o r a t i n g   m a c h i n e   t r a n s l a t i o n   a n d   a   m o n o l i n g u a l   c r o w d .   T h e   e v a l u a t i o n   s h o w s   t h a t   C r o w d L a n g   i s   a b l e   t o   s i m p l y   e x p l o r e   a   l a r g e   d e s i g n   s p a c e   o f   p o s s i b l e   p r o b l e m - s o l v i n g   p r o g r a m s   w i t h   t h e   s i m p l e   v a r i a t i o n   o f   t h e   u s e d   a b s t r a c t i o n s .   I n   a n   e x p e r i m e n t   i n v o l v i n g   1 9 1 8   d i f f e r e n t   h u m a n   a c t o r s ,   w e   s h o w   t h a t   t h e   r e s u l t i n g   t r a n s l a t i o n   p r o g r a m   s i g n i f i c a n t l y   o u t p e r f o r m s   a   p u r e   m a c h i n e   t r a n s l a t i o n   i n   t e r m s   o f   a d e q u a c y   a n d   f l u e n c y   w h i l s t   t r a n s l a t i n g   m o r e   t h a n   3 0   p a g e s   p e r   h o u r   a n d   a p p r o x i m a t e s   t h e   h u m a n - t r a n s l a t e d   g o l d   s t a n d a r d   t o   7 5 % . 	 [ M i n d e r ,   P a t r i c k ;   B e r n s t e i n ,   A b r a h a m ]   U n i v   Z u r i c h ,   D y n a m   &   D i s t r i b u t e d   I n f o r m a t   S y s t   G r p ,   C H - 8 0 0 6   Z u r i c h ,   S w i t z e r l a n d 	 M i n d e r ,   P   ( r e p r i n t   a u t h o r ) ,   U n i v   Z u r i c h ,   D y n a m   &   D i s t r i b u t e d   I n f o r m a t   S y s t   G r p ,   C H - 8 0 0 6   Z u r i c h ,   S w i t z e r l a n d . 	 m i n d e r @ i f i . u z h . c h ;   b e r n s t e i n @ i f i . u z h . c h 	 	 	 	 	 A h m a d   S . ,   2 0 1 1 ,   P   2 4   A N N   A C M   S   U S   I N ,   P 5 3 ;   A q u i l a n o   N .   J . ,   2 0 0 6 ,   O P E R A T I O N S   M A N A G E M E N ;   B a n e r j e e   S . ,   2 0 0 5 ,   I N T R I N S I C   E X T R I N S I C ,   V 6 5 ;   B e r n s t e i n   A . ,   1 9 9 9 ,   P   I N T   C   I N F   S Y S T   I C I ,   P 1 7 8 ;   B e r n s t e i n   A . ,   2 0 1 2 ,   C O M M U N   A C M ,   V 5 5 ,   P 1 ;   B e r n s t e i n   A b r a h a m ,   2 0 0 0 ,   P   2 0 0 0   A C M   C   C O M P   S U ,   P 2 7 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 3 5 8 9 1 6 . 3 5 8 9 9 9 ;   B e r n s t e i n   M . S . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 3 1 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 7 8 ;   C h e n   Y . ,   2 0 1 1 ,   H U M   C O M P   A A A I   W O R K S H ;   D e a n   J ,   2 0 0 8 ,   C O M M U N   A C M ,   V 5 1 ,   P 1 0 7 ,   D O I   1 0 . 1 1 4 5 / 1 3 2 7 4 5 2 . 1 3 2 7 4 9 2 ;   G r e g   L i t t l e ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 6 8 ,   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 9 0 7 ;   I m a n   R . ,   1 9 7 9 ,   T E C H N I C A L   R E P O R T ;   K i t t u r   A . ,   2 0 1 1 ,   P   2 4   A N N   A C M   S   U S   I N ,   P 4 3 ;   L a w   E . ,   2 0 1 1 ,   S Y N T H E S I S   L E C T   A R T I F ,   V 5 ,   P 1 ,   D O I   D O I   1 0 . 2 2 0 0 / S 0 0 3 7 1 E D 1 V 0 1 Y 2 0 1 1 0 7 A I M 0 1 3 ;   L i t t l e   G . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 5 7 ,   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 4 0 ;   M a l o n e   T W ,   2 0 1 0 ,   M I T   S L O A N   M A N A G E   R E V ,   V 5 1 ,   P 2 1 ;   M A L O N E   T W ,   1 9 9 4 ,   A C M   C O M P U T   S U R V ,   V 2 6 ,   P 8 7 ,   D O I   1 0 . 1 1 4 5 / 1 7 4 6 6 6 . 1 7 4 6 6 8 ;   M a l o n e   T W ,   2 0 1 1 ,   H A R V A R D   B U S   R E V ,   V 8 9 ,   P 5 6 ;   M i n d e r   P . ,   2 0 1 2 ,   A C M   W E B   S C I   2 0 1 2 ;   N o r o n h a   J . ,   2 0 1 1 ,   P   2 4   A N N   A C M   S   U S   I N ,   P 1 ;   P a p i n e n i   K . ,   2 0 0 2 ,   B L E U   M E T H O D   A U T O M A T I ;   Q u i n n   A . J . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 1 4 0 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 9 1 4 8 ;   Y O U N G   H P ,   1 9 7 4 ,   J   E C O N   T H E O R Y ,   V 9 ,   P 4 3 ,   D O I   1 0 . 1 0 1 6 / 0 0 2 2 - 0 5 3 1 ( 7 4 ) 9 0 0 7 3 - 8 ;   Z h a n g   H . ,   2 0 1 2 ,   C H I 	 2 3 	 2 	 2 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 3 5 3 8 5 - 7 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 2 	 7 7 1 0 	 	 	 	 	 	 1 2 4 	 1 3 7 	 	 	 	 1 4 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B F M 1 6 	 W O S : 0 0 0 3 2 0 4 7 2 7 0 0 0 1 0 	 	 
 J 	 G o m e s ,   C ;   S c h n e i d e r ,   D ;   M o r a e s ,   K ;   d e   S o u z a ,   J 	 	 	 I E E E 	 G o m e s ,   C a r l o s ;   S c h n e i d e r ,   D a n i e l ;   M o r a e s ,   K a t i a ;   d e   S o u z a ,   J a n o 	 	 	 C r o w d s o u r c i n g   f o r   M u s i c :   S u r v e y   a n d   T a x o n o m y 	 P R O C E E D I N G S   2 0 1 2   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   S Y S T E M S ,   M A N ,   A N D   C Y B E R N E T I C S   ( S M C ) 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S y s t e m s   M a n   a n d   C y b e r n e t i c s   C o n f e r e n c e   P r o c e e d i n g s 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S y s t e m s ,   M a n ,   a n d   C y b e r n e t i c s   ( S M C ) 	 O C T   1 4 - 1 7 ,   2 0 1 2 	 S e o u l ,   S O U T H   K O R E A 	 I E E E   S y s t e m s ,   M a n ,   a n d   C y b e r n e t i c s   S o c   ( S M C ) ,   I E E E ,   K o r e a   U n i v ,   K o r e a n   S o c   C o g n i t   S c i   ( K S C S ) ,   K o r e a n   I n s t   I n f o r m a t   S c i e n t i s t s   a n d   E n g i n e e r s   S o c   C o m p u t a t   I n t e l l i g e n c e   ( K S C I ) ,   H i   S e o u l ,   K o r e a   T o u r i s m   O r g ,   A s i a n   O f f   A e r o s p   R e s   a n d   D e v   ( A O A R D ) ,   N a t l   R e s   F d n   K o r e a   ( N R F ) ,   W o r l d   C l a s s   U n i v ,   K o r e a   U n i v ,   W C U   R e s   D i v   B r a i n   a n d   C o g n i t   E n g n 	 	 c r o w d s o u r c i n g   f o r   m u s i c ;   c r o w d   c o m p u t i n g ;   c r o w d ;   s u r v e y ;   r e s e a r c h   a g e n d a ;   t a x o n o m y 	 	 R e c e n t   b e h a v i o r a l   a n d   c u l t u r a l   c h a n g e s   d r i v e n   b y   t h e   p a r a d i g m   o f   m a s s   c o l l a b o r a t i o n   h i g h l i g h t e d   t h e   p h e n o m e n o n   o f   c r o w d s o u r c i n g   a s   a n   i n n o v a t i v e   a n d   p r o m i s i n g   p r o d u c t i o n   m o d e l ,   w i t h   p o s i t i v e   e f f e c t s   i n   s e v e r a l   b u s i n e s s   a r e a s .   I n   t h e   f i e l d   o f   m u s i c ,   t h e   s o   c a l l e d   w a v e   o f   c r o w d s   h a s   f o s t e r e d   c r e a t i v e   p r o c e s s e s   w h e r e   p e o p l e   f r o m   a n y w h e r e   i n   t h e   w o r l d   w i t h   I n t e r n e t   a c c e s s   c a n   c o l l a b o r a t e   i n   d i f f e r e n t   w a y s   i n   m u s i c a l   p r o d u c t i o n s ,   e v e n   n o t   b e i n g   p r a c t i t i o n e r s .   T h e   p r e s e n t   w o r k   i s   a   s t u d y   o f   c r o w d   c o m p u t i n g   a p p l i c a t i o n s   i n   t h e   c o n t e x t   o f   m u s i c ,   w i t h   a n   e y e   t o w a r d s   t h e   c r o w d s o u r c i n g   p h e n o m e n a .   W e   i n v e s t i g a t e   f o r m s   o f   c o l l a b o r a t i o n   i n v o l v i n g   c r o w d s   a n d   t h e   a v a i l a b l e   p l a t f o r m s .   W e   a l s o   d i s c u s s   t h e   c h a l l e n g e s   c o u p l e d   t o   t h i s   d o m a i n   a n d   p r o p o s e   a   r e s e a r c h   a g e n d a . 	 [ G o m e s ,   C a r l o s ;   S c h n e i d e r ,   D a n i e l ;   M o r a e s ,   K a t i a ;   d e   S o u z a ,   J a n o ]   U n i v   F e d   R i o   d e   J a n e i r o ,   G r a d   S c h   E n g n ,   P E S C   C O P P E   U F R J ,   B R - 2 1 9 4 1   R i o   D e   J a n e i r o ,   B r a z i l 	 G o m e s ,   C   ( r e p r i n t   a u t h o r ) ,   U n i v   F e d   R i o   d e   J a n e i r o ,   G r a d   S c h   E n g n ,   P E S C   C O P P E   U F R J ,   B R - 2 1 9 4 1   R i o   D e   J a n e i r o ,   B r a z i l . 	 c a r l o s g o m e s @ c o s . u f r j . b r ;   s c h n e i d e r @ c o s . u f r j . b r ;   k a t i a @ c o s . u f r j . b r ;   j a n o @ c o s . u f r j . b r 	 	 	 	 	 A h n   L .   V . ,   2 0 0 7 ,   P   4   I N T   C   K N O W L   C A P T ,   P 5 ;   A m a r a l   A . ,   2 0 0 9 ,   R E V   C O N T R A C A M P O ,   P 1 4 7 ;   B a i r d   K . ,   2 0 0 5 ,   P   2 0 0 5   I N T   C   N E W   I N T ,   P 2 4 0 ;   B a r k h u u s   L . ,   2 0 0 8 ,   C H I   0 8   F L O R   I T   A C M ,   P 2 9 2 5 ;   B o t t   J N ,   2 0 0 9 ,   I E E E   V I R T U A L   R E A L I T Y   2 0 0 9 ,   P R O C E E D I N G S ,   P 2 7 3 ;   B r o w n   B . ,   2 0 0 9 ,   P   2 7   I N T   C   H U M   F A C T ,   P 4 7 5 5 ,   D O I   1 0 . 1 1 4 5 / 1 5 2 0 3 4 0 . 1 5 2 0 7 3 3 ;   C h a n d r a s e k a r   R . ,   P   S I G K D D   H C O M P   2 0 1 0 ;   D a h l   L . ,   2 0 1 1 ,   P   I N T   C   N E W   I N T   M U S ;   F a c e b o o k ,   S O U N D C L O U D ;   F a c e b o o k ,   V A G   P L A Y L   F A C   A P P ;   F a c e b o o k ,   V E V O   F A C   A P P ;   F a c e b o o k ,   M U S ;   F e r r e r   M . ,   C O C A   C O L A   M A R O O N   5   C ;   F r e e m a n   J ,   2 0 1 0 ,   D I G I T   C R E A T ,   V 2 1 ,   P 8 5 ,   D O I   1 0 . 1 0 8 0 / 1 4 6 2 6 2 6 1 0 0 3 7 8 6 2 4 4 ;   H e m e r   J . ,   2 0 1 1 ,   W O R K I N G   P A P E R S   F I R M S ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   P O W E R ;   I n d a b a   M u s i c ,   N   C A R T   I M   T A K ;   K u h n   M . ,   2 0 1 1 ,   P   I E E E   I N T   S   W E A R   C O ;   L a w   E .   L .   M . ,   2 0 0 7 ,   P   I S M I R   V I E N N   A U S T R ;   L e e   J H W ,   2 0 1 0 ,   J   H Y D R O - E N V I R O N   R E S ,   V 4 ,   P 1 8 3 ,   D O I   1 0 . 1 0 1 6 / j . j h e r . 2 0 1 0 . 0 8 . 0 0 2 ;   M a y n e s - A m i n z a d e   D a n ,   2 0 0 2 ,   P   4   I E E E   I N T   C   M U L T ;   M u r p h y   T . ,   2 0 0 8 ,   P   S I G U C C S   2 0 0 8   P O R T L ,   P 3 3 ,   D O I   1 0 . 1 1 4 5 / 1 4 4 9 9 5 6 . 1 4 4 9 9 6 9 ;   Q u i n n   A .   J . ,   2 0 0 9 ,   T A X O N O M Y   D I S T R I B U T E D ;   Q u i n n   A . J . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 1 4 0 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 9 1 4 8 ;   S c h n e i d e r   D . ,   2 0 1 1 ,   S B S C   C R I W G   8   S   B R A S ,   P 2 4 ;   S u r o w i e c k i   J a m e s ,   2 0 0 5 ,   W I S D O M   C R O W D S ;   T u r n b u l l   D . ,   2 0 0 7 ,   8   I N T   C   M U S   I N F   R E T R ;   W a n g   F Y ,   2 0 0 7 ,   I E E E   I N T E L L   S Y S T ,   V 2 2 ,   P 7 9 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 0 7 . 4 1 ;   W I K I P E D I A ,   C O M P   S O C ;   W i k i p e d i a ,   L A S T   F M ;   W i k i p e d i a ,   M U S ;   Y o u n g m o o   E   K i m ,   2 0 0 8 ,   P   I N T   C   M U S   I N F   R E T R ,   P 2 3 1 	 3 3 	 1 	 1 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 0 6 2 - 9 2 2 X 	 	 9 7 8 - 1 - 4 6 7 3 - 1 7 1 4 - 6 	 I E E E   S Y S   M A N   C Y B E R N 	 	 	 2 0 1 2 	 	 	 	 	 	 	 8 3 2 	 8 3 9 	 	 	 	 8 	 C o m p u t e r   S c i e n c e ,   C y b e r n e t i c s ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B E J 3 3 	 W O S : 0 0 0 3 1 6 8 6 9 2 0 0 1 4 2 	 	 
 J 	 A n t e l i o ,   M ;   E s t e v e s ,   M G P ;   S c h n e i d e r ,   D ;   d e   S o u z a ,   J M 	 	 	 I E E E 	 A n t e l i o ,   M a r c i o ;   E s t e v e s ,   M a r i a   G i l d a   P . ;   S c h n e i d e r ,   D a n i e l ;   d e   S o u z a ,   J a n o   M o r e i r a 	 	 	 Q u a l i t o c r a c y :   A   D a t a   Q u a l i t y   C o l l a b o r a t i v e   F r a m e w o r k   A p p l i e d   t o   C i t i z e n   S c i e n c e 	 P R O C E E D I N G S   2 0 1 2   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   S Y S T E M S ,   M A N ,   A N D   C Y B E R N E T I C S   ( S M C ) 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S y s t e m s   M a n   a n d   C y b e r n e t i c s   C o n f e r e n c e   P r o c e e d i n g s 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S y s t e m s ,   M a n ,   a n d   C y b e r n e t i c s   ( S M C ) 	 O C T   1 4 - 1 7 ,   2 0 1 2 	 S e o u l ,   S O U T H   K O R E A 	 I E E E   S y s t e m s ,   M a n ,   a n d   C y b e r n e t i c s   S o c   ( S M C ) ,   I E E E ,   K o r e a   U n i v ,   K o r e a n   S o c   C o g n i t   S c i   ( K S C S ) ,   K o r e a n   I n s t   I n f o r m a t   S c i e n t i s t s   a n d   E n g i n e e r s   S o c   C o m p u t a t   I n t e l l i g e n c e   ( K S C I ) ,   H i   S e o u l ,   K o r e a   T o u r i s m   O r g ,   A s i a n   O f f   A e r o s p   R e s   a n d   D e v   ( A O A R D ) ,   N a t l   R e s   F d n   K o r e a   ( N R F ) ,   W o r l d   C l a s s   U n i v ,   K o r e a   U n i v ,   W C U   R e s   D i v   B r a i n   a n d   C o g n i t   E n g n 	 	 d a t a   q u a l i t y ;   c r o w d s o u r c i n g ;   c i t i z e n   s c i e n c e ;   c o l l a b o r a t i v e   f r a m e w o r k 	 V O L U N T E E R S ;   N E T W O R K S ;   T R U S T 	 C i t i z e n   s c i e n c e   p r o j e c t s   g e n e r a l l y   u s e   t h e   W e b   p l a t f o r m   t o   p r o m o t e   s c i e n t i f i c   r e s e a r c h   a n d   r e c r u i t   v o l u n t e e r s   t o   a s s i s t   t h e m .   T h r o u g h   a   c r o w d s o u r c i n g   p l a t f o r m ,   a   l a r g e   a m o u n t   o f   d a t a   i s   s u b m i t t e d   a n d   s o m e   f a c t o r s   m a y   l e a d   t h e   s c i e n t i f i c   c o m m u n i t y   t o   d o u b t   t h e   s e r i o u s n e s s   o f   s o m e   p r o j e c t s .   T h i s   m a y   b e   d u e   t o   t h e   u n r e l i a b i l i t y   o f   d a t a   c o l l e c t e d   o n   a   v o l u n t a r y   b a s i s   a n d   t h e   a b s e n c e   o f   c r i t e r i a   f o r   q u a l i t y   c o n t r o l   o f   t h e   s u b m i t t e d   d a t a .   O u r   m a i n   r e s e a r c h   g o a l   i s   t o   p r o p o s e   a   c o l l a b o r a t i v e   f r a m e w o r k   f o r   i m p r o v i n g   d a t a   q u a l i t y .   B y   a s s o c i a t i n g   d a t a   q u a l i t y   d i m e n s i o n s   t o   s c i e n t i s t s   t h r o u g h   a   v o t i n g   n e t w o r k ,   w e   a i m   t o   c r e a t e   a   c o n t i n u o u s   p r o c e s s   f o r   d a t a   q u a l i t y   v a l i d a t i o n . 	 [ A n t e l i o ,   M a r c i o ;   E s t e v e s ,   M a r i a   G i l d a   P . ;   S c h n e i d e r ,   D a n i e l ;   d e   S o u z a ,   J a n o   M o r e i r a ]   U n i v   F e d   R i o   d e   J a n e i r o ,   G r a d   S c h   E n g n ,   P E S C   C O P P E   U F R J ,   B R - 2 1 9 4 1   R i o   D e   J a n e i r o ,   B r a z i l 	 A n t e l i o ,   M   ( r e p r i n t   a u t h o r ) ,   U n i v   F e d   R i o   d e   J a n e i r o ,   G r a d   S c h   E n g n ,   P E S C   C O P P E   U F R J ,   B R - 2 1 9 4 1   R i o   D e   J a n e i r o ,   B r a z i l . 	 m a r c i o a n t e l i o @ c o s . u f r j . b r ;   g i l d a @ c o s . u f r j . b r ;   s c h n e i d e r @ c o s . u f r j . b r ;   j a n o @ c o s . u f r j . b r 	 	 	 	 	 A h n   L .   V . ,   2 0 0 5 ,   H U M A N   C O M P U T A T I O N ;   A l a b r i   A ,   2 0 1 0 ,   E - S c i e n c e   2 0 1 0 .   P r o c e e d i n g s   6 t h   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   E - S c i e n c e   ( E - S c i e n c e   2 0 1 0 ) ,   D O I   1 0 . 1 1 0 9 / e S c i e n c e . 2 0 1 0 . 3 3 ;   [ A n o n y m o u s ] ,   2 0 0 8 ,   N A T U R E ,   V 4 5 5 ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   S C I E N C E ,   V 3 3 1 ,   P 6 3 9 ;   C o h n   J P ,   2 0 0 8 ,   B I O S C I E N C E ,   V 5 8 ,   P 1 9 2 ,   D O I   1 0 . 1 6 4 1 / B 5 8 0 3 0 3 ;   C o n r a d   C . ,   2 0 1 0 ,   E N V I R O N   M O N I T   A S S E S S ,   P 1 ;   D e l a n e y   D G ,   2 0 0 8 ,   B I O L   I N V A S I O N S ,   V 1 0 ,   P 1 1 7 ,   D O I   1 0 . 1 0 0 7 / s 1 0 5 3 0 - 0 0 7 - 9 1 1 4 - 0 ;   F o s t e r - S m i t h   J ,   2 0 0 3 ,   B I O L   C O N S E R V ,   V 1 1 3 ,   P 1 9 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 0 6 - 3 2 0 7 ( 0 2 ) 0 0 3 7 3 - 7 ;   F o u r c h e s   D ,   2 0 1 0 ,   J   C H E M   I N F   M O D E L ,   V 5 0 ,   P 1 1 8 9 ,   D O I   1 0 . 1 0 2 1 / c i 1 0 0 1 7 6 x ;   G a l l o w a y   A W E ,   2 0 0 6 ,   W I L D L I F E   S O C   B ,   V 3 4 ,   P 1 4 2 5 ,   D O I   1 0 . 2 1 9 3 / 0 0 9 1 - 7 6 4 8 ( 2 0 0 6 ) 3 4 [ 1 4 2 5 : T R O C S A ] 2 . 0 . C O ; 2 ;   G a m b l e   M . ,   2 0 1 1 ,   W E B S C I   1 1   J U N   1 4   1 7 ;   G o l b e c k   J ,   2 0 0 9 ,   A C M   T   W E B ,   V 3 ,   D O I   1 0 . 1 1 4 5 / 1 5 9 4 1 7 3 . 1 5 9 4 1 7 4 ;   H O W E   J . ,   R I S E   C R O W D S O U R C I N G ,   P 1 4 ;   H o w e   J . ,   C R O W D S O U R C I N G   D E F I N I ;   H u l l   D . ,   2 0 0 8 ,   P L O S   C O M P U T   B I O L ,   V 4 ;   I p e i r o t i s   P .   G . ,   2 0 1 0 ,   H C O M P   1 0   P   A C M   S I G K D ;   I s r a e l   G .   D . ,   2 0 0 4 ,   E V A L U A T I N G   V O L U N T E E R ,   P 3 7 2 ;   L i j p h a r t   A . ,   1 9 8 4 ,   D E M O C R A C I E S   P A T T E R N S ;   L y n c h   C .   V . ,   1 9 9 8 ,   J   V O L U N T E E R   A D M ,   V 1 6 ;   M o r e a u   L ,   2 0 0 8 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 2 7 2 ,   P 3 2 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 8 9 9 6 5 - 5 _ 3 1 ;   N i c h o l s o n   E ,   2 0 0 2 ,   W A T E R   S C I   T E C H N O L ,   V 4 5 ,   P 1 9 3 ;   N i c h o l s o n   E . ,   2 0 1 2 ,   C O M M U N I T Y   D A T A   D O E S ;   O d e d   N . ,   2 0 1 0 ,   A C M   C S C W   2 0 1 0   W O R K S H ;   O r r   K ,   1 9 9 8 ,   C O M M U N   A C M ,   V 4 1 ,   P 6 6 ,   D O I   1 0 . 1 1 4 5 / 2 6 9 0 1 2 . 2 6 9 0 2 3 ;   P i p i n o   L . L . ,   2 0 0 2 ,   C O M M U N   A C M ,   V 4 5 ,   P 2 1 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 5 0 5 2 4 8 . 5 0 6 0 1 0 ;   P r e s t o p n i k   N .   R . ,   2 0 1 1 ,   C O M P   C I T   S C I   W O R K S H ;   Q U I N N   A . ,   2 0 1 1 ,   P   C H I   2 0 1 1 ;   R a d d i c k   M . ,   2 0 1 0 ,   A S T R O N O M Y   E D   R E V ,   V 9 ;   R a d d i c k   M J ,   2 0 0 9 ,   C I T I Z E N   S C I   S T A T U S   R ;   R e d m a n   T . C . ,   2 0 0 1 ,   D A T A   Q U A L I T Y   F I E L D   G ;   R o d r i g u e z   M .   A ,   2 0 0 5 ,   S I M U L A T I N G   N E T   U N P U B ;   R o d r i g u e z   M A ,   2 0 0 7 ,   P   4 0   H A W   I N T   C   S Y S T ;   R o d r i q u e z   M .   A . ,   2 0 0 4 ,   N A A C S O S   0 4   P   N   A M   A S ;   R o d r i q u e z   M .   A . ,   2 0 0 6 ,   A N A T O M Y   L A R G E   U N P U B ;   S a v a n   B . ,   2 0 0 3 ,   E N V   M A N A G E M E N T ,   V 3 1 ,   P 0 5 6 1 ;   S h e p p a r d   S . ,   2 0 1 1 ,   P   7   I N T   S   W I K   O P   C O L ,   P 2 9 ;   S i l v e r t o w n   J . ,   2 0 0 9 ,   T R E N D S   E C O L   E V O L ,   V 2 4 ,   P 2 8 3 2 ;   S u l l i v a n   B L ,   2 0 0 9 ,   B I O L   C O N S E R V ,   V 1 4 2 ,   P 2 2 8 2 ,   D O I   1 0 . 1 0 1 6 / j . b i o c o n . 2 0 0 9 . 0 5 . 0 0 6 ;   S U R O W I E C K I   J . ,   2 0 0 5 ,   W I S D O M   C R O W D S   A N C H O R ;   W a i s   P . ,   2 0 1 0 ,   P   C O M P   S O C   S C I   W I S D ;   W a n g   R .   Y . ,   1 9 9 6 ,   J o u r n a l   o f   M a n a g e m e n t   I n f o r m a t i o n   S y s t e m s ,   V 1 2 ;   W i g g i n s   A . ,   2 0 1 1 ,   4 4 T H   H A W A I I   I N T E R N A T ,   P 1 ,   D O I   [ D O I   1 0 . 1 1 0 9 / H I C S S . 2 0 1 1 . 2 0 7 ,   1 0 . 1 1 0 9 / H I C S S . 2 0 1 1 . 2 0 7 ] ;   W i g g i n s   A n d r e a ,   2 0 1 0 ,   I n t e r n a t i o n a l   J o u r n a l   o f   O r g a n i s a t i o n a l   D e s i g n   a n d   E n g i n e e r i n g ,   V 1 ,   D O I   1 0 . 1 5 0 4 / I J O D E . 2 0 1 0 . 0 3 5 1 9 1 	 4 3 	 1 	 1 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 0 6 2 - 9 2 2 X 	 	 9 7 8 - 1 - 4 6 7 3 - 1 7 1 4 - 6 	 I E E E   S Y S   M A N   C Y B E R N 	 	 	 2 0 1 2 	 	 	 	 	 	 	 9 3 1 	 9 3 6 	 	 	 	 6 	 C o m p u t e r   S c i e n c e ,   C y b e r n e t i c s ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B E J 3 3 	 W O S : 0 0 0 3 1 6 8 6 9 2 0 1 0 0 7 	 	 
 J 	 B o e t t c h e r ,   A ;   L e e ,   D 	 	 	 I E E E 	 B o e t t c h e r ,   A l e x a n d e r ;   L e e ,   D o n g m a n 	 	 	 E v e n t R a d a r :   A   R e a l - T i m e   L o c a l   E v e n t   D e t e c t i o n   S c h e m e   U s i n g   T w i t t e r   S t r e a m 	 2 0 1 2   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   G R E E N   C O M P U T I N G   A N D   C O M M U N I C A T I O N S ,   C O N F E R E N C E   O N   I N T E R N E T   O F   T H I N G S ,   A N D   C O N F E R E N C E   O N   C Y B E R ,   P H Y S I C A L   A N D   S O C I A L   C O M P U T I N G   ( G R E E N C O M   2 0 1 2 ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E / A C M   I n t e r n a t i o n a l   C o n f e r e n c e   o n   G r e e n   C o m p u t i n g   a n d   C o m m u n i c a t i o n s   ( G r e e n C o m )   /   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n t e r n e t   o f   T h i n g s   ( i T h i n g s )   /   5 t h   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C y b e r ,   P h y s i c a l   a n d   S o c i a l   C o m p u t i n g   ( C P S C o m ) 	 N O V   2 0 - 2 3 ,   2 0 1 2 	 B e s a n c o n ,   F R A N C E 	 I E E E ,   I E E E   C o m p   S o c ,   U n i v   F r a n c h e - C o m t e   ( U F C ) ,   C N R S ,   I E E E   T e c h   C o m m   S c a l a b l e   C o m p   ( T C S C ) ,   A C M ,   F E M T O - S T   S c i   a n d   T e c h n o l o g i e s 	 	 s o c i a l   n e t w o r k   s e r v i c e ;   c r o w d s o u r c i n g ;   o p p o r t u n i t y   d i s c o v e r y ;   l o c a l   e v e n t   d e t e c t i o n 	 	 T w i t t e r   h a s   b e c o m e   p o p u l a r   a m o n g   r e s e a r c h e r s   a s   a   m e a n s   t o   d e t e c t   v a r i o u s   k i n d s   o f   e v e n t s .   S e v e r a l   a t t e m p t s   w e r e   m a d e   t o   d e t e c t   t r e n d s ,   r e a l   w o r l d   e v e n t s ,   n e w s ,   e a r t h q u a k e s   a n d   o t h e r s   w i t h   s a t i s f y i n g   r e s u l t s .   H o w e v e r   t h e y   d o   n o t   p e r f o r m   w e l l   o n   f i n d i n g   l o c a l   e v e n t s   s u c h   a s   r e l e a s e   p a r t i e s ,   m u s i c i a n s   i n   a   p a r k ,   o r   a r t   e x h i b i t i o n s .   M a n y   o f   t h e   l o c a l   e v e n t s   t h a t   w e r e   f o u n d   b y   a l g o r i t h m s   o f   e x i s t i n g   w o r k   w e r e   n o t   r e l a t e d   t o   a n   e v e n t   b u t   t o   l o c a t i o n s ,   g l o b a l   e v e n t s ,   o r   j u s t   c o m m o n   w o r d s .   I n   t h i s   p a p e r ,   w e   i n t r o d u c e   E v e n t R a d a r ,   a   n o v e l   l o c a l   e v e n t   d e t e c t i o n   m e t h o d   t o   i m p r o v e   t h e   p r e c i s i o n   b y   a n a l y z i n g   s e v e n   d a y   h i s t o r i c   T w e e t   d a t a .   W e   e s t i m a t e   t h e   a v e r a g e   T w e e t   f r e q u e n c y   o f   k e y w o r d s   p e r   d a y   i n   a n d   a r o u n d   a   p o t e n t i a l   e v e n t   a r e a   a n d   u s e   t h e s e   e s t i m a t i o n s   t o   c l a s s i f y   w h e t h e r   t h e   k e y w o r d s   a r e   r e l a t e d   t o   a   l o c a l   e v e n t .   T h e   p r o p o s e d   s c h e m e   a c h i e v e s   a   p r e c i s i o n   r a t e   o f   6 8 %   w h i c h   i s   a   s i g n i f i c a n t   i m p r o v e m e n t   c o m p a r e d   t o   r e l a t e d   w o r k   t h a t   s t a t e s   a   p r e c i s i o n   r a t e   o f   2 5 . 5 % . 	 [ B o e t t c h e r ,   A l e x a n d e r ;   L e e ,   D o n g m a n ]   K o r e a   A d v   I n s t   S c i   &   T e c h n o l ,   D e p t   C o m p   S c i ,   T a e j o n   3 0 5 7 0 1 ,   S o u t h   K o r e a 	 B o e t t c h e r ,   A   ( r e p r i n t   a u t h o r ) ,   K o r e a   A d v   I n s t   S c i   &   T e c h n o l ,   D e p t   C o m p   S c i ,   T a e j o n   3 0 5 7 0 1 ,   S o u t h   K o r e a . 	 a l g u n @ k a i s t . a c . k r ;   d l e e @ k a i s t . a c . k r 	 	 	 	 	 A l l a n   J ,   1 9 9 8 ,   P   D A R P A   B R O A D C   N E W S ,   P 1 9 4 ;   B e c k e r   H . ,   2 0 1 1 ,   C O L U M B I A   U   T E C H N I C A L ,   V C U C S - 0 1 2 - 1 1 ;   B e n s o n   E . ,   2 0 1 1 ,   H L T   1 1 ,   V 1 ,   P 3 8 9 ;   C a t a l d i   M . ,   2 0 1 0 ,   M D M K D D   1 0 ,   P 4 ;   E s t e r   M ,   1 9 9 6 ,   K D D ,   V 9 6 ,   P 2 2 6 ;   J u r g e n s   D . ,   2 0 0 9 ,   E E T T S   0 9 ,   P 9 ;   K i m   T . ,   2 0 1 1 ,   S O C I A L C O M   P A S S A T ,   P 8 0 6 ;   L e e   C H ,   2 0 1 2 ,   E X P E R T   S Y S T   A P P L ,   V 3 9 ,   P 9 6 2 3 ,   D O I   1 0 . 1 0 1 6 / j . e s w a . 2 0 1 2 . 0 2 . 1 3 6 ;   L e e   R ,   2 0 1 1 ,   W O R L D   W I D E   W E B ,   V 1 4 ,   P 3 2 1 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 8 0 - 0 1 1 - 0 1 2 0 - x ;   L o n g   R ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 8 9 7 ,   P 6 5 2 ;   M a t h i o u d a k i s   M . ,   2 0 1 0 ,   S I G M O D   1 0 ,   P 1 1 5 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 0 7 1 6 7 . 1 8 0 7 3 0 6 ;   S a k a k i   T ,   2 0 1 0 ,   W W W   1 0   P   1 9   I N T   C   W O ,   P 8 5 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 7 2 6 9 0 . 1 7 7 2 7 7 7 ;   S a n k a r a n a r a y a n a n   J . ,   2 0 0 9 ,   G I S   0 9 ,   P 4 2 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 6 5 3 7 7 1 . 1 6 5 3 7 8 1 ;   W a t a n a b e   K . ,   2 0 1 1 ,   C I K M   1 1 ,   P 2 5 4 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 0 6 3 5 7 6 . 2 0 6 4 0 1 4 ;   W e n g   J . ,   2 0 1 1 ,   P   5   I N T   C   W E B L   S O C   M ;   Z h a o   S . ,   2 0 1 1 ,   C O R R ,   V a b s / 1 1 0 6 . 4 3 0 0 	 1 6 	 1 	 1 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 0 - 7 6 9 5 - 4 8 6 5 - 4 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 3 5 8 	 3 6 7 	 	 1 0 . 1 1 0 9 / G r e e n C o m . 2 0 1 2 . 5 9 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B E J 4 4 	 W O S : 0 0 0 3 1 6 9 0 5 1 0 0 0 5 0 	 	 
 J 	 X i a ,   T ;   Z h a n g ,   C ;   X i e ,   J J ;   L i ,   T 	 	 G u o ,   J 	 	 X i a ,   T a o ;   Z h a n g ,   C h u a n g ;   X i e ,   J i n g j i n g ;   L i ,   T a i 	 	 	 R E A L - T I M E   Q U A L I T Y   C O N T R O L   F O R   C R O W D S O U R C I N G   R E L E V A N C E   E V A L U A T I O N 	 P R O C E E D I N G S   O F   T H E   3 R D   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   N E T W O R K   I N F R A S T R U C T U R E   A N D   D I G I T A L   C O N T E N T   ( I E E E   I C - N I D C   2 0 1 2 ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 3 r d   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   N e t w o r k   I n f r a s t r u c t u r e   a n d   D i g i t a l   C o n t e n t .   ( I C - N I D C ) 	 S E P   2 1 - 2 3 ,   2 0 1 2 	 B e i j i n g ,   P E O P L E S   R   C H I N A 	 I E E E ,   I E E E   B e i j i n g   S e c t ,   B e i j i n g   U n i v   P o s t s   a n d   T e l e c o m m u n i c a t   ( B U P T ) ,   1 1 1   P r o j e c t   C h i n a ,   A d v   I n t e l l i g e n c e   a n d   N e t w o r k   S e r v ,   T o h o k u   U n i v ,   G l o b a l   C t r   E x c e l l e n c e   ( G C O E ) ,   C h i n e s e   U n i v   H o n g   K o n g   ( C U H K ) ,   H a n y a n g   U n i v ,   B K 2 1   P r o j e c t ,   A d v   I T   E d u c   P r o g r a m   I n d   D e m a n d ,   N o r w e g i a n   U n i v   S c i   a n d   T e c h n o l   ( N T N U ) ,   A a l b o r g   U n i v   ( A A U ) ,   C t r   T e l e i n f r a s t r u k t u r   ( C T I F ) ,   N a t   S c i   F d n   C h i n a   ( N S F C ) ,   K   C   W o n g   E d u c   F d n   H o n g   K o n g ,   C h i n e s e   A s s o c   A r t i f i c i a l   I n t e l l i g e n c e   ( C A A I ) ,   I n s t   E n g n   a n d   T e c h n o l   ( I E T ) ,   H a n y a n g   U n i v   ( H Y U ) 	 	 C r o w d s o u r c i n g ;   R e a l - t i m e ;   Q u a l i t y   c o n t r o l ;   R e l e v a n c e   a s s e s s m e n t 	 	 I n   r e c e n t   y e a r s ,   c r o w d s o u r c i n g   h a s   b e c o m e   a n   e f f e c t i v e   m e t h o d   i n   m a n y   f i e l d s ,   s u c h   a s   r e l e v a n c e   e v a l u a t i o n   o f   s e a r c h   e n g i n e   r e s u l t s .   H o w e v e r ,   t h e   p r o b l e m s   o f   b a d   w o r k e r s   a n d   q u a l i t y   c o n t r o l   a l w a y s   s t a n d   a m o n g   t h e   m a j o r   c h a l l e n g e s   w i t h i n   t h e   r e a l m .   B a s e d   o n   o u r   e x p e r i m e n t s   c a r r i e d   o u t   i n   T R E C   2 0 1 1   C r o w d s o u r c i n g   t r a c k ,   t h i s   p a p e r   d e m o n s t r a t e s   a   r e a l - t i m e   s t r a t e g y   i n   r e c r u i t i n g   w o r k e r s   a n d   m o n i t o r i n g   t h e   q u a l i t y   o f   t h e i r   r e l e v a n c e   a n d   r a n k   j u d g m e n t s .   T h e   e f f e c t i v e n e s s   o f   o u r   s t r a t e g y   h a s   b e e n   v e r i f i e d   b y   e m p i r i c a l   r e s u l t s . 	 [ X i a ,   T a o ;   Z h a n g ,   C h u a n g ;   X i e ,   J i n g j i n g ;   L i ,   T a i ]   B e i j i n g   U n i v   P o s t s   &   T e l e c o m m u n ,   P a t t e r n   R e c o g n i t   &   I n t e l l i g e n t   S y s t   L a b ,   B e i j i n g   1 0 0 8 7 6 ,   P e o p l e s   R   C h i n a 	 X i a ,   T   ( r e p r i n t   a u t h o r ) ,   B e i j i n g   U n i v   P o s t s   &   T e l e c o m m u n ,   P a t t e r n   R e c o g n i t   &   I n t e l l i g e n t   S y s t   L a b ,   B e i j i n g   1 0 0 8 7 6 ,   P e o p l e s   R   C h i n a . 	 t e r r i l y @ h o t m a i l . c o m ;   z h a n g c h u a n g @ b u p t . e d u . c n ;   x i e j i n g j i n g 1 1 3 @ g m a i l . c o m ;   L e e @ b u p t . e d u . c n 	 	 	 	 	 A l o n s o   O m a r ,   2 0 0 8 ,   A C M   S I G I R   F O R U M ,   V 4 2 ;   B r e w   A . ,   2 0 1 0 ,   P R O C   1 9 T H   E U R   C O N F   A ,   P 1 4 5 ;   D a w i d   A P ,   1 9 7 9 ,   A P P L I E D   S T A T I S T I C S ,   V 2 8 ,   P 2 0 ,   D O I   1 0 . 2 3 0 7 / 2 3 4 6 8 0 6 ;   I p e i r o t i s   P a n a g i o t i s   G . ,   2 0 1 0 ,   K D D   H C O M P   1 0   J U L   2 5 ;   P a i e m e n t   J e a n F r a n c o i s ,   2 0 1 0 ,   C R O W D C O N F   2 0 1 0   O C T   4 ;   R a y k a r   V C ,   2 0 1 0 ,   J   M A C H   L E A R N   R E S ,   V 1 1 ,   P 1 2 9 7 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   S o l e y m a n i   M . ,   2 0 1 0 ,   P   S I G I R   2 0 1 0   W O R K S H ,   P 4 ;   Z h u   D o n g q i n g ,   2 0 1 0 ,   P   A C M   S I G I R   2 0 1 0   W O R ,   P 2 1 	 9 	 1 	 1 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 6 7 3 - 2 2 0 1 - 0 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 5 3 5 	 5 3 9 	 	 	 	 5 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 B E H 2 4 	 W O S : 0 0 0 3 1 6 5 6 5 3 0 0 1 1 2 	 	 
 B 	 L i u ,   J W S ;   C h u ,   E T H ;   T s a i ,   P H 	 	 	 I E E E 	 L i u ,   J .   W .   S . ;   C h u ,   E .   T .   H . ;   T s a i ,   P .   H . 	 	 	 F u s i n g   H u m a n   S e n s o r   a n d   P h y s i c a l   S e n s o r   D a t a 	 2 0 1 2   F I F T H   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   S E R V I C E - O R I E N T E D   C O M P U T I N G   A N D   A P P L I C A T I O N S   ( S O C A ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 5 t h   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S e r v i c e - O r i e n t e d   C o m p u t i n g   a n d   A p p l i c a t i o n s   ( S O C A ) 	 D E C   1 7 - 1 9 ,   2 0 1 2 	 T a i p e i ,   T A I W A N 	 I E E E ,   I E E E   C o m p   S o c 	 N a t l   T a i w a n   U n i v 	 C r o w d s o u r c i n g ;   M u l t i p l e   s e n s o r   f u s i o n ;   S t a t i s t i c a l   e s t i m a t i o n   a n d   d e t e c t i o n 	 	 P a s t   e x p e r i e n c e s   t e l l   u s   t h a t   a   d i s a s t e r   w a r n i n g   a n d   r e s p o n s e   s y s t e m   c a n   i m p r o v e   i t s   c o v e r a g e   o f   t h e   t h r e a t e n e d   a r e a   a n d   s i t u a t i o n   a w a r e n e s s   b y   s u p p l e m e n t i n g   i n - s i t u   a n d   r e m o t e   s e n s o r   d a t a   w i t h   h u m a n   s e n s o r   d a t a   c a p t u r e d   a n d   s e n t   b y   p e o p l e   i n   t h e   a r e a .   T h i s   p a p e r   i s   c o n c e r n e d   w i t h   d a t a   f u s i o n   a n d   p r o c e s s i n g   m e t h o d s   w i t h   w h i c h   t h e   s y s t e m   c a n   m a k e   u s e   o f   h u m a n   s e n s o r   d a t a   a n d   p h y s i c a l   s e n s o r   d a t a   s y n e r g i s t i c a l l y   t o   s p e e d   u p   i t s   d e c i s i o n   p r o c e s s   o r   i m p r o v e   t h e   q u a l i t y   o f   i t s   d e c i s i o n .   W e   f o r m u l a t e   t h e   p r o b l e m   i n   a   s t a t i s t i c a l   d e t e c t i o n   a n d   e s t i m a t i o n   f r a m e w o r k .   W i t h i n   t h i s   f r a m e w o r k ,   v a l u e   a n d   d e c i s i o n   f u s i o n   o f   h u m a n   s e n s o r   a n d   p h y s i c a l   s e n s o r   d a t a   o f   a r b i t r a r y   n u m e r i c a l   v a l u e s   c a n   b e   t r e a t e d   i n   a   c o h e r e n t   w a y . 	 [ L i u ,   J .   W .   S . ]   A c a d   S i n i c a ,   I n s t   I n f o r m a t   S c i ,   T a i p e i   1 1 5 ,   T a i w a n 	 L i u ,   J W S   ( r e p r i n t   a u t h o r ) ,   A c a d   S i n i c a ,   I n s t   I n f o r m a t   S c i ,   T a i p e i   1 1 5 ,   T a i w a n . 	 j a n e l i u @ i i s . s i n i c a . e d u . t w ;   e d w a r d c h u @ y u n t e c h . e d u . t w ;   p h t s a i @ m a i l . n c k u . e d u . t w 	 	 	 	 	 A g g a r w a l   C C ,   2 0 1 1 ,   S O C I A L   N E T W O R K   D A T A   A N A L Y T I C S ,   P 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 1 - 4 4 1 9 - 8 4 6 2 - 3 ;   B e a c h   A . ,   2 0 1 1 ,   P   1 2   A C M   W O R K S H   M O B ;   B o u l o s   M .   N .   K ,   2 0 1 1 ,   I N T   J   H E A L T H   G E O G R ,   P 1 ;   B r e s l i n   J .   G . ,   2 0 0 9 ,   W 3 C   W O R K S H   F U T   S O C   N ;   C h a i r   Z . ,   1 9 8 6 ,   I E E E   T   A E R O S P A C E   E L E ,   V A E S - 2 2 ;   C h e n   E .   T .   L . ,   2 0 1 2 ,   P   W P M C   2 0 1 2   S E P T ;   C h u   E .   T . - H . ,   2 0 1 1 ,   W I T   T   B U I L D   E N V ,   V 1 1 9 ,   P 2 5 7 ;   D e m i r b a s   M u r a t ,   2 0 1 0 ,   2 0 1 0   I E E E   I n t e r n a t i o n a l   S y m p o s i u m   o n   " A   W o r l d   o f   W i r e l e s s ,   M o b i l e   a n d   M u l t i m e d i a   N e t w o r k s "   ( W o W M o M ) ,   D O I   1 0 . 1 1 0 9 / W O W M O M . 2 0 1 0 . 5 5 3 4 9 1 0 ;   F e r r e l l   J . ,   C R O W D S O U R C I N G   S N O W S T ;   N a k a m u r a   E .   F . ,   2 0 0 7 ,   A C M   C O M P U T I N G   S U R V E Y ,   V 3 9 ;   Q u a l m a n   E . ,   2 0 1 1 ,   S O C I A L   N E T W O R K   U S E R S ;   R o s i   A . ,   2 0 1 1 ,   P   P E R C O M   M A R C H ;   S a e n z   A . ,   2 0 1 1 ,   J A P A N S   N U C L   W O E S   G I V ;   T H O M O P O U L O S   S C A ,   1 9 8 7 ,   I E E E   T   A E R O   E L E C   S Y S ,   V 2 3 ,   P 6 4 4 ,   D O I   1 0 . 1 1 0 9 / T A E S . 1 9 8 7 . 3 1 0 8 5 8 ;   W a n g   D . ,   2 0 1 2 ,   P   1 1   I N T   C   I N F   P R O C ;   W a n g   D . ,   2 0 1 1 ,   P   1 4   I N T   C   I N F   F U S ;   W i l s k y   A .   S . ,   2 0 0 3 ,   S T O C A H S T I C   P R O C E S S E S ;   X i n g   G . ,   2 0 0 9 ,   P   M I B I C O M 	 1 8 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 6 7 3 - 4 7 7 5 - 4 ;   9 7 8 - 1 - 4 6 7 3 - 4 7 7 3 - 0 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 	 	 	 	 	 5 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 B E N 3 6 	 W O S : 0 0 0 3 1 7 4 6 4 0 0 0 0 0 8 	 	 
 J 	 E m e l i ,   V 	 	 	 I E E E ;   R o b o t i c s   S o c i e t y   o f   J a p a n 	 E m e l i ,   V i c t o r 	 	 	 R o b o t   L e a r n i n g   T h r o u g h   S o c i a l   M e d i a   C r o w d s o u r c i n g 	 2 0 1 2   I E E E / R S J   I N T E R N A T I O N A L   C O N F E R E N C E   O N   I N T E L L I G E N T   R O B O T S   A N D   S Y S T E M S   ( I R O S ) 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n t e l l i g e n t   R o b o t s   a n d   S y s t e m s 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 2 5 t h   I E E E \ R S J   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n t e l l i g e n t   R o b o t s   a n d   S y s t e m s   ( I R O S ) 	 O C T   0 7 - 1 2 ,   2 0 1 2 	 A l g a r v e ,   P O R T U G A L 	 I E E E   R o b o t   &   A u t o m a t   S o c   ( R A S ) ,   I E E E   I n d   E l e c t   S o c   ( I E S ) ,   R o b o t   S o c   J a p a n   ( R S J ) ,   S o c   I n s t r u m e n t   &   C o n t r o l   E n g i n e e r s   ( S I C E ) ,   N e w   t e c h n o l   F d n   ( N T F ) ,   I n s t   C o n t r o l   R o b o t   &   S y s t   ( I C R O S ) ,   I E E E ,   A d e p t   M o b i l e R o b o t s ,   W i l l o w   G a r a g e ,   A l d e b a r a n   R o b o t ,   N a t l   I n s t r u m e n t s ,   R e f l e x x e s   G m b H ,   S c h u n k   I n t e c   S   L   U 	 	 	 	 M e t h o d s   d e s i g n e d   t o   e n a b l e   r o b o t s   t o   l e a r n   o n   t h e i r   o w n   i s   a   h e a v i l y   s t u d i e d   a r e a .   I f   r o b o t s   a r e   t o   b e c o m e   a n   i n t e g r a l   p a r t   o f   o u r   s o c i e t y ,   t h e y   m u s t   p o s s e s s   t h e   a b i l i t y   t o   l e a r n   w i t h o u t   d i r e c t   g u i d a n c e   f r o m   a   d e d i c a t e d   u s e r .   R o b o t   o w n e r s   w i l l   n o t   e n j o y   t h e   d u t y   o f   t e a c h i n g   t h e i r   r o b o t   e v e r y t h i n g   i t   k n o w s .   T h e   a b i l i t y   f o r   a   r o b o t   t o   u t i l i z e   v a r i o u s   r e s o u r c e s   i n   i t s   e n v i r o n m e n t   w i l l   e n a b l e   i t s   l e a r n i n g   c a p a b i l i t i e s   t o   b e   s e l f - g u i d e d   a n d   i n d e p e n d e n t .   T h i s   p a p e r   i n v e s t i g a t e s   t h e   u s e   o f   s o c i a l   m e d i a   c r o w d s o u r c i n g   t o   a l l o w   a   r o b o t   t o   a c c e s s   t h e   v a s t   i n f o r m a t i o n   g a t h e r i n g   r e s o u r c e s   a v a i l a b l e   o n   T w i t t e r .   S p e c i f i c a l l y ,   t h e   r o b o t   w i l l   r e c o r d   a   h u m a n   p e r f o r m i n g   s i m p l e   p h y s i c a l   a c t i o n s ,   u p l o a d   t h e   v i d e o   t o   i t s   T w i t t e r   a c c o u n t ,   a n d   a s k   i t s   f o l l o w e r s   f o r   a   d e s c r i p t i o n   o f   t h e   a c t i o n s .   T h e   r e c o r d e d   p a r a m e t e r s   o f   e a c h   a c t i o n   i s   u t i l i z e d   a s   i n p u t   i n t o   a   m u l t i - c l a s s   s u p p o r t   v e c t o r   m a c h i n e   ( M C - S V M )   c l a s s i f i c a t i o n   a l g o r i t h m ,   w h i c h   w i l l   e n a b l e   t h e   r o b o t   t o   r e c o g n i z e   t h e   a c t i o n   a t   a   f u t u r e   t i m e . 	 G e o r g i a   I n s t   T e c h n o l ,   C t r   R o b o t   &   I n t e l l i g e n t   M a c h i n e s ,   A t l a n t a ,   G A   3 0 3 3 2   U S A 	 E m e l i ,   V   ( r e p r i n t   a u t h o r ) ,   G e o r g i a   I n s t   T e c h n o l ,   C t r   R o b o t   &   I n t e l l i g e n t   M a c h i n e s ,   A t l a n t a ,   G A   3 0 3 3 2   U S A . 	 v e 7 @ g a t e c h . e d u 	 	 	 	 	 A a m o d t   A . ,   1 9 9 4 ,   A I   C O M M U N I C A T I O N S ;   B r e a z e a l   C . ,   2 0 0 8 ,   P   I N T   C   R O B   A U T ;   C h a o   C . ,   2 0 1 0 ,   P   I N T   C   H U M   R O B   I N T ;   C h e r n o v a   S . ,   2 0 1 1 ,   2 0   I E E E   I N T   S   R O B   H U ;   E m e l i   V . ,   2 0 1 1 ,   2 0   I E E E   I N T   S   R O B   H U ;   G o r i n   A .   L . ,   1 9 9 7 ,   S P E E C H   C O M M U N I C A T I O N ;   G u l l a p a l l i   V . ,   1 9 9 1 ,   I E E E   I N T   S   I N T   C O N T R ;   L i s t e r   K . ,   2 0 0 3 ,   I N T   C   I N T   A G   T E C H N ;   M a v r i d i s   N . ,   2 0 0 9 ,   I N T   C   H U M   R O B   I N T ;   O r k i n   J . ,   2 0 0 7 ,   8   I N T   C   A U T   A G   M U L T ;   O r k i n   J . ,   2 0 0 7 ,   J   G A M E   D E V ;   R o s   R . ,   2 0 0 9 ,   A R T I F I C I A L   I N T E L L I G E ;   S i n g h   S . ,   2 0 0 2 ,   J   A R T I F   I N T   R E S ;   S o r o k i n   A . ,   2 0 1 0 ,   I N T   C   I N T   R O B   S Y S T ;   S t o r k   D .   G . ,   1 9 9 9 ,   I E E E   I N T E L L I G E N T   S Y S ;   S u y k e n s   J .   A .   K . ,   1 9 9 9 ,   I N T   J O I N T   C   N E U R   N E T ;   T h o m a z   A .   L . ,   2 0 0 8 ,   C O N N E C T I O N   S C I   S O C I A ;   v o n   A h n   L . ,   2 0 0 8 ,   C O M M U N I C A T I O N S   A C M ;   Y a k o w i t z   J .   S . ,   1 9 7 0 ,   I E E E   T   I N F O R M   T H E O R Y ;   Z h a n g   C h a o y a n g ,   2 0 0 6 ,   B M C   B I O I N F O R M A T I C S 	 2 0 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 2 1 5 3 - 0 8 5 8 	 	 9 7 8 - 1 - 4 6 7 3 - 1 7 3 6 - 8 	 I E E E   I N T   C   I N T   R O B O T 	 	 	 2 0 1 2 	 	 	 	 	 	 	 2 3 3 2 	 2 3 3 7 	 	 	 	 6 	 A u t o m a t i o n   &   C o n t r o l   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   R o b o t i c s 	 A u t o m a t i o n   &   C o n t r o l   S y s t e m s ;   C o m p u t e r   S c i e n c e ;   R o b o t i c s 	 B E K 2 1 	 W O S : 0 0 0 3 1 7 0 4 2 7 0 2 1 3 7 	 	 
 J 	 S o r o u r ,   S ;   L o s t a n l e n ,   Y ;   V a l a e e ,   S 	 	 	 I E E E 	 S o r o u r ,   S a m e h ;   L o s t a n l e n ,   Y v e s ;   V a l a e e ,   S h a h r o k h 	 	 	 R e d u c e d - E f f o r t   G e n e r a t i o n   o f   I n d o o r   R a d i o   M a p s   u s i n g   C r o w d s o u r c i n g   a n d   M a n i f o l d   A l i g n m e n t 	 2 0 1 2   S I X T H   I N T E R N A T I O N A L   S Y M P O S I U M   O N   T E L E C O M M U N I C A T I O N S   ( I S T ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 6 t h   I n t e r n a t i o n a l   S y m p o s i u m   o n   T e l e c o m m u n i c a t i o n s   ( I S T )   w i t h   E m p h a s i s   o n   I n f o r m a t i o n   a n d   C o m m u n i c a t i o n   T e c h n o l o g y 	 N O V   0 6 - 0 8 ,   2 0 1 2 	 T e h r a n ,   I R A N 	 I T R C ,   M i n i s t   I n f o r m a t   &   C o m m u n   T e c h n o l ,   I E E E   I r a n   S e c t ,   I A E E E 	 I C T   R e s   I n s t 	 I n d o o r   R a d i o   M a p s ;   T r a n s f e r   L e a r n i n g ;   R a d i o   P r o p a g a t i o n   M o d e l s ;   M a n i f o l d   A l i g n m e n t 	 L O C A T I O N   E S T I M A T I O N 	 C o n s t r u c t i n g   r a d i o   m a p s   f o r   i n d o o r   e n v i r o n m e n t s   u s i n g   e i t h e r   m e a s u r e m e n t s   o r   s i g n a l   p r o p a g a t i o n   m o d e l s   s u f f e r s   f r o m   e x t e n s i v e   w o r k   l o a d s   a n d / o r   s i g n i f i c a n t   r a d i o   m a p   i n a c c u r a c i e s .   I n   t h i s   p a p e r ,   w e   p r o p o s e   a   W i - F i   r a d i o   m a p   g e n e r a t i o n   a n d   u p d a t e   s o l u t i o n   i n   i n d o o r   e n v i r o n m e n t s   u s i n g   a   p r o p a g a t i o n   m o d e l i n g   s i m u l a t o r ,   a   l i m i t e d   n u m b e r   o f   l a b e l e d   c a l i b r a t i o n   f i n g e r p r i n t s   a n d   m a n y   c r o w d s o u r c e d   u n l a b e l e d   m e a s u r e m e n t s ,   u s i n g   m a n i f o l d   a l i g n m e n t .   T h i s   s e m i - s u p e r v i s e d ,   d i m e n s i o n a l i t y   r e d u c t i o n   t r a n s f e r   l e a r n i n g   m e t h o d   e s t i m a t e s   t h e   l o c a t i o n   o f   u n l a b e l e d   c r o w d s o u r c e d   r a d i o   s i g n a l   o b s e r v a t i o n s   b y   a l i g n i n g   t h e m   w i t h   t h e   c a l i b r a t i o n   f i n g e r p r i n t s   a n d   t h e   s i m u l a t e d   r a d i o   m a p   i n   a   l o w - d i m e n s i o n a l   s p a c e .   I t   t h u s   r e d u c e s   t h e   c a l i b r a t i o n   c o s t   a n d   c a n   b e   e a s i l y   d e p l o y e d   i n   a n y   i n d o o r   e n v i r o n m e n t   g i v e n   i t s   f l o o r   p l a n   a n d   f e w   c a l i b r a t i o n   f i n g e r p r i n t s .   I n   a d d i t i o n   t o   s i m p l e   d e p l o y m e n t ,   o u r   s o l u t i o n   c a n   e a s i l y   r e - c o n s t r u c t   n e w   r a d i o   m a p s   i n   c a s e s   o f   c h a n g e s   i n   t i m e ,   d e v i c e   o r   f l o o r   p l a n s ,   w h i c h   s i g n i f i c a n t l y   r e d u c e s   t h e   l a r g e   r e - c a l i b r a t i o n   l o a d .   T e s t i n g   r e s u l t s   s h o w   t h a t   t h e   p r o p o s e d   s o l u t i o n   c a n   a c h i e v e   a s   l o w   a s   6 . 4   t o   6   d B m   r o o t   m e a n   s q u a r e   e r r o r   i n   r a d i o   s i g n a l   e s t i m a t i o n   w i t h   1 5   %   t o   3 0   %   o f   t h e   f u l l   f i n g e r p r i n t i n g   l o a d . 	 [ S o r o u r ,   S a m e h ;   V a l a e e ,   S h a h r o k h ]   U n i v   T o r o n t o ,   D e p t   E l e c t   &   C o m p   E n g ,   T o r o n t o ,   O N   M 5 S   1 A 1 ,   C a n a d a 	 S o r o u r ,   S   ( r e p r i n t   a u t h o r ) ,   U n i v   T o r o n t o ,   D e p t   E l e c t   &   C o m p   E n g ,   T o r o n t o ,   O N   M 5 S   1 A 1 ,   C a n a d a . 	 s a m e h s o r o u r @ c o m m . u t o r o n t o . c a ;   y l o s t a n l e n @ s i r a d e l . c o m ;   v a l a e e @ c o m m . u t o r o n t o . c a 	 	 	 	 	 B a h l   P . ,   2 0 0 0 ,   I N F O C O M   0 0 ;   C h i n t a l a p u d i   K . ,   2 0 1 0 ,   1 6   A C M   I N T   C   M O B   C O M ,   P 1 7 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 5 9 9 9 5 . 1 8 6 0 0 1 6 ;   C o r r e   Y . ,   2 0 0 9 ,   I E E E   T   V E H I C U L A R   S E P ;   D e a s y   T P ,   2 0 0 7 ,   W I R E L E S S   P E R S   C O M M U N ,   V 4 2 ,   P 5 6 3 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 7 7 - 0 0 6 - 9 2 1 1 - x ;   F e n g   C . ,   2 0 1 1 ,   I E E E   T   M O B I L E   C O M P U T ,   P 1 ;   H a m   J ,   2 0 0 4 ,   1 0   I N T   W O R K S H   A R T   I N ;   J i   Y . ,   2 0 0 6 ,   P   I E E E   M O B I S Y S   C   J U N ,   V 2 ,   P 1 5 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 1 3 4 6 8 0 . 1 1 3 4 6 9 7 ;   K r i s h n a n   P ,   2 0 0 4 ,   I E E E   I N F O C O M   S E R ,   P 1 0 0 1 ;   N i   L . ,   2 0 0 3 ,   I E E E   I N T   C   P E R V   C O M P ,   P 4 0 7 ;   S a u l   L ,   2 0 0 0 ,   I N T R O   L O C A L L Y   L I N E A R ;   S u n   Z ,   2 0 0 8 ,   S E V E N T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M A C H I N E   L E A R N I N G   A N D   A P P L I C A T I O N S ,   P R O C E E D I N G S ,   P 3 3 1 ,   D O I   1 0 . 1 1 0 9 / I C M L A . 2 0 0 8 . 5 3 ;   Y i n   J ,   2 0 0 8 ,   I E E E   T   M O B I L E   C O M P U T ,   V 7 ,   P 8 6 9 ,   D O I   1 0 . 1 1 0 9 / T M C . 2 0 0 7 . 7 0 7 6 4 	 1 2 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 6 7 3 - 2 0 7 3 - 3 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 3 5 4 	 3 5 8 	 	 	 	 5 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 B E S 8 9 	 W O S : 0 0 0 3 1 7 9 7 4 7 0 0 0 6 9 	 	 
 B 	 O c h a r a ,   N M ;   A s m e l a s h ,   D ;   M l a y ,   S 	 	 S o l i m a n ,   K S 	 	 O c h a r a ,   N i x o n   M u g a n d a ;   A s m e l a s h ,   D a w i t ;   M l a y ,   S a m a l i 	 	 	 G r o u p   T h i n k   D e c i s i o n   M a k i n g   D e f i c i e n c y   i n   t h e   R e q u i r e m e n t s   E n g i n e e r i n g   P r o c e s s :   T o w a r d s   a   C r o w d s o u r c i n g   M o d e l 	 I N N O V A T I O N   V I S I O N   2 0 2 0 :   S U S T A I N A B L E   G R O W T H ,   E N T R E P R E N E U R S H I P ,   A N D   E C O N O M I C   D E V E L O P M E N T ,   V O L S   1 - 4 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 9 t h   I n t e r n a t i o n a l - B u s i n e s s - I n f o r m a t i o n - M a n a g e m e n t - A s s o c i a t i o n   C o n f e r e n c e 	 N O V   1 2 - 1 3 ,   2 0 1 1 	 B a r c e l o n a ,   S P A I N 	 I n t   B u s i n e s s   I n f o r m a t   M a n a g e m e n t   A s s o c 	 	 C r o w d s o u r c i n g ;   R e q u i r e m e n t s   E n g i n e e r i n g ;   G r o u p   T h i n k   i n   I T 	 S Y S T E M S ;   C O H E S I V E N E S S ;   S T E R E O T Y P E S ;   R E A L I S M 	 W e   m a k e   a n   a r g u m e n t   t h a t   r e q u i r e m e n t s   e n g i n e e r i n g ,   a s   a   p r i m e r   t o   i n f o r m a t i o n   t e c h n o l o g y   d e p l o y m e n t   i n   o r g a n i z a t i o n s ,   i s   l a r g e l y   f a i l i n g   b e c a u s e   d e c i s i o n   m a k i n g   i n   t h e   r e q u i r e m e n t s   e n g i n e e r i n g   ( R E )   p r o c e s s   e m p a t h i z e s   w i t h   t h e   e t h o s   o f   ' g r o u p   t h i n k ' ,   a n   i n e f f i c i e n t   d e c i s i o n   m a k i n g   m o d e l .   W e   m a k e   t h i s   a r g u m e n t   f r o m   t h e   p r e m i s e   t h a t   t e c h n o l o g i c a l   a r t i f a c t s   t h a t   g e t   i n s c r i b e d   w i t h i n   o r g a n i z a t i o n a l   c u l t u r e   a n d   d e s i g n   d o   s o   t h r o u g h   a n   i n i t i a l   p r o c e s s   t h a t   i n v o l v e s   p r i o r i t i z a t i o n ,   w h i c h   i n   i t s e l f   i s   t h e o r i z e d   a s   a n   o u t c o m e   o f   o r g a n i z a t i o n a l   d i s c o u r s e .   W e   d r a w   o n   c r i t i c a l   r e a l i s m ' s   r e t r o d u c t i v e   a p p r o a c h   a n d   t h e   p r a c t i c e   o f   ' g r o u p   t h i n k '   f o r   g r o u n d i n g   c r o w d s o u r c i n g   i n   I T   p r o j e c t   p r i o r i t i z a t i o n .   O u r   c h o i c e   o f   c r o w d s o u r c i n g   a s   a   r e m e d y   f o r   i n e f f i c i e n c i e s   i n   I T   P r o j e c t   p r i o r i t i z a t i o n   i s   d e l i b e r a t e :   i t   e l e v a t e s   t h e   n o t i o n   o f   g r o u p   t h i n k   a s   a   t h e o r e t i c a l   l e n s ;   a n d   i s   i n   l i n e   w i t h   t h e   p o s i t i o n i n g   o f   o r g a n i z a t i o n a l   d e c i s i o n   m a k i n g   a s   d e l i b e r a t e l y   c o n s t i t u t i v e   a n d   r e p r e s e n t a t i v e   o f   s t a k e h o l d e r   i n t e r e s t s .   H o w e v e r ,   w e   r e m a i n   a t t e n t i v e   g u a r d   a g a i n s t   u t o p i a n i s m ,   b u t   s t i l l   m a k e   t h e   c l a i m   t h a t   c r o w d s o u r c i n g   p r o v i d e s   u s   w i t h   s o m e   t r a c t i o n   f o r   s e e k i n g   a l t e r n a t i v e s   t h a t   c a n   l e a d   t o   a   r e - i n v i g o r a t i o n   i n   R E   r e s e a r c h   f o r   e f f e c t i v e   p r a c t i c e s   i n   I T   p r o j e c t s .   T h e   a n a l y s e s   l i n k s   R E   d e c i s i o n   m a k i n g   d e f i c i e n c y   t o   t h e   p r e v a l e n c e   o f   O r g a n i z a t i o n a l   R e s i s t a n c e ,   T e c h n i c a l   I n c o m p e t e n c e ,   L a c k   o f   a   M o r a l   a n d   E t h i c a l   C o d e   a n d   I n a p p r o p r i a t e   L e a d e r s h i p   f o r   C r e a t i v i t y . 	 [ O c h a r a ,   N i x o n   M u g a n d a ;   A s m e l a s h ,   D a w i t ]   U n i v   P r e t o r i a ,   D e p t   I n f o r m a t ,   Z A - 0 0 0 2   P r e t o r i a ,   S o u t h   A f r i c a 	 	 n i x o n . m u g a n d a @ u p . a c . z a ;   d a w i t . a s m e l a s h @ u p . a c . z a ;   s a m a l i m l a y @ g m a i l . c o m 	 	 	 	 	 A m a b i l e   T e r e s a   M . ,   2 0 0 8 ,   H A R V A R D   B U S I N E S S   R E V ;   A r c h e r   M . ,   1 9 9 8 ,   C R I T I C A L   R E A L I S M   E S S ;   A r c h e r   M a r g a r e t   S . ,   1 9 9 5 ,   R E A L I S T   S O C I A L   T H E O R ;   A u r u m   A ,   2 0 0 5 ,   E N G I N E E R I N G   A N D   M A N A G I N G   S O F T W A R E   R E Q U I R E M E N T S ,   P 1 ,   D O I   1 0 . 1 0 0 7 / 3 - 5 4 0 - 2 8 2 4 4 - 0 _ 1 ;   B a r k e r   J R ,   2 0 0 5 ,   O R G A N I Z A T I O N ,   V 1 2 ,   P 7 8 7 ,   D O I   1 0 . 1 1 7 7 / 1 3 5 0 5 0 8 4 0 5 0 5 5 9 4 9 ;   B h a s k a r   R . ,   1 9 8 9 ,   R E C L A I M I N G   R E A L I T Y   C ;   B l a i k i e   N ,   1 9 9 3 ,   A P P R O A C H E S   S O C I A L   E N ;   B o n a c c o r s i   A . ,   2 0 0 4 ,   1   M O N D A Y ,   V 9 ,   P 9 ;   B r a b h a m   D .   C . ,   2 0 0 8 ,   I N T   J   R E S   N E W   M E D I A ,   V 1 4 ,   P 7 5 ,   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B r a y   I . ,   2 0 0 2 ,   I N T R O   R E Q U I R E M E N T S   E ;   C A L L A W A Y   M R ,   1 9 8 4 ,   S O C   B E H A V   P E R S O N A L ,   V 1 2 ,   P 1 5 7 ;   C h e c k l a n d   P B ,   1 9 8 1 ,   S Y S T E M S   T H I N K I N G   S Y S ;   C h e n e y   G . ,   2 0 0 5 ,   E N G A G I N G   O R G   C O M M U N I ,   P 5 5 ;   C u d d y   A J C ,   2 0 0 7 ,   J   P E R S   S O C   P S Y C H O L ,   V 9 2 ,   P 6 3 1 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 9 2 . 4 . 6 3 1 ;   D a n e r m a r k   B . ,   2 0 0 2 ,   E X P L A I N I N G   S O C   C R I T I ;   D e l a n t y   G . ,   1 9 9 7 ,   S O C I A L   S C I   C O N S T R U C T ;   D o b s o n   P J ,   2 0 0 1 ,   I N F O R M   S Y S T   F R O N T ,   V 3 ,   P 1 9 9 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 1 1 4 9 5 4 2 4 9 5 8 ;   D o h e r t y   N F ,   1 9 9 8 ,   B E H A V   I N F O R M   T E C H N O L ,   V 1 7 ,   P 4 1 ,   D O I   1 0 . 1 0 8 0 / 0 1 4 4 9 2 9 9 8 1 1 9 6 6 1 ;   D R I S K E L L   J E ,   1 9 9 1 ,   J   A P P L   P S Y C H O L ,   V 7 6 ,   P 4 7 3 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 1 - 9 0 1 0 . 7 6 . 3 . 4 7 3 ;   F a i r c l o u g h   N ,   2 0 0 5 ,   O R G A N   S T U D ,   V 2 6 ,   P 9 1 5 ,   D O I   1 0 . 1 1 7 7 / 0 1 7 0 8 4 0 6 0 5 0 5 4 6 1 0 ;   G e o r g e   J .   M . ,   2 0 0 8 ,   U N D E R S T A N D I N G   M A N A G I ;   H a b e r m a s   J u r g e n ,   1 9 8 7 ,   T H E O R Y   C O M M U N I C A T I V E ,   V T w o ;   H o m b u r g   C ,   2 0 1 1 ,   J   A C A D   M A R K E T   S C I ,   V 3 9 ,   P 6 6 4 ,   D O I   1 0 . 1 0 0 7 / s 1 1 7 4 7 - 0 1 0 - 0 2 3 3 - 2 ;   H u g h e s   R .   L . ,   1 9 9 3 ,   L E A D E R S H I P   E N H A N C I N G ;   J a c k s o n   P .   R . ,   2 0 0 8 ,   M A N A G E M E N T   R E S ;   J a n i s   I . L . ,   1 9 7 2 ,   V I C T I M S   G R O U P T H I N K ;   K a y s e r   T .   A . ,   1 9 9 4 ,   T E A M   P O W E R ;   K r u e g e r   J I ,   2 0 0 8 ,   G R O U P   P R O C E S S   I N T E R G ,   V 1 1 ,   P 4 0 1 ,   D O I   1 0 . 1 1 7 7 / 1 3 6 8 4 3 0 2 0 8 0 9 2 5 4 2 ;   K u l k   G P ,   2 0 0 8 ,   S C I   C O M P U T   P R O G R A M ,   V 7 2 ,   P 1 3 6 ,   D O I   1 0 . 1 0 1 6 / j . s c i c o . 2 0 0 8 . 0 4 . 0 0 3 ;   L a c l a u   E . ,   1 9 8 5 ,   H E G E M O N Y   S O C I A L I S T   S ;   L a w s o n   T ,   1 9 9 7 ,   E C   R E A L I T Y ;   L a y d e r   D . ,   1 9 9 8 ,   S O C I O L O G I C A L   P R A C T I C ;   L a y d e r   D . ,   1 9 9 3 ,   N E W   S T R A T E G I E S   S O C I A ;   L E A N A   C R ,   1 9 8 5 ,   J   M A N A G E ,   V 1 1 ,   P 5 ,   D O I   1 0 . 1 1 7 7 / 0 1 4 9 2 0 6 3 8 5 0 1 1 0 0 1 0 2 ;   L e h t o l a   L ,   2 0 0 9 ,   R E Q U I R   E N G ,   V 1 4 ,   P 1 1 3 ,   D O I   1 0 . 1 0 0 7 / s 0 0 7 6 6 - 0 0 9 - 0 0 7 8 - 8 ;   L e w i s   P ,   2 0 0 0 ,   J   T H E O R   S O C   B E H A V ,   V 3 0 ,   P 2 4 9 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 8 - 5 9 1 4 . 0 0 1 2 9 ;   L i u   A n n   Z h o n g ,   2 0 0 9 ,   B u s i n e s s   P r o c e s s   M a n a g e m e n t   J o u r n a l ,   V 1 5 ,   D O I   1 0 . 1 1 0 8 / 1 4 6 3 7 1 5 0 9 1 0 9 8 7 9 2 8 ;   L o p e z   J . ,   2 0 0 1 ,   P O S T M O D E R M I S M   I N T R O ,   P 8 6 ;   L u n e n b u r g   F . C . ,   2 0 1 0 ,   I N T   J   M A N A G E M E N T   B U S ,   V 1 3 ,   P 1 ;   M a u   B r u c e ,   2 0 0 4 ,   M A S S I V E   C H A N G E ;   M c N a m a r a   C . ,   2 0 0 2 ,   O R G   C H A N G E   M A N A G E M E N ;   M i n g e r s   J ,   2 0 0 6 ,   J   O P E R   R E S   S O C ,   V 5 7 ,   P 2 0 2 ,   D O I   1 0 . 1 0 5 7 / p a l g r a v e . j o r s . 2 6 0 1 9 8 0 ;   M I R A N D A   S M ,   1 9 9 4 ,   S M A L L   G R   R E S ,   V 2 5 ,   P 1 0 5 ,   D O I   1 0 . 1 1 7 7 / 1 0 4 6 4 9 6 4 9 4 2 5 1 0 0 7 ;   M o o r h e a d   G . ,   1 9 9 1 ,   H U M   R E L A T ,   V 4 4 ,   P 5 3 1 ;   P a l m e r   B . ,   2 0 0 4 ,   Q u a l i t y   P r o g r e s s ,   V 3 7 ;   P a t w a r d h a n   A n j a l i ,   2 0 0 8 ,   I n t   J   H e a l t h   C a r e   Q u a l   A s s u r ,   V 2 1 ,   P 2 8 9 ,   D O I   1 0 . 1 1 0 8 / 0 9 5 2 6 8 6 0 8 1 0 8 6 8 2 2 9 ;   Q u i n n   R E ,   1 9 9 0 ,   B E C O M I N G   M A S T E R   M A N A ;   R u h e   G . ,   2 0 0 2 ,   P   1 4   I N T   C   S O F T W   E N G ,   D O I   [ 1 0 . 1 1 4 5 / 5 6 8 7 6 0 . 5 6 8 7 8 9 ,   D O I   1 0 . 1 1 4 5 / 5 6 8 7 6 0 . 5 6 8 7 8 9 ] ;   S a y e r   A . ,   2 0 0 0 ,   R E A L I S M   S O C I A L   S C I ;   S e w e l l   G . ,   2 0 0 1 ,   E t h i c s   a n d   I n f o r m a t i o n   T e c h n o l o g y ,   V 3 ;   S h a h   S K ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 1 0 0 0 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 5 3 ;   S h a r m a   S ,   2 0 0 2 ,   I N F O R M   S Y S T   J ,   V 1 2 ,   P 7 ,   D O I   1 0 . 1 0 4 6 / j . 1 3 6 5 - 2 5 7 5 . 2 0 0 2 . 0 0 1 1 6 . x ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   T e r r a n o v a   T i z i a n a ,   2 0 0 4 ,   N E T W O R K   C U L T U R E   P O L I ;   T r i g g   A B ,   2 0 0 1 ,   J   E C O N   I S S U E S ,   V 3 5 ,   P 9 9 ;   T u r n e r   M E ,   1 9 9 8 ,   O R G A N   B E H A V   H U M   D E C ,   V 7 3 ,   P 1 0 5 ,   D O I   1 0 . 1 0 0 6 / o b h d . 1 9 9 8 . 2 7 5 6 ;   W a l s h   I ,   2 0 1 0 ,   J   S T R A T E G I C   I N F   S Y S T ,   V 1 9 ,   P 2 5 7 ,   D O I   1 0 . 1 0 1 6 / j . j s i s . 2 0 1 0 . 0 9 . 0 0 2 ;   W h i t l a   P . ,   2 0 0 9 ,   C O N T   M A N A G E M E N T   R E S ,   V 5 ,   P 1 5 	 5 8 	 0 	 0 	 I N T   B U S I N E S S   I N F O R M A T I O N   M A N A G E M E N T   A S S O C - I B I M A 	 N O R R I S T O W N 	 3 4   E   G E R M A N T O W N   P I K E ,   N O .   3 2 7 ,   N O R R I S T O W N ,   P A   1 9 4 0 1   U S A 	 	 	 9 7 8 - 0 - 9 8 2 1 4 8 9 - 8 - 3 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 1 6 5 4 	 1 6 7 4 	 	 	 	 2 1 	 E c o n o m i c s ;   M a n a g e m e n t ;   P l a n n i n g   &   D e v e l o p m e n t 	 B u s i n e s s   &   E c o n o m i c s ;   P u b l i c   A d m i n i s t r a t i o n 	 B E O 2 5 	 W O S : 0 0 0 3 1 7 5 4 9 7 0 1 0 4 5 	 	 
 B 	 Y u ,   Z Y ;   Z h a n g ,   D Q ;   Y a n g ,   D Q ;   C h e n ,   G L 	 	 	 I E E E 	 Y u ,   Z h i y o n g ;   Z h a n g ,   D a q i n g ;   Y a n g ,   D i n g q i ;   C h e n ,   G u o l o n g 	 	 	 S e l e c t i n g   t h e   B e s t   S o l v e r s :   t o w a r d   C o m m u n i t y   b a s e d   C r o w d s o u r c i n g   f o r   D i s a s t e r   M a n a g e m e n t 	 2 0 1 2   I E E E   A S I A - P A C I F I C   S E R V I C E S   C O M P U T I N G   C O N F E R E N C E   ( A P S C C ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 7 t h   I E E E   A s i a - P a c i f i c   S e r v i c e s   C o m p u t i n g   C o n f e r e n c e   ( A P S C C ) 	 D E C   0 6 - 0 8 ,   2 0 1 2 	 G u i l i n ,   P E O P L E S   R   C H I N A 	 I E E E   C o m p   S o c ,   I E E E 	 H u a z h o n g   U n i v   S c i   &   T e c h n o l 	 c o m m u n i t y   b a s e d   c r o w d s o u r c i n g ;   s o c i a l   a w a r e n e s s ;   d i s a s t e r   m a n a g e m e n t ;   c o m m u n i t y   c r e a t i o n 	 G E O G R A P H I C   I N F O R M A T I O N ;   S Y S T E M S ;   W E B 	 C r o w d s o u r c i n g   i s   a   n e w   p a r a d i g m   o f   s e r v i c e   p r o v i s i o n .   C u r r e n t   c o m m e r c i a l   c r o w d s o u r c i n g   p l a t f o r m s   r a r e l y   c o n s i d e r   t h e   i n t e r a c t i o n   b e t w e e n   t a s k   t a k e r s ,   w h i c h   i s   e x t r e m e l y   r e q u i r e d   i n   t h e   d i s a s t e r   m a n a g e m e n t   s c e n a r i o .   I n   t h i s   p a p e r ,   w e   d e s i g n e d   a   f r a m e w o r k   f o r   c o m m u n i t y   b a s e d   c r o w d s o u r c i n g ,   i . e . ,   t a s k   t a k e r s   a r e   f r o m   a n   e x i s t i n g   c o m m u n i t y   o r   w i l l   e a s i l y   f o r m   a   n e w   c o m m u n i t y .   A   s i z e - s p e c i f i e d   c o m m u n i t y   c r e a t i o n   m e t h o d   u s i n g   m u l t i p l e   s o c i a l   c o n t e x t s   i s   a l s o   p r o p o s e d . 	 [ Y u ,   Z h i y o n g ;   C h e n ,   G u o l o n g ]   F u z h o u   U n i v ,   C o l l   M a t h   &   C o m p   S c i ,   F u z h o u ,   P e o p l e s   R   C h i n a 	 Y u ,   Z Y   ( r e p r i n t   a u t h o r ) ,   F u z h o u   U n i v ,   C o l l   M a t h   &   C o m p   S c i ,   F u z h o u ,   P e o p l e s   R   C h i n a . 	 z h i y o n g . y u @ t e l e c o m - s u d p a r i s . e u ;   d a q i n g . z h a n g @ t e l e c o m - s u d p a r i s . e u ;   d i n g q i . y a n g @ t e l e c o m - s u d p a r i s . e u ;   c g l @ f z u . e d u . c n 	 	 	 	 	 A i r o l d i   E M ,   2 0 0 8 ,   J   M A C H   L E A R N   R E S ,   V 9 ,   P 1 9 8 1 ;   B E R N E R S - L E E   T . ,   2 0 0 9 ,   L I N K E D   D A T A ;   C h a o r d i x . c o m ,   2 0 1 0 ,   8   P R I N C   S U C C   C R O W D S ;   D a q i n g   Z . ,   2 0 1 1 ,   I E E E   3   I N T   C   S O C   C O M ,   P 5 0 9 ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   E s t e l l e s - A r o l a s   E ,   2 0 1 2 ,   J   I N F   S C I ,   V 3 8 ,   P 1 8 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 2 4 3 7 6 3 8 ;   G a o   H . ,   2 0 1 1 ,   P   4   I N T   C   S O C   C O M P   B ;   G a o   X .   A . ,   2 0 1 2 ,   Q U A L I T Y   E X P E C T A T I O N ;   G o o d c h i l d   M F ,   2 0 1 0 ,   I N T   J   D I G I T   E A R T H ,   V 3 ,   P 2 3 1 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 1 0 0 3 7 5 9 2 5 5 ;   H e i m e r l   K . ,   C H I   2 0 1 2 ,   P 1 5 3 9 ;   H e i n z e l m a n   J . ,   2 0 1 0 ,   U S I P   S P E C I A L   R E P O R T S ;   H o f f   P D ,   2 0 0 2 ,   J   A M   S T A T   A S S O C ,   V 9 7 ,   P 1 0 9 0 ,   D O I   1 0 . 1 1 9 8 / 0 1 6 2 1 4 5 0 2 3 8 8 6 1 8 9 0 6 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ;   H u b e r m a n   B .   A . ,   2 0 0 8 ,   A R X I V 0 8 1 2 1 0 4 5 V 1 ;   H u i j i   G a o ,   2 0 1 1 ,   I E E E   I n t e l l i g e n t   S y s t e m s ,   V 2 6 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 1 1 . 5 2 ;   J a n i s   I . L . ,   1 9 7 2 ,   V I C T I M S   G R O U P T H I N K   P ;   K i t t u r   A ,   2 0 0 8 ,   C S C W :   2 0 0 8   A C M   C O N F E R E N C E   O N   C O M P U T E R   S U P P O R T E D   C O O P E R A T I V E   W O R K ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 3 7 ;   L a n e   N D ,   2 0 1 2 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 6 ,   P 6 0 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 1 2 . 4 8 ;   L u k o w i c z   P ,   2 0 1 2 ,   I E E E   P E R V A S   C O M P U T ,   V 1 1 ,   P 3 2 ,   D O I   1 0 . 1 1 0 9 / M P R V . 2 0 1 1 . 8 2 ;   L u x b u r g   U . ,   2 0 0 7 ,   S T A T   C O M P U T ,   V 1 7 ,   P 3 9 5 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 1 2 2 2 - 0 0 7 - 9 0 3 3 - Z ;   M a n - C h i n g   Y . ,   2 0 1 1 ,   2 0 1 1   I E E E   3   I N T   C   S O ,   P 7 6 6 ;   N e i s   P . ,   G E O S P   C R O S S R   G I   F O R ;   N e w m a n   M E J ,   2 0 0 6 ,   P H Y S   R E V   E ,   V 7 4 ,   D O I   1 0 . 1 1 0 3 / P h y s R e v E . 7 4 . 0 3 6 1 0 4 ;   N e w s a m   S ,   2 0 1 0 ,   I E E E   M U L T I M E D I A ,   V 1 7 ,   P 3 6 ,   D O I   1 0 . 1 1 0 9 / M M U L . 2 0 1 0 . 7 9 ;   O r t m a n n   J . ,   2 0 1 1 ,   P   T E R R   C O G N   1 0   I N T   S ;   P u a h   C . ,   2 0 1 1 ,   I N T   C   R E S   I N N   I N F   S Y ,   P 1 ;   Q u i n n   A . J . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 1 4 0 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 9 1 4 8 ;   R o c h e   S . ,   G E O J O U R N A L ,   P 1 ;   S o t i r i a d i s   S . ,   2 0 1 0 ,   2   I N T   C   I N T   N E T W   C O L ,   P 4 9 6 ,   D O I   1 0 . 1 1 0 9 / I N C O S . 2 0 1 0 . 4 4 ;   T A N G   J C ,   1 9 9 1 ,   I N T   J   M A N   M A C H   S T U D ,   V 3 4 ,   P 1 4 3 ,   D O I   1 0 . 1 0 1 6 / 0 0 2 0 - 7 3 7 3 ( 9 1 ) 9 0 0 3 9 - A ;   T u r n e r   M E ,   1 9 9 8 ,   O R G A N   B E H A V   H U M   D E C ,   V 7 3 ,   P 1 0 5 ,   D O I   1 0 . 1 0 0 6 / o b h d . 1 9 9 8 . 2 7 5 6 ;   v o n   A h n   L ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 1 ,   P 1 4 6 5 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 0 3 7 9 ;   V u k o v i c   M ,   2 0 0 9 ,   2 0 0 9   I E E E   C O N G R E S S   O N   S E R V I C E S   ( S E R V I C E S - 1   2 0 0 9 ) ,   V O L S   1   A N D   2 ,   P 6 8 6 ,   D O I   1 0 . 1 1 0 9 / S E R V I C E S - I . 2 0 0 9 . 5 6 ;   Y u e   P . ,   2 0 1 1 ,   I N T   C   C O L L   T E C H N   S Y S ,   P 3 9 7 ;   Y u e n   M .   C . ,   2 0 0 9 ,   I N T   C   C O M P   S C I   E N G 	 3 5 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 0 - 7 6 9 5 - 4 8 9 7 - 5 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 2 7 1 	 2 7 7 	 	 1 0 . 1 1 0 9 / A P S C C . 2 0 1 2 . 2 0 	 	 7 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B E K 9 2 	 W O S : 0 0 0 3 1 7 1 3 9 1 0 0 0 3 4 	 	 
 B 	 C o n s o l i ,   D ;   R i m i n u c c i ,   C 	 	 B r a t i a n u ,   C ;   B r a t u c u ,   G ;   L i x a n d r o i u ,   D ;   P o p ,   N A ;   V a d u v a ,   S 	 	 C o n s o l i ,   D o m e n i c o ;   R i m i n u c c i ,   C l i z i a 	 	 	 T H E   I N T E R A C T I V E   A N D   I N N O V A T I V E   U S E   O F   S O C I A L   N E T W O R K S   I N   E N T E R P R I S E S   2 . 0 	 B U S I N E S S   E X C E L L E N C E   C H A L L E N G E S   D U R I N G   T H E   E C O N O M I C   C R I S I S ,   V O L   1 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 7 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   B u s i n e s s   E x c e l l e n c e 	 O C T   1 2 - 1 3 ,   2 0 1 2 	 B r a s o v ,   R O M A N I A 	 A c a d   E c o n o m   S t u d i e s ,   T r a n s i l v a n i a   U n i v   B r a s o v ,   U n i v   A k r o n ,   S o c   B u s i n e s s   E x c e l l e n c e 	 	 w e b   2 . 0 ;   e n t e r p r i s e   2 . 0 ;   c r o w d s o u r c i n g ;   b r a n d ;   s o c i a l   m a r k e t i n g 	 	 N o w a d a y s   a n   e n t e r p r i s e ,   e v e n   w i t h   f e w   f i n a n c i a l   r e s o u r c e s ,   c a n   u s e ,   i n   a n   e f f i c i e n t   a n d   e f f e c t i v e   m o d a l i t y ,   s o c i a l   m e d i a   t o   r e a c h   b u s i n e s s   g o a l s   a n d   t o   s a t i s f y   c u s t o m e r s .   F o r   s o l v i n g   t e c h n i c a l   o r   c r e a t i v e   p r o b l e m s ,   t o   c h o i s e   a   l o g o ,   b r a n d   o r   t o   a d o p t   t h e   b e s t   s o l u t i o n   i n   d e v e l o p i n g   a   n e w   p r o d u c t / s e r v i c e   w i t h   s p e c i f i c   f e a t u r e s   i t   c a n   e x p l o i t   w e b s i t e s   o f   c r o w d s o u r c i n g   i n v o l v i n g   m a n y   w o r l d w i d e   p e o p l e .   I n   t h e   s a m e   m o d a l i t y   t h e   c o m p a n y   c a n   c o m m u n i c a t e   w i t h   i t s   c u s t o m e r s   b y   w e b   2 . 0   t o o l s .   T h e   n e w   b u s i n e s s   m o d e l   o f   E n t e r p r i s e   2 . 0 ,   a p p r o p r i a t e l y   g o v e r n e d ,   c a n   b e   w i n n i n g . 	 [ C o n s o l i ,   D o m e n i c o ]   U n i v   U r b i n o ,   I - 6 1 0 2 9   U r b i n o ,   I t a l y 	 	 d o m e n i c o . c o n s o l i @ u n i u r b . i t ;   c . r i m i n u c c i @ l i b e r o . i t 	 	 	 	 	 A b b a t e   G . ,   2 0 0 3 ,   E M O T I O N A L   A S S E T ;   C h e s b r o u g h   H . ,   2 0 0 3 ,   O P E N   I N N O V A T I O N   N E W ;   C o n s o l i   D ,   2 0 0 9 ,   P   I N T   I C E A   2 0 0 9   B U C H ,   P 2 1 2 ;   C o n s o l i   D . ,   2 0 1 0 ,   S I A U L I U   S I A U L I U   U   L E ,   V 2 0 ,   P 1 3 ;   C o v a   B . ,   2 0 0 2 ,   M A R K E T I N G   J ;   J a n g   H ,   2 0 0 8 ,   I N T   J   E L E C T R O N   C O M M ,   V 1 2 ,   P 5 7 ,   D O I   1 0 . 2 7 5 3 / J E C 1 0 8 6 - 4 4 1 5 1 2 0 3 0 4 ;   L e v   G r o s s m a n ,   2 0 0 6 ,   T I M E   M A G A Z I N E ;   M a c A f e e   A . ,   2 0 0 6 ,   E N T E R P R I S E   2   0   D A W N ,   V 4 7 ,   P 2 1 ;   O ' R e i l l y   T . ,   2 0 0 7 ,   C O M M U N I C A T I O N S   S T R A T ,   V 6 5 ,   P 1 7 ;   S C H A E F E R   M W ,   2 0 1 2 ,   R E T U R N   I N F L U E N C E   R E V ;   S t e w a r t   O . ,   2 0 0 9 ,   P   A C M   S I G K D D   W O R K S H ,   P 5 0 ,   D O I   1 0 . 1 1 4 5 / 1 6 0 0 1 5 0 . 1 6 0 0 1 6 8 ;   S t r o b b e   M ,   2 0 1 0 ,   J   N E T W   C O M P U T   A P P L ,   V 3 3 ,   P 8 4 ,   D O I   1 0 . 1 0 1 6 / j . j n c a . 2 0 0 9 . 1 2 . 0 0 8 ;   S u m i   K . ,   2 0 0 8 ,   2 0 0 8   I N T   C   A D V   C O M P ,   V 3 5 2 ,   P 1 8 7 ;   T o f f l e r   A ,   1 9 9 0 ,   P O W E R S H I F T   K N O W L E D G E ;   W i t e l l   L ,   2 0 1 1 ,   J   S E R V   M A N A G E ,   V 2 2 ,   P 1 4 0 ,   D O I   1 0 . 1 1 0 8 / 0 9 5 6 4 2 3 1 1 1 1 1 2 4 1 9 0 	 1 5 	 0 	 0 	 E D I T U R A   U N I V   T R A N S I L V A N I A   B R A S O V ,   R O M A N I A 	 B R A S O V 	 B   D U L   I U L I U   M A N I U   4 1 A ,   B R A S O V ,   5 0 0 0 9 1 ,   R O M A N I A 	 	 	 9 7 8 - 6 0 6 - 1 9 - 0 1 0 3 - 6 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 1 3 7 	 1 4 0 	 	 	 	 4 	 B u s i n e s s ;   E c o n o m i c s 	 B u s i n e s s   &   E c o n o m i c s 	 B E N 3 3 	 W O S : 0 0 0 3 1 7 4 3 6 9 0 0 0 2 8 	 	 
 S 	 C h e n g ,   H ;   W a n g ,   F ;   T a o ,   R ;   L u o ,   H Y ;   Z h a o ,   F 	 	 R i z o s ,   C ;   D e m p s t e r ,   A G ;   L i ,   B ;   G a l l a g h e r ,   T 	 	 C h e n g ,   H u a n g ;   W a n g ,   F e n g ;   T a o ,   R u i ;   L u o ,   H a i y o n g ;   Z h a o ,   F a n g 	 	 	 C l u s t e r i n g   a l g o r i t h m s   r e s e a r c h   f o r   d e v i c e - c l u s t e r i n g   l o c a l i z a t i o n 	 2 0 1 2   I N T E R N A T I O N A L   C O N F E R E N C E   O N   I N D O O R   P O S I T I O N I N G   A N D   I N D O O R   N A V I G A T I O N   ( I P I N ) 	 I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n d o o r   P o s i t i o n i n g   a n d   I n d o o r   N a v i g a t i o n 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n d o o r   P o s i t i o n i n g   a n d   I n d o o r   N a v i g a t i o n   ( I P I N ) 	 N O V   1 3 - 1 5 ,   2 0 1 2 	 S y d n e y ,   A U S T R A L I A 	 	 U n i v   N e w   S   W a l e s 	 d e v i c e   h e t e r o g e n e i t y ;   D e v i c e - C l u s t e r   a l g o r i t h m ;   c l u s t e r i n g   a l g o r i t h m 	 V A R I A N C E 	 C r o w d s o u r c i n g - b a s e d   l o c a l i z a t i o n   h a s   a t t r a c t e d   w i d e   r e s e a r c h   c o n c e r n   t o   t h e   m e t r o p o l i t a n - s c a l e   p o s i t i o n i n g .   H o w e v e r ,   c r o w d s o u r c i n g - b a s e d   f i n g e r p r i n t s   c o l l e c t i o n   w i t h   a s s o r t e d   m o b i l e   s m a r t   d e v i c e s   b r i n g s   f i n g e r p r i n t   c o n f u s i o n ,   w h i c h   s i g n i f i c a n t l y   d e g r a d e s   t h e   l o c a l i z a t i o n   a c c u r a c y .   T o   s o l v e   t h e   d e v i c e   d i v e r s i t y   p r o b l e m ,   m a n y   s o l u t i o n s   h a v e   b e e n   r a i s e d   l i k e   t h e   D e v i c e - C l u s t e r i n g   a l g o r i t h m .   B a s e d   o n   m a c r o   D e v i c e - C l u s t e r   ( D C )   r a t h e r   t h a n   n a t u r a l   d e v i c e ,   D C   a l g o r i t h m   m a i n t a i n s   l e s s   d e v i c e   t y p e s   a n d   s l i g h t   c a l i b r a t i o n   o v e r h e a d .   D e s p i t e   h i g h   p o s i t i o n i n g   a c c u r a c y ,   t h e   s e l e c t i o n   o f   s u i t a b l e   c l u s t e r i n g   a l g o r i t h m s   i n   D C   s y s t e m   b e c o m e s   a n o t h e r   p u z z l e .   I n   t h i s   p a p e r ,   w e   r e s h a p e   t h e   n o v e l   D e v i c e - C l u s t e r i n g   a l g o r i t h m   t o   e n h a n c e   t h e   i n d o o r   p o s i t i o n i n g   b y   c o m p a r i n g   t h e   a p p l i c a t i o n   o f   d i f f e r e n t   c l u s t e r i n g   a l g o r i t h m s .   T h e   e x p e r i m e n t a l   r e s u l t   i n d i c a t e s   t h e   r e l i a b i l i t y   o f   D C   s t r a t e g y   i n   b r o a d   c l u s t e r i n g   s c h e m e   a s   w e l l   a s   t h e   s u i t a b l e   l o c a t i n g   p r o c e s s   c o r r e s p o n d i n g   t o   d i s t i n c t   e n v i r o n m e n t . 	 [ C h e n g ,   H u a n g ;   W a n g ,   F e n g ;   T a o ,   R u i ;   Z h a o ,   F a n g ]   B e i j i n g   U n i v   P o s t s   &   T e l e c o m m u n ,   S o f t w a r e   S c h ,   B e i j i n g   1 0 0 0 8 8 ,   P e o p l e s   R   C h i n a 	 C h e n g ,   H   ( r e p r i n t   a u t h o r ) ,   B e i j i n g   U n i v   P o s t s   &   T e l e c o m m u n ,   S o f t w a r e   S c h ,   B e i j i n g   1 0 0 0 8 8 ,   P e o p l e s   R   C h i n a . 	 c h e n g h u a n g 1 9 9 0 @ g m a i l . c o m ;   y h l u o @ i c t . a c . c n ;   z h a o f a n g l h y @ y a h o o . c o m . c n 	 	 	 	 	 C h e n g   H . ,   2 0 1 2 ,   J   C H I N A   U   P O S T S   T E L E ,   V 1 9 ,   P 1 1 4 ;   D o n g   F F ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 8 0 1 ,   P 7 9 ;   F r e y   B J ,   2 0 0 7 ,   S C I E N C E ,   V 3 1 5 ,   P 9 7 2 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 3 6 8 0 0 ;   H a e b e r l e n s   A ,   2 0 0 4 ,   P   1 0   A N N   I N T   C   M O B   C ,   P 7 0 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 0 2 3 7 2 0 . 1 0 2 3 7 2 8 ;   H o n k a v i r t a   V ,   2 0 0 9 ,   W P N C :   2 0 0 9   6 T H   W O R K S H O P   O N   P O S I T I O N I N G ,   N A V I G A T I O N   A N D   C O M M U N I C A T I O N ,   P R O C E E D I N G S ,   P 2 4 3 ;   K j a e r g a a r d   M . B . ,   2 0 0 8 ,   6   A N N   I E E E   I N T   C   P E R ,   P 1 1 0 ;   K j a e r g a a r d   M B ,   2 0 1 1 ,   P E R V A S I V E   M O B   C O M P U T ,   V 7 ,   P 3 1 ,   D O I   1 0 . 1 0 1 6 / j . p m c j . 2 0 1 0 . 0 4 . 0 0 5 ;   K o t h a r i   N ,   2 0 1 2 ,   P R O C E D I A   C O M P U T   S C I ,   V 1 0 ,   P 1 1 1 4 ,   D O I   1 0 . 1 0 1 6 / j . p r o c s . 2 0 1 2 . 0 6 . 1 5 8 ;   L e e   M . ,   2 0 1 0 ,   P E R C O M   W O R K S H   2 0 1 0 ,   P 6 4 8 ;   L i u   X i n g - c h u a n ,   U L T R   M O D   T E L   C O N T R   S ,   P 7 4 ;   L L O Y D   S P ,   1 9 8 2 ,   I E E E   T   I N F O R M   T H E O R Y ,   V 2 8 ,   P 1 2 9 ,   D O I   1 0 . 1 1 0 9 / T I T . 1 9 8 2 . 1 0 5 6 4 8 9 ;   M o o n e y   P . ,   2 0 1 1 ,   8   I N T   S   L O C   B A S   S E R V ;   N o c k   R . ,   2 0 0 6 ,   I E E E   T   P A T T E R N   A N A L ,   V 2 8 ,   P 1 ;   P a r k   J G ,   2 0 1 1 ,   I E E E   I N F O C O M   S E R ,   P 3 1 8 2 ;   R o o s   T . ,   2 0 0 2 ,   I N T   J   W I R E L E S S   I N F O R ,   V 9 ;   S a n d e r   J ,   1 9 9 8 ,   D A T A   M I N   K N O W L   D I S C ,   V 2 ,   P 1 6 9 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 0 9 7 4 5 2 1 9 4 1 9 ;   S e s h a d r i   V . ,   2 0 0 5 ,   P r o c e e d i n g s .   T h i r d   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   P e r v a s i v e   C o m p u t i n g   a n d   C o m m u n i c a t i o n s .   P e r C o m   2 0 0 5 ;   S u n   Z . ,   2 0 0 8 ,   P   2 0 0 8   7   I N T   C   M A C H ,   P 3 3 1 ;   T s u i   A W ,   2 0 0 9 ,   M O B I L E   N E T W   A P P L ,   V 1 4 ,   P 6 7 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 3 6 - 0 0 8 - 0 1 3 9 - 0 ;   T s u i   A W ,   2 0 1 0 ,   I E E E   T   M O B I L E   C O M P U T ,   V 9 ,   P 1 5 5 1 ,   D O I   1 0 . 1 1 0 9 / T M C . 2 0 1 0 . 1 2 1 ;   Z h e n g   V . W . ,   2 0 0 8 ,   P   2 3   A A A I   C   A R T   I N T ,   P 1 4 2 7 	 2 1 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 2 1 6 2 - 7 3 4 7 	 	 9 7 8 - 1 - 4 6 7 3 - 1 9 5 5 - 3 	 I N T   C   I N D O O R   P O S I T 	 	 	 2 0 1 2 	 	 	 	 	 	 	 	 	 	 	 	 7 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 B E K 3 4 	 W O S : 0 0 0 3 1 7 0 6 0 6 0 0 0 4 0 	 	 
 S 	 K a j i ,   K ;   K a w a g u c h i ,   N 	 	 R i z o s ,   C ;   D e m p s t e r ,   A G ;   L i ,   B ;   G a l l a g h e r ,   T 	 	 K a j i ,   K a t s u h i k o ;   K a w a g u c h i ,   N o b u o 	 	 	 D e s i g n   a n d   I m p l e m e n t a t i o n   o f   W i F i   I n d o o r   L o c a l i z a t i o n   b a s e d   o n   G a u s s i a n   M i x t u r e   M o d e l   a n d   P a r t i c l e   F i l t e r 	 2 0 1 2   I N T E R N A T I O N A L   C O N F E R E N C E   O N   I N D O O R   P O S I T I O N I N G   A N D   I N D O O R   N A V I G A T I O N   ( I P I N ) 	 I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n d o o r   P o s i t i o n i n g   a n d   I n d o o r   N a v i g a t i o n 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n d o o r   P o s i t i o n i n g   a n d   I n d o o r   N a v i g a t i o n   ( I P I N ) 	 N O V   1 3 - 1 5 ,   2 0 1 2 	 S y d n e y ,   A U S T R A L I A 	 	 U n i v   N e w   S   W a l e s 	 c o m p o n e n t ;   W i F i   L o c a l i z a t i o n ;   S c e n e   A n a l y s i s ;   G a u s s i a n   M i x t u r e   M o d e l ;   P a r t i c l e   F i l t e r ;   C r w o d s o u r c i n g 	 	 U p   t o   n o w   S c e n e   A n a l y s i s   h a s   b e e n   b a s e d   o n   t h e   W i F i   l o c a t i o n   e s t i m a t i o n   t e c h n i q u e   a n d   i t   h a s   b e e n   n e c e s s a r y   t o   h a v e   a   l a r g e   s c a l e   d a t a b a s e   a n d   a   l a r g e   a m o u n t   o f   c a l c u l a t i o n .   W e   p r o p o s e   a   W i F i   e s t i m a t i o n   m e t h o d   t h a t   u s e s   l i t t l e   d a t a   o r   c a l c u l a t i o n .   F i r s t   o f   a l l   w e   a p p l y   G a u s s i a n   M i x t u r e   M o d e l   t o   r e p r e s e n t   t h e   l a r g e   s c a l e   W i F i   d a t a b a s e   t o   d e c r e a s e   t h e   W i F i   d a t a   b y   n o   l e s s   t h a n   9 5 % .   S e c o n d l y ,   w e   a p p l y   P a r t i c l e   F i l t e r   t o   a d j u s t   t h e   p o s s i b l e   c a l c u l a t i o n   q u a n t i t y   n e e d e d   f o r   t h e   l o c a t i o n   e s t i m a t i o n   t e c h n i q u e .   A s   e x p e r i m e n t a l   r e s u l t ,   w e   a c h i e v e d   r e a l - t i m e   l o c a t i o n   e s t i m a t i o n   w i t h i n   6   s i m i l a r   t o   1 0 m .   A n o t h e r   i m p o r t a n t   i s s u e   f o r   S c e n e   A n a l y s i s   t e c h n i q u e   i s   t h e   h i g h   c o s t   o f   o p e r a t i o n   o f   t h e   p r e v i o u s   W i F i   o b s e r v a t i o n .   A c c o r d i n g l y   c r o w d s o u r c i n g   a p p r o a c h   w a s   u s e d ,   e m p l o y i n g   a s   s y s t e m   w h e r e   s o m e   u s e r s   c o u l d   c o n t r i b u t e   a n d   o t h e r   u s e s   c o u l d   s h a r e .   T h e   i d e a l   s y s t e m   i s   a   c o m p o s i t i o n   o f   t h e   W e b   a n d   m o b i l e   t e r m i n a l .   W i F i   d a t a   o b s e r v e d   b y   m o b i l e   t e r m i n a l s   i s   u p l o a d e d   t o   a   W e b   s e r v e r   w h e r e   i t   i s   m a n a g e d   a n d   i n t e g r a t e d   i n t o   G M M   a n d   l a r g e   s c a l e   o p e r a t i o n s   a r e   c a r r i e d   o u t   o n   d a t a   a n d   c a l c u l a t i o n s .   W h e n   t h e   l i g h t w e i g h t   m o d e l e d   d a t a   i s   d o w n l o a d e d   t o   t h e   m o b i l e - t e r m i n a l ,   t h e   m o b i l e   t e r m i n a l   t h e n   h a s   t h e   a b i l i t y   t o   c a r r y   o u t   r e a l - t i m e   l o c a t i o n   e s t i m a t i o n   i n d e p e n d e n t l y . 	 [ K a j i ,   K a t s u h i k o ;   K a w a g u c h i ,   N o b u o ]   N a g o y a   U n i v ,   G r a d   S c h   E n g n ,   N a g o y a ,   A i c h i   4 6 4 8 6 0 1 ,   J a p a n 	 K a j i ,   K   ( r e p r i n t   a u t h o r ) ,   N a g o y a   U n i v ,   G r a d   S c h   E n g n ,   N a g o y a ,   A i c h i   4 6 4 8 6 0 1 ,   J a p a n . 	 	 	 	 	 	 B a h l   P . ,   2 0 0 0 ,   P r o c e e d i n g s   I E E E   I N F O C O M   2 0 0 0 .   C o n f e r e n c e   o n   C o m p u t e r   C o m m u n i c a t i o n s .   N i n e t e e n t h   A n n u a l   J o i n t   C o n f e r e n c e   o f   t h e   I E E E   C o m p u t e r   a n d   C o m m u n i c a t i o n s   S o c i e t i e s   ( C a t .   N o . 0 0 C H 3 7 0 6 4 ) ,   D O I   1 0 . 1 1 0 9 / I N F C O M . 2 0 0 0 . 8 3 2 2 5 2 ;   B a r s o c c h i   P ,   2 0 1 2 ,   W I R E L   C O M M U N   M O B   C O M ,   V 1 2 ,   P 1 5 4 6 ,   D O I   1 0 . 1 0 0 2 / w c m . 1 0 8 5 ;   B o l l i g e r   P . ,   2 0 0 8 ,   P   1   A C M   I N T   W O R K S H   M ,   P 5 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 1 0 0 1 2 . 1 4 1 0 0 2 5 ;   B r a s n e t t   P ,   2 0 0 5 ,   P   S O C   P H O T O - O P T   I N S ,   V 5 6 8 5 ,   P 4 3 0 ,   D O I   1 0 . 1 1 1 7 / 1 2 . 5 8 5 8 8 2 ;   C h a i   X . ,   2 0 0 5 ,   P   3   I E E E   I N T   C   P E R V ,   P 9 5 ;   C h e v e r s t   K . ,   2 0 0 0 ,   P   6   A N N   I N T   C   M O B   C O ,   P 2 0 ,   D O I   1 0 . 1 1 4 5 / 3 4 5 9 1 0 . 3 4 5 9 1 6 ;   H a k l a y   M ,   2 0 0 8 ,   I E E E   P E R V A S   C O M P U T ,   V 7 ,   P 1 2 ,   D O I   1 0 . 1 1 0 9 / M P R V . 2 0 0 8 . 8 0 ;   H A N S E N   R ,   2 0 0 9 ,   P   1 0   I N T   C   M O B   D A T   M ,   P 2 6 7 ;   H o w e   J . ,   2 0 0 6 ,   R I S E   C R O W D S O U R C I N G   W ;   K r u m m   J . ,   2 0 0 4 ,   P   6   I N T   C   U B   C O M P   U B ,   P 2 8 3 ;   L a M a r c a   A ,   2 0 0 5 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 4 6 8 ,   P 1 1 6 ;   L e e   M . ,   2 0 1 0 ,   P E R C O M   W O R K S H   2 0 1 0 ,   P 6 4 8 ;   M a c Q u e e n   J .   B . ,   1 9 6 7 ,   P   5   B E R K   S   M A T H   S T A T ,   V 1 ,   P 2 8 1 ,   D O I   D O I   1 0 . 1 2 3 4 / 1 2 3 4 5 6 7 8 ;   M a n a n d h a r   D . ,   2 0 0 8 ,   I M E S   M O B   U S   S O C   I M P L ;   P a r k   J . G . ,   2 0 1 0 ,   P   I N T   C   M O B   S Y S T   A P P ;   S e i d e l   S . ,   1 9 9 2 ,   P   I E E E   T   A N T   P R O P ,   P 2 0 7 ;   X u a n   G . ,   2 0 0 1 ,   P   I N T   C   I M   P R O C ,   P 1 4 5 ;   Y i n   J . ,   2 0 0 5 ,   P   3   A N N   I E E E   I N T   C   P ,   P 8 5 ;   Z h u   J . ,   2 0 1 2 ,   P   I E E E   I N T   C   S E N S   M E 	 1 9 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 2 1 6 2 - 7 3 4 7 	 	 9 7 8 - 1 - 4 6 7 3 - 1 9 5 5 - 3 ;   9 7 8 - 1 - 4 6 7 3 - 1 9 5 4 - 6 	 I N T   C   I N D O O R   P O S I T 	 	 	 2 0 1 2 	 	 	 	 	 	 	 	 	 	 	 	 9 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 B E K 3 4 	 W O S : 0 0 0 3 1 7 0 6 0 6 0 0 0 9 5 	 	 
 J 	 W a n g ,   H ;   M e n g ,   H L 	 	 	 I E E E 	 W a n g ,   H a o ;   M e n g ,   H e l e n 	 	 	 D E R I V I N G   P E R C E P T U A L   G R A D A T I O N   O F   L 2   E N G L I S H   M I S P R O N U N C I A T I O N S   U S I N G   C R O W D S O U R C I N G   A N D   T H E   W O R K E R R A N K   A L G O R I T H M 	 2 0 1 2   I N T E R N A T I O N A L   C O N F E R E N C E   O N   S P E E C H   D A T A B A S E   A N D   A S S E S S M E N T S 	 I n t e r n a t i o n a l   C o n f e r e n c e   o n   S p e e c h   D a t a b a s e   a n d   A s s e s s m e n t s 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I n t e r n a t i o n a l   C o n f e r e n c e   o n   S p e e c h   D a t a b a s e   a n d   A s s e s s m e n t s   ( O r i e n t a l   C O C O S D A ) 	 D E C   0 9 - 1 2 ,   2 0 1 2 	 M a c a u ,   P E O P L E S   R   C H I N A 	 C h i n e s e   U n i v   H o n g   K o n g ,   U n i v   M a c a u ,   I E E E   M a c a u ,   I n t   S p e e c h   C o m m u n   A s s o c   ( I S C A ) ,   U n i v   M a c a u   ( U M ) ,   F a c   S c i   &   T e c h n o l   ( F S T ) ,   M a c a u   G o v t   T o u r i s t   o f f ,   F D C T ,   S H I A E 	 	 C A P T ;   C r o w d s o u r c i n g ;   m i s p r o n u n c i a t i o n   g r a d a t i o n ;   W o r k e r R a n k 	 	 P e d a g o g i c a l l y ,   f e e d b a c k   i n   C A P T   s y s t e m s   c a n   b e   i m p r o v e d   b y   f o c u s i n g   o n   t h e   m o s t   c r i t i c a l   e r r o r s   r a t h e r   t h a n   p r e s e n t i n g   a l l   e r r o r s   t o   t h e   u s e r s   a t   t h e   s a m e   t i m e .   T h i s   p a p e r   p r e s e n t s   o u r   w o r k   o n   t h e   u s e   o f   c r o w d s o u r c i n g   f o r   c o l l e c t i o n   o f   g r a d a t i o n s   o f   w o r d - l e v e l   m i s p r o n u n c i a t i o n s   i n   n o n - n a t i v e   E n g l i s h   s p e e c h .   Q u a l i t y   c o n t r o l   p r o c e d u r e s   b a s e d   o n   t h e   p r o p o s e d   W o r k e r R a n k   a l g o r i t h m   ( a d a p t e d   f r o m   w e l l - k n o w n   P a g e R a n k   a l g o r i t h m ) ,   a r e   p e r f o r m e d   f o r   s e l e c t i n g   a   s u b s e t   o f   t h e   c r o w d s o u r c e d   d a t a   i n   o r d e r   t o   e n s u r e   r e l i a b i l i t y .   B a s e d   o n   t h e   s e l e c t e d   d a t a ,   w e   d e r i v e   a   s e t   o f   r a t e d   w o r d - l e v e l   m i s p r o n u n c i a t i o n s ,   a c c o r d i n g   t o   a   f o u r - p o i n t   g r a d a t i o n   o f   n o   e r r o r ,   s u b t l e ,   m e d i u m   a n d   s a l i e n t   e r r o r s . 	 [ W a n g ,   H a o ;   M e n g ,   H e l e n ]   C h i n e s e   U n i v   H o n g   K o n g ,   D e p t   S y s t   E n g n   &   E n g n   M a n a g e m e n t ,   H o n g   K o n g ,   H o n g   K o n g ,   P e o p l e s   R   C h i n a 	 M e n g ,   H L   ( r e p r i n t   a u t h o r ) ,   C h i n e s e   U n i v   H o n g   K o n g ,   D e p t   S y s t   E n g n   &   E n g n   M a n a g e m e n t ,   H o n g   K o n g ,   H o n g   K o n g ,   P e o p l e s   R   C h i n a . 	 h w a n g @ s e . c u h k . e d u . h k ;   h m m e n g @ s e . c u h k . e d u . h k 	 	 	 	 	 B l a n d   M ,   2 0 0 8 ,   M E A S U R E M E N T   H L T H   D I S ;   B u c h o l z   S . ,   2 0 1 1 ,   P   I N T E R S P E E C H 2 0 1 1   F L ;   E l l i s   R . ,   2 0 0 9 ,   L 2   J ,   V 1 ,   P 3 ;   I e n c o   D . ,   2 0 0 8 ,   S E B D ,   P 9 3 ;   K u n a t h   S .   A . ,   2 0 1 0 ,   P   C S L D A M T   1 0   A S S   C O M ;   M c G r a w   I . ,   2 0 1 1 ,   P   I N T E R S P E E C H 2 0 1 1   F L ;   N e r i   A . ,   2 0 0 2 ,   C o m p u t e r   A s s i s t e d   L a n g u a g e   L e a r n i n g ,   V 1 5 ,   D O I   1 0 . 1 0 7 6 / c a l l . 1 5 . 5 . 4 4 1 . 1 3 4 7 3 ;   P a c h e c o   M . ,   2 0 0 0 ,   J   B E H A V   E D ,   V 1 0 ,   P 2 0 5 ,   D O I   [ 1 0 . 1 0 2 3 / A : 1 0 1 2 2 9 5 6 1 5 1 4 4 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 1 2 2 9 5 6 1 5 1 4 4 ] ;   P a g e   L ,   1 9 9 8 ,   T E C H N I C A L   R E P O R T ;   P e a b o d y   M .   A . ,   2 0 1 1 ,   T H E S I S   M I T   U S ;   S h o u k r i   M .   M . ,   2 0 0 4 ,   M E A S U R E S   I N T E R O B S E R V ;   S t r i k   H ,   2 0 0 4 ,   P   I N S T I L   I C A L L   S ;   W i t t   S . ,   1 9 9 7 ,   P   E U R ,   P 6 3 3 	 1 3 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 2 1 6 3 - 3 4 7 9 	 	 9 7 8 - 1 - 4 6 7 3 - 2 8 1 1 - 1 	 I N T   C O N F   S P E E C H   D A T A 	 	 	 2 0 1 2 	 	 	 	 	 	 	 1 4 5 	 1 5 0 	 	 	 	 6 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 B E M 3 8 	 W O S : 0 0 0 3 1 7 3 3 6 0 0 0 0 2 5 	 	 
 J 	 F a n g ,   M ;   Z h u ,   X Q ;   L i ,   B ;   D i n g ,   W ;   W u ,   X D 	 	 Z a k i ,   M J ;   S i e b e s ,   A ;   Y u ,   J X ;   G o e t h a l s ,   B ;   W e b b ,   G ;   W u ,   X 	 	 F a n g ,   M e n g ;   Z h u ,   X i n g q u a n ;   L i ,   B i n ;   D i n g ,   W e i ;   W u ,   X i n d o n g 	 	 	 S e l f - T a u g h t   A c t i v e   L e a r n i n g   f r o m   C r o w d s 	 1 2 T H   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   D A T A   M I N I N G   ( I C D M   2 0 1 2 ) 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   D a t a   M i n i n g 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 2 t h   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   D a t a   M i n i n g   ( I C D M ) 	 D E C   1 0 - 1 3 ,   2 0 1 2 	 B r u s s e l s ,   B E L G I U M 	 I E E E ,   I E E E   C o m p   S o c ,   N a t l   S c i   F d n   ( N S F ) ,   F W O ,   I B M ,   S A S ,   Y a h o o ,   N A S A ,   B i s i d e ,   K N I M E ,   U n i v   A n t w e r p e n ,   U n i v   L i b r e   B r u x e l l e s   ( U L B ) 	 	 a c t i v e   l e a r n i n g ;   c r o w d ;   s e l f - t a u g h t 	 	 T h e   e m e r g e n c e   o f   s o c i a l   t a g g i n g   a n d   c r o w d s o u r c i n g   s y s t e m s   p r o v i d e s   a   u n i q u e   p l a t f o r m   w h e r e   m u l t i p l e   w e a k   l a b e l e r s   c a n   f o r m   a   c r o w d   t o   f u l f i l l   a   l a b e l i n g   t a s k .   Y e t   c r o w d   l a b e l e r s   a r e   o f t e n   n o i s y ,   i n a c c u r a t e ,   a n d   h a v e   l i m i t e d   l a b e l i n g   k n o w l e d g e ,   a n d   w o r s t   o f   a l l ,   t h e y   a c t   i n d e p e n d e n t l y   w i t h o u t   s e e k i n g   c o m p l e m e n t a r y   k n o w l e d g e   f r o m   e a c h   o t h e r   t o   i m p r o v e   l a b e l i n g   p e r f o r m a n c e .   I n   t h i s   p a p e r ,   w e   p r o p o s e   a   S e l f - T a u g h t   A c t i v e   L e a r n i n g   ( S T A L )   p a r a d i g m ,   w h e r e   i m p e r f e c t   l a b e l e r s   a r e   a b l e   t o   l e a r n   c o m p l e m e n t a r y   k n o w l e d g e   f r o m   o n e   a n o t h e r   t o   e x p a n d   t h e i r   k n o w l e d g e   s e t s   a n d   b e n e f i t   t h e   u n d e r l y i n g   a c t i v e   l e a r n e r .   W e   e m p l o y   a   p r o b a b i l i s t i c   m o d e l   t o   c h a r a c t e r i z e   t h e   k n o w l e d g e   o f   e a c h   l a b e l e r   t h r o u g h   w h i c h   a   w e a k   l a b e l e r   c a n   l e a r n   c o m p l e m e n t a r y   k n o w l e d g e   f r o m   a   s t r o n g e r   p e e r .   A s   a   r e s u l t ,   t h e   s e l f - t a u g h t   a c t i v e   l e a r n i n g   p r o c e s s   e v e n t u a l l y   h e l p s   a c h i e v e   h i g h   c l a s s i f i c a t i o n   a c c u r a c y   w i t h   m i n i m i z e d   l a b e l i n g   c o s t s   a n d   l a b e l i n g   e r r o r s . 	 [ F a n g ,   M e n g ;   Z h u ,   X i n g q u a n ;   L i ,   B i n ]   U n i v   T e c h n o l   S y d n e y ,   C t r   Q u a n t u m   C o m p u t a t   &   I n t e l l i g e n t   S y s ,   S y d n e y ,   N S W   2 0 0 7 ,   A u s t r a l i a 	 F a n g ,   M   ( r e p r i n t   a u t h o r ) ,   U n i v   T e c h n o l   S y d n e y ,   C t r   Q u a n t u m   C o m p u t a t   &   I n t e l l i g e n t   S y s ,   S y d n e y ,   N S W   2 0 0 7 ,   A u s t r a l i a . 	 m e n g . f a n g @ s t u d e n t . u t s . e d u . a u ;   x i n g q u a n . z h u @ u t s . e d u . a u ;   b i n . l i - 1 @ u t s . e d u . a u ;   d i n g @ c s . u m b . e d u ;   x w u @ u v m . e d u 	 	 	 	 	 D e k e l   O . ,   2 0 0 9 ,   P   2 6   A N N   I N T   C   M A C H ,   P 2 3 3 ;   D o n m e z   P . ,   2 0 0 8 ,   P   1 7   A C M   C   I N F   K N O W L ,   P 6 1 9 ,   D O I   1 0 . 1 1 4 5 / 1 4 5 8 0 8 2 . 1 4 5 8 1 6 5 ;   F a n g   M . ,   2 0 1 2 ,   2 6   A A A I   C   A R T   I N T ;   F r a n k   A . ,   2 0 1 0 ,   U C I   M A C H I N E   L E A R N I N G ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   M A C K A Y   D J C ,   1 9 9 2 ,   N E U R A L   C O M P U T ,   V 4 ,   P 5 9 0 ,   D O I   1 0 . 1 1 6 2 / n e c o . 1 9 9 2 . 4 . 4 . 5 9 0 ;   N o c e d a l   J . ,   1 9 9 9 ,   N U M E R I C A L   O P T I M I Z A T I ;   R a s h i d i   P . ,   2 0 1 1 ,   P   K D D ;   R a y k a r   V .   C . ,   2 0 0 9 ,   P   2 6   A N N   I N T   C   M A C H ,   P 8 8 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 5 5 3 3 7 4 . 1 5 5 3 4 8 8 ;   R a y k a r   V C ,   2 0 1 0 ,   J   M A C H   L E A R N   R E S ,   V 1 1 ,   P 1 2 9 7 ;   R z h e t s k y   A ,   2 0 0 9 ,   P L O S   C O M P U T   B I O L ,   V 5 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p c b i . 1 0 0 0 3 9 1 ;   S e t t l e s   B . ,   2 0 1 0 ,   A C T I V E   L E A R N I N G   L I T ;   S h e n g   V .   S . ,   2 0 0 8 ,   P   1 4   A C M   S I G K D D   I N T ,   P 6 1 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 0 1 8 9 0 . 1 4 0 1 9 6 5 ;   Y a n   Y . ,   2 0 1 1 ,   P   2 8   I N T   C   M A C H   L E A R ,   P 1 1 6 1 ;   Z h u   X Q ,   2 0 0 4 ,   A R T I F   I N T E L L   R E V ,   V 2 2 ,   P 1 7 7 ,   D O I   1 0 . 1 0 0 7 / s 1 0 4 6 2 - 0 0 4 - 0 7 5 1 - 8 	 1 5 	 1 	 1 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 5 5 0 - 4 7 8 6 	 	 9 7 8 - 1 - 4 6 7 3 - 4 6 4 9 - 8 	 I E E E   D A T A   M I N I N G 	 	 	 2 0 1 2 	 	 	 	 	 	 	 8 5 8 	 8 6 3 	 	 1 0 . 1 1 0 9 / I C D M . 2 0 1 2 . 6 4 	 	 6 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 B E F 3 0 	 W O S : 0 0 0 3 1 6 3 8 3 8 0 0 0 9 1 	 	 
 J 	 W a n g ,   W Y ;   B o h u s ,   D ;   K a m a r ,   E ;   H o r v i t z ,   E 	 	 	 I E E E 	 W a n g ,   W i l l i a m   Y a n g ;   B o h u s ,   D a n ;   K a m a r ,   E c e ;   H o r v i t z ,   E r i c 	 	 	 C R O W D S O U R C I N G   T H E   A C Q U I S I T I O N   O F   N A T U R A L   L A N G U A G E   C O R P O R A :   M E T H O D S   A N D   O B S E R V A T I O N S 	 2 0 1 2   I E E E   W O R K S H O P   O N   S P O K E N   L A N G U A G E   T E C H N O L O G Y   ( S L T   2 0 1 2 ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   W o r k s h o p   o n   S p o k e n   L a n g u a g e   T e c h n o l o g y   ( S L T ) 	 D E C   0 2 - 0 5 ,   2 0 1 2 	 M i a m i ,   F L 	 I n s t   E l e c t   &   E l e c t   E n g i n e e r s   ( I E E E ) ,   I E E E   S i g n a l   P r o c e s s i n g   S o c 	 	 c r o w d s o u r c i n g ;   n a t u r a l   l a n g u a g e   e l i c i t a t i o n   m e t h o d s ;   l a n g u a g e   u n d e r s t a n d i n g ;   s p o k e n   d i a l o g 	 	 W e   s t u d y   t h e   o p p o r t u n i t y   f o r   u s i n g   c r o w d s o u r c i n g   m e t h o d s   t o   a c q u i r e   l a n g u a g e   c o r p o r a   f o r   u s e   i n   n a t u r a l   l a n g u a g e   p r o c e s s i n g   s y s t e m s .   S p e c i f i c a l l y ,   w e   e m p i r i c a l l y   i n v e s t i g a t e   t h r e e   m e t h o d s   f o r   e l i c i t i n g   n a t u r a l   l a n g u a g e   s e n t e n c e s   t h a t   c o r r e s p o n d   t o   a   g i v e n   s e m a n t i c   f o r m .   T h e   m e t h o d s   c o n v e y   f r a m e   s e m a n t i c s   t o   c r o w d   w o r k e r s   b y   m e a n s   o f   s e n t e n c e s ,   s c e n a r i o s ,   a n d   l i s t - b a s e d   d e s c r i p t i o n s .   W e   d i s c u s s   v a r i o u s   p e r f o r m a n c e   m e a s u r e s   o f   t h e   c r o w d s o u r c i n g   p r o c e s s ,   a n d   a n a l y z e   t h e   s e m a n t i c   c o r r e c t n e s s ,   n a t u r a l n e s s ,   a n d   b i a s e s   o f   t h e   c o l l e c t e d   l a n g u a g e .   W e   h i g h l i g h t   r e s e a r c h   c h a l l e n g e s   a n d   d i r e c t i o n s   i n   a p p l y i n g   t h e s e   m e t h o d s   t o   a c q u i r e   c o r p o r a   f o r   n a t u r a l   l a n g u a g e   p r o c e s s i n g   a p p l i c a t i o n s . 	 [ W a n g ,   W i l l i a m   Y a n g ;   B o h u s ,   D a n ;   K a m a r ,   E c e ;   H o r v i t z ,   E r i c ]   M i c r o s o f t   R e s ,   R e d m o n d ,   W A   9 8 0 5 2   U S A 	 W a n g ,   W Y   ( r e p r i n t   a u t h o r ) ,   M i c r o s o f t   R e s ,   R e d m o n d ,   W A   9 8 0 5 2   U S A . 	 w w @ c m u . e d u ;   d b o h u s @ m i c r o s o f t . c o m ;   e c k a m a r @ m i c r o s o f t . c o m ;   h o r v i t z @ m i c r o s o f t . c o m 	 	 	 	 	 A l e v e n   V . ,   2 0 0 6 ,   P   I C A L T ;   A l l e n   J .   F . ,   1 9 9 6 ,   P   A C L ;   A l o n s o   O . ,   2 0 0 8 ,   P   S I G I R   F O R ;   D o l a n   W .   B . ,   2 0 0 5 ,   P   3   I N T   W O R K S H   P A R ;   G o r i n   A .   L . ,   1 9 9 7 ,   S P E E C H   C O M M U N I C A T I O N ;   L a n e   I . ,   2 0 1 0 ,   P   C R E A T   S P E E C H   L A N G ;   L a t h r o p   B . ,   2 0 0 4 ,   P   I T S ;   M a r g e   M . ,   2 0 1 0 ,   P   I C A S S P ;   M e n g   H .   M . ,   2 0 1 0 ,   P   S L T ;   P e l l o m   B . ,   1 9 9 9 ,   P   I E E E   A S R U ;   S t e i n   B . ,   2 0 1 2 ,   A C M   T I S T   I N   P R E S S ;   T r a u m   D . ,   2 0 0 8 ,   P   I N T ;   Z a i d a n   O . ,   2 0 1 1 ,   P   A C L 	 1 3 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 6 7 3 - 5 1 2 6 - 3 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 7 3 	 7 8 	 	 	 	 6 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 E n g i n e e r i n g 	 B E L 1 8 	 W O S : 0 0 0 3 1 7 1 8 2 8 0 0 0 1 3 	 	 
 J 	 S e c o n d u l f o ,   D 	 P a d u a ,   D 	 	 	 S e c o n d u l f o ,   D o m e n i c o 	 P a d u a ,   D 	 	 N e w   M o d e l s   o f   S o c i a l   I n t e l l i g e n c e 	 T R U S T ,   S O C I A L   R E L A T I O N S   A N D   E N G A G E M E N T :   U N D E R S T A N D I N G   C U S T O M E R   B E H A V I O U R   O N   T H E   W E B 	 	 	 E n g l i s h 	 A r t i c l e ;   B o o k   C h a p t e r 	 	 	 	 	 	 	 	 T h e   I n t e r n e t   A g e   i n t r o d u c e s   n e w   m o d e l s   o f   v a l u e   c r e a t i o n ,   d i s r u p t i n g   t h e   t r a d i t i o n a l   l i n e a r   r a t i o n a l   p a t t e r n s   a n d   l e v e r a g i n g   t h e   p o w e r   o f   n e w ,   d e m o c r a t i c ,   b o t t o m - u p   f o r c e s .   ' C o n n e c t i n g   t h e   d o t s '   a n d   ' c r o w d s o u r c i n g '   b e c o m e   t w o   n e w   p a r a d i g m s   o f   t h e   h i g h - s p e e d   c o n n e c t e d   w e b   e n v i r o n m e n t .   S o c i a l   s c i e n c e s   p r o v i d e   d i f f e r e n t   a p p r o a c h e s   t o   t h e   u n d e r s t a n d i n g   o f   t h i s   n e w   r e a l m   v i a   d i f f e r e n t   m o d e l s   o f   t h o u g h t :   f r o m   ' c o l l e c t i v e '   t o   ' c o n n e c t i v e ' ,   f r o m   ' e m o t i o n a l '   t o   ' c u l t u r a l '   i n t e l l i g e n c e .   T h i s   c h a n g e   r e q u i r e s   a   n e w   m i n d s e t   t o   b e   d e v e l o p e d   b y   i n s t i t u t i o n s   a n d   o r g a n i z a t i o n s .   T o   t h i s   e x t e n t ,   t h r e e   c h a l l e n g e s   a r e   p r o v i d e d :   1 .   ' O r g a n i z a t i o n s   h a v e   t o   b e c o m e   m o r e   E a s t e r n   t h a n   W e s t e r n . '   2 .   ' O r g a n i z a t i o n s   h a v e   t o   b e c o m e   m o r e   w o m a n   a n d   l e s s   m a n . '   3 .   ' O r g a n i z a t i o n s   h a v e   t o   b e c o m e   m o r e   g i f t - o r i e n t e d   t h a n   s e l l - o r i e n t e d . ' 	 U n i v   V e r o n a ,   I - 3 7 1 0 0   V e r o n a ,   I t a l y 	 S e c o n d u l f o ,   D   ( r e p r i n t   a u t h o r ) ,   U n i v   V e r o n a ,   I - 3 7 1 0 0   V e r o n a ,   I t a l y . 	 	 	 	 	 	 	 0 	 0 	 0 	 P A L G R A V E 	 B A S I N G S T O K E 	 H O U N D M I L L S ,   B A S I N G S T O K E   R G 2 1   6 X S ,   E N G L A N D 	 	 	 9 7 8 - 0 - 2 3 0 - 3 9 1 2 5 - 3 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 3 3 	 + 	 	 	 1 0 . 1 0 5 7 / 9 7 8 0 2 3 0 3 9 1 2 5 3 	 1 5 	 B u s i n e s s ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 B E K 0 1 	 W O S : 0 0 0 3 1 7 0 1 3 2 0 0 0 0 6 	 	 
 B 	 P i r e n n e ,   B ;   G u i l l e m o t ,   E 	 	 	 I E E E 	 P i r e n n e ,   B e n o i t ;   G u i l l e m o t ,   E r i c 	 	 	 B e y o n d   D a t a   M a n a g e m e n t   H o w   t o   f o s t e r   d a t a   e x p l o i t a t i o n   a n d   b e t t e r   s c i e n c e ? 	 2 0 1 2   O C E A N S 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 M T S / I E E E   O c e a n s   C o n f e r e n c e 	 O C T   1 4 - 1 9 ,   2 0 1 2 	 V i r g i n i a   B e a c h ,   V A 	 I E E E ,   M a r i n e   T e c h n o l   S o c   ( M T S ) ,   I E E E   O E S   ( I E E E / O E S ) 	 	 O c e a n   O b s e r v a t o r y ;   D a t a   M a n a g e m e n t ;   m u l t i d i s c i p l i n a r y   s c i e n c e ;   W e b   2 . 0 ;   D a t a   V i s u a l i z a t i o n ;   I n t e r a c t i v e   I n s t r u m e n t   C o n t r o l ;   C r o w d s o u r c i n g 	 	 T h e   a d v e n t   o f   l a r g e   s c a l e ,   h i g h - b a n d w i d t h   o n - l i n e   a c c e s s   a n d   g e n e r o u s l y   p o w e r e d   o c e a n   f l o o r   o b s e r v a t o r i e s   w e r e   p r e d i c t e d   t o   t r a n s f o r m   t h e   w a y   o c e a n   s c i e n c e   i s   c o n d u c t e d .   T h e y   h a v e   l i v e d   u p   t o   t h i s   p r o m i s e .   N e w   c a b l e d   o b s e r v a t o r i e s   h a v e   s o m e t i m e s   i n   e x c e s s   o f   1 0 0   d i f f e r e n t   i n s t r u m e n t s   s e m i - p e r m a n e n t l y   i n s t a l l e d   i n   a r e a s   o f   s c i e n t i f i c   i n t e r e s t .   T h e   i n s t r u m e n t s   r e p r e s e n t   h u n d r e d s   o f   d i f f e r e n t   v a r i a b l e s   m e a s u r e d   a t   a   h i g h   f r e q u e n c y   ( o f t e n   o n c e   p e r   s e c o n d   o r   m o r e )   o n   a   2 4 / 7 / 3 6 5   b a s i s ,   t h e r e b y   g e n e r a t i n g   l a r g e   d a t a   v o l u m e s   t h a t   a c c u m u l a t e   i n   a r c h i v e s .   N o t   o n l y   a r e   w e   t a l k i n g   a b o u t   l a r g e   d a t a   v o l u m e s ,   w e   a r e   a l s o   f a c i n g   m a n y   d i f f e r e n t   d a t a   t y p e s   a s   i n s t r u m e n t s   a r e   o f t e n   p r e p r o c e s s i n g   d a t a   a n d   a s s e m b l i n g   t h e m   i n   c o m p l e x   d a t a   s t r u c t u r e s   o r   m a t r i c e s .   F o r   p r a c t i c a l   p u r p o s e s ,   t h r e e   m a j o r   d a t a   t y p e s   c a n   b e   d e s c r i b e d   b a s e d   o n   t h e   d u t y   c y c l e s   o f   t h e   i n s t r u m e n t s   p r o d u c i n g   t h e m :   s c a l a r   d a t a   c o m i n g   f r o m   s i n g l e   p o i n t   m e a s u r e m e n t   s e n s o r s   o n   a   p e r i o d i c   b a s i s   w i t h   a   s a m p l i n g   f r e q u e n c y   < 1 0 H z ;   c o m p l e x   d a t a   s t r u c t u r e s ,   o f t e n   p r o d u c e d   b y   a c t i v e   a c o u s t i c   i n s t r u m e n t s   s u c h   a s   A D C P s   a n d   c u r r e n t   p r o f i l e r s   t h a t   p r o d u c e   m u l t i - d i m e n s i o n a l   m a t r i c e s   t y p i c a l l y   a t   a   r a t e   < =   1   H z   s t r e a m s   t h a t   a r e   p r o d u c e d   b y   p a s s i v e   s e n s o r s ,   c o n t i n u o u s l y   s a m p l i n g   t h e i r   e n v i r o n m e n t s   a t   h i g h   f r e q u e n c i e s   ( > =   s i m i l a r   t o   2 0 H z )   s u c h   a s   c a m e r a s   a n d   h y d r o p h o n e s ,   s e i s m o m e t e r s ,   e t c .   T h e   c o m p l e x i t y   a l s o   r e s i d e s   i n   t h a t   m a n y   o f   t h e   i n s t r u m e n t s   a r e   i n   s o m e   w a y   m a p p i n g   t h e i r   w i d e r   e n v i r o n m e n t   a n d   n o t   j u s t   t h e i r   i m m e d i a t e   v i c i n i t y .   T h e r e f o r e   t h e   m a t r i c e s   t h e y   s e n t   b a c k   r e p r e s e n t   t h e i r   o w n   s p e c i f i c   e n c o d i n g   o f   s p a t i a l   d a t a .   E x a m p l e s   h e r e   i n c l u d e   A D C P s ,   s o n a r s ,   b u t   a l s o   v e h i c l e s   m o v i n g   i n   o n e ,   t w o   o r   t h r e e   d i m e n s i o n s   ( v e r t i c a l   p r o f i l e r ,   c r a w l e r s ,   g l i d e r s ,   A U V s ,   e t c . )   T h e   i n s t r u m e n t s   a n d   s e n s o r s   a r e   o f t e n   o f   a   l e g a c y   t y p e ,   f r o m   d i f f e r e n t   v e n d o r s ,   w i t h   p r o p r i e t a r y   f o r m a t s   a n d   u s u a l l y   a r e   n o t   o p t i m i z e d   t o   w o r k   i n   c o n n e c t e d ,   p o w e r e d   e n v i r o n m e n t .   T h e   s t a t e d   g o a l   o f   t h e   o b s e r v a t o r i e s   i s   t o   e n a b l e   n o t   o n l y   s c i e n c e   i n   a   p a r t i c u l a r   d i s c i p l i n e ,   b u t   t o   f o s t e r   m u l t i - d i s c i p l i n a r y   e x p e r i m e n t s ,   t o   s u p p o r t   r e a l - t i m e   s c i e n c e   a s   w e l l   a s   t o   p r o v i d e   a   l o n g i t u d i n a l   v i e w   o n   t h e   e v o l u t i o n s   o f   t h e   o c e a n s .   T h e   a b o v e   c o n s i d e r a t i o n s   r e p r e s e n t   s i g n i f i c a n t   c h a l l e n g e s   n o t   o n l y   f o r   t h e   s c i e n t i s t s ,   b u t   a l s o   f o r   d a t a   p r o v i d e r s   a s   t h e y   n e e d   t o   b e   i n   a   p o s i t i o n   t o   s u p p o r t :   m a n y   d i f f e r e n t   s c i e n c e   d i s c i p l i n e s   s c i e n t i s t s   n o t   u s e d   t o   d e a l i n g   w i t h   v a s t   a m o u n t s   o f   d a t a   s c i e n t i s t s   n o t   n e c e s s a r i l y   u s e d   t o   d a t a   f r o m   i n s t r u m e n t a t i o n   t h e y   a r e   n o t   a l w a y s   f a m i l i a r   w i t h   u s e r s   s t i l l   e x p e c t i n g   t o   b e   a b l e   t o   j u s t   " d o w n l o a d   a   c o u p l e   o f   y e a r s   o f   d a t a "   A t   O c e a n   N e t w o r k s   C a n a d a ,   t h o s e   c h a l l e n g e s   h a v e   b e e n   a d d r e s s e d   i n   a   n u m b e r   o f   w a y s ,   o f t e n t i m e s   c r e a t i v e   a n d   s o m e t i m e s   d i s r u p t i v e .   W i t h   t h e   s u p p o r t   o f   C A N A R I E ,   C a n a d a ' s   a d v a n c e d   r e s e a r c h   a n d   i n n o v a t i o n   n e t w o r k ,   w e   h a v e   a d o p t e d   t h e   W e b   2 . 0   c o n c e p t s   o f   p a r t i c i p a t i o n   a n d   c o n t r i b u t i o n .   T h o s e   t w o   c o n c e p t s   a r e   v e r y   p o w e r f u l   a n d   a r e   a t   t h e   o r i g i n   o f   w i k i p e d i a ,   F a c e B o o k ,   T w i t t e r   a n d ,   t o   s o m e   e x t e n t ,   m a s s i v e l y   p a r a l l e l   c o m p u t e r   g a m e s :   t h e y   a l l o w   i n d i v i d u a l s   t o   c o n t r i b u t e / s h a r e   c o n t e n t   a n d   t o   p a r t i c i p a t e   i n   g r o u p s   o f   l i k e - m i n d e d   c i t i z e n s   i n   a c t i v i t i e s   a r o u n d   a   s p e c i f i c   t o p i c   o r   t h e m e   f o r   a   p e r i o d   o f   t i m e .   I n   t h i s   c o n t r i b u t i o n ,   w e   a r e   d e s c r i b i n g   t h e   i n n o v a t i o n s   t h a t   a r e   n o w   a v a i l a b l e   t o   u s e r s   o f   t h e   N E P T U N E   C a n a d a   c a b l e d   n e t w o r k   a c c e s s   i n t e r f a c e s   a n d   h o w   t h e y   c o n t r i b u t e   t o   a d d r e s s   m a n y   o f   t h e   c h a l l e n g e s   t h a t   s c i e n t i s t s   f a c e   i n   d e a l i n g   w i t h   t h o s e   f i r s t   B i g   S c i e n c e   i n f r a s t r u c t u r e s   f o r   t h e   s t u d y   o f   t h e   o c e a n s .   T h e y   i n c l u d e   a   d a t a   v i s u a l i z a t i o n   u t i l i t y   t h a t   a l l o w s   p l o t s   c r e a t e d   t o   b e   p o s t e d   a n d   s h a r e d   w i t h   o t h e r   u s e r s ,   a   d a t a   s e a r c h   t o o l   t h a t   o f f e r s   a   m u l t i t u d e   o f   d a t a   f o r m a t t i n g   a n d   a v e r a g i n g / d e c i m a t i o n   o p t i o n s ,   a   r e a l - t i m e   c a m e r a   c o n t r o l   i n t e r f a c e   t h a t   a l l o w s   m u l t i p l e   u s e r s   t o   s i m u l t a n e o u s l y   u s e   t h e   i n s t r u m e n t s   a n d   c h a t   a m o n g   t h e m s e l v e s ,   r e g a r d l e s s   o f   w h e r e   t h e y   a r e   e a c h   l o c a t e d   o n   t h e   p l a n e t ,   a   t o o l   t h a t   e n c o u r a g e s   u s e r s   t o   u p l o a d   t h e i r   d a t a   p r o c e s s i n g   c o d e   r a t h e r   t h a n   d o w n l o a d   d a t a   a n d   s h a r e   t h a t   c o d e   w i t h   o t h e r s .   M o r e o v e r ,   t o   h e l p   e n g a g e   t h e   p u b l i c   a n d   a d d r e s s   e d u c a t i o n   n e e d s ,   a   c i t i z e n   s c i e n c e   t o o l   c a l l e d   " D i g i t a l   F i s h e r s "   w a s   d e v e l o p e d .   I t   a l l o w s   u s e r s   t o   c o n t r i b u t e   t h e i r   t i m e   i n   a n n o t a t i n g   v i d e o s   o f   t h e   d e e p .   C o n t r i b u t e d   a n n o t a t i o n s   b e c o m e   p a r t   o f   a   s t a t i s t i c a l   d a t a   b a s e   t h a t   c a n   b e   s e a r c h e d   f o r   a r e a   o f   i n t e r e s t   i n   t h e   v i d e o   c o l l e c t i o n s .   A l l   t h o s e   t o o l s ,   p a r t   o f   t h e   O c e a n s   2 . 0   e n v i r o n m e n t ,   a r e   w r i t t e n   f o r   m i n i m a l   a c c e s s   l i m i t a t i o n :   t h e y   a l l   r u n   o n   w e b   b r o w s e r s   a n d   r e q u i r e   n o   p l a t f o r m   s p e c i f i c   a p p l i c a t i o n   t o   b e   i n s t a l l e d . 	 [ P i r e n n e ,   B e n o i t ;   G u i l l e m o t ,   E r i c ]   O c e a n   N e t w o r k s   C a n a d a ,   D a t a   M a n a g e m e n t   &   A r c h i v i n g   S y s t   G r p ,   V i c t o r i a ,   B C ,   C a n a d a 	 P i r e n n e ,   B   ( r e p r i n t   a u t h o r ) ,   O c e a n   N e t w o r k s   C a n a d a ,   D a t a   M a n a g e m e n t   &   A r c h i v i n g   S y s t   G r p ,   V i c t o r i a ,   B C ,   C a n a d a . 	 b p i r e n n e @ u v i c . c a 	 	 	 	 	 B e n v e n u t i   P . ,   2 0 0 3 ,   2 5   M   I A U   J O I N T   D I S C ;   P i r e n n e   B . ,   1 9 9 4 ,   E S O   C   W O R K S H   P   P   E S O ,   P 4 3 ;   P i r e n n e   B . ,   1 9 9 2 ,   P   E S O   C   W O R K S H   H A G   S ,   V 4 3 ,   p 4 4 7 B ;   R a d z i w i l l   N .   M . ,   2 0 0 6 ,   F D N   Q U A L I T Y   M A N A G E M E 	 4 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 6 7 3 - 0 8 2 9 - 8 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 	 	 	 	 	 6 	 E n g i n e e r i n g ,   M u l t i d i s c i p l i n a r y ;   T e l e c o m m u n i c a t i o n s 	 E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 B D W 5 6 	 W O S : 0 0 0 3 1 5 3 5 0 3 0 0 0 0 9 	 	 
 B 	 Z h a o ,   Y X ;   Z h u ,   Q H 	 	 D u s e r i c k ,   F G 	 	 Z h a o ,   Y u x i a n g ;   Z h u ,   Q i n g h u a 	 	 	 A   C o n c e p t u a l   M o d e l   f o r   P a r t i c i p a n t ' s   M o t i v a t i o n   i n   C r o w d s o u r c i n g   C o n t e s t 	 E L E V E N T H   W U H A N   I N T E R N A T I O N A L   C O N F E R E N C E   O N   E - B U S I N E S S 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 1 t h   W u h a n   I n t e r n a t i o n a l   C o n f e r e n c e   o n   E - B u s i n e s s 	 M A Y   2 6 - 2 7 ,   2 0 1 2 	 W u h a n ,   P E O P L E S   R   C H I N A 	 C h i n a   U n i v   G e o s c i e n c e s ,   C t r   I n t   C o o p e r a t   E   B u s i n e s s ,   C h i n a   U n i v   G e o s c i e n c e s ,   S c h   E c o n o m   &   M a n a g e m e n t ,   A l f r e d   U n i v ,   C o l l   B u s i n e s s ,   I n t   B u s i n e s s   I n t e r f a c e   I n c ,   A s s o c   I n f o r m a t   S y s t ,   C h i n a   A s s o c   I n f o r m a t   S y s t ,   C h i n a   I n f o r m a t   E c o n o m   S o c ,   B a d e n   W u e r t t e m b e r g   C o o p e r a t   S t a t e   U n i v ,   R o y a l   M e l b o u r n e   I n s t   T e c h n o l   U n i v ,   A n k a r a   U n i v ,   U n i v   N   D a k o t a ,   C o l l   B u s i n e s s   &   P u b l   A d m ,   N J   I n s t   T e c h n o l ,   S c h   M a n a g e m e n t ,   U n i v   A p p l   S c i ,   F H S   S t   G a l l e n ,   S i n g a p o r e   M a n a g e m e n t   U n i v ,   S c h   I n f o r m a t   S y s t ,   H u a z h o n g   U n i v   S c i   &   T e c h n o l ,   C o l l   M a n a g e m e n t ,   W u h a n   U n i v ,   B u s i n e s s   S c h ,   W u h a n   U n i v ,   C o l l   I n f o r m a t   M a n a g e m e n t ,   Z h o n g n a n   U n i v   E c o n o m   L a w ,   X i n h u a   C o l l   F i n a n c e   I n s u r a n c e ,   Z h o n g n a n   U n i v   E c o n o m   L a w ,   S c h   B u s i n e s s   A d m ,   H u a z h o n g   N o r m a l   U n i v ,   I n f o r m a t   M a n a g e m e n t   D e p t ,   W u h a n   U n i v ,   G r a d   S c h   S y s t   E n g n ,   C h i n a   E   C o m m e r c e   A s s o c   W u h a n   R e p r e s e n t a t   O f f ,   T s i n g h u a   U n i v ,   S c h   E c o n o m   M a n a g e m e n t ,   C h i n a   J o u r n a l   I n f o r m a t   S y s t ,   H u a z h o n g   U n i v   T e c h n o l   &   S c i ,   C h i n e s e   J o u r n a l   M a n a g e m e n t ,   W u h a n   U n i v   T e c h n o l ,   C o l l   M a n a g e m e n t ,   C h i n a   J o u r n a l   I n f o r m a t   S y s t ,   C h i n e s e   J o u r n a l   M a n a g e m e n t ,   E l e c t   G o v t   I n t   J o u r n a l ,   E l e c t   M a r k e t s   I n t   J o u r n a l   N e t w o r k e d   b u s i n e s s ,   I n t   J o u r n a l   B u s i n e s s   P r o c   I n t e g r a t   &   M a n a g e m e n t ,   I n t   J o u r n a l   I n f o r m a t   S y s t   &   C h a n g e   M a n a g e m e n t ,   I n t   J o u r n a l   I n f o r m a t   T e c h n o l   &   M a n a g e m e n t   t ,   I n t   J o u r n a l   M o b i l e   L e a r n   &   O r g ,   I n t   J o u r n a l   N e t w o r k   &   V i r t u a l   O r g   t ,   I n t   J o u r n a l   R e v e n u e   M a n a g e m e n t ,   I n t   J o u r n a l   S e r v   T e c h n o l   &   M a n a g e m e n t ,   J o u r n a l   T h e o r e t   &   A p p l   E l e c t   C o m m e r c e   R e s ,   I n t   J o u r n a l   B i o m e d   E n g n   &   T e c h n o l 	 	 c r o w d s o u r c i n g ;   c r o w d s o u r c i n g   c o n t e s t ;   m o t i v a t i o n   s p e c t r u m ;   s e l f - d e t e r m i n a t i o n   t h e o r y ;   m o t i v a t i o n a l   a f f o r d a n c e s 	 S E L F - D E T E R M I N A T I O N   T H E O R Y ;   A F F E C T I V E   E V E N T S   T H E O R Y ;   I N T R I N S I C   M O T I V A T I O N ;   O P E N   I N N O V A T I O N ;   C O M M I T M E N T ;   W O R K ;   O R G A N I Z A T I O N ;   F A C I L I T A T I O N ;   C O M M U N I T I E S ;   P R O J E C T S 	 C r o w d s o u r c i n g   c o n t e s t   i s   o n e   o f   t h e   m o s t   i m p o r t a n t   f o r m s   o f   c r o w d s o u r c i n g   a n d   h a s   b e e n   a d o p t e d   b y   m o r e   a n d   m o r e   f i r m s   f o r   p r o b l e m - s o l v i n g   a n d   d e c i s i o n - m a k i n g .   T h u s   i t   i s   o f   g r e a t   i m p o r t a n c e   t o   e x p l o r e   w h a t   m o t i v a t e s   t h e   c r o w d   t o   p a r t i c i p a t e   i n   c r o w d s o u r c i n g   c o n t e s t .   T h i s   p a p e r   f i r s t l y   d i f f e r   c r o w d s o u r c i n g   f r o m   s e v e r a l   r e l a t e d   c o n c e p t s   a n d   i d e n t i f i e s   f o u r   f u n d a m e n t a l   d i m e n s i o n s   t o   c o n c e p t u a l i z e   c r o w d s o u r c i n g   c o n t e s t ,   i n   w h i c h   t h e   m o t i v a t i o n   a s p e c t   i s   h i g h l y   r e l a t e d   t o   t h e   o t h e r   t h r e e   d i m e n s i o n s   a n d   s h o u l d   b e   e x a m i n e d   i n   a n   i n t e g r a t i v e   f r a m e w o r k .   T h e n   t h e   p a p e r   t h e o r e t i c a l l y   e x a m i n e s   t h e   c a t e g o r y   o f   m o t i v a t i o n   b a s e d   o n   s e l f - d e t e r m i n a t i o n   t h e o r y   a n d   s y n t h e s i z e s   v a r i o u s   m o t i v a t i o n   f a c t o r s   i n   c r o w d s o u r c i n g   c o n t e s t   a s   a   f o r m   o f   m o t i v a t i o n   s p e c t r u m .   A l s o ,   m o t i v a t i o n a l   a f f o r d a n c e s   t h e o r y   i s   i n t r o d u c e d   t o   i n v e s t i g a t e   v a r i o u s   m o t i v a t i o n   s o u r c e s   f r o m   a n   i n t e r n a l   p e r s p e c t i v e .   F u r t h e r m o r e ,   t h e   p a p e r   b u i l d s   a   t h e o r e t i c a l   m o d e l   t o   i l l u s t r a t e   t h e   r e l a t i o n s h i p s   b e t w e e n   v a r i o u s   m o t i v a t i o n s   a n d   p a r t i c i p a t i o n   e f f o r t ,   i n   w h i c h   m o t i v a t i o n a l   a f f o r d a n c e s   a n d   t a s k   g r a n u l a r i t y ,   a r e   e m p l o y e d   a s   t h e   m o d e r a t e   c o n s t r u c t s .   O u r   s t u d y   w i l l   t h e o r e t i c a l l y   c o n t r i b u t e   t o   t h e   l i t e r a t u r e s   a n d   h a v e   s o m e   p o t e n t i a l   t o   s h e d   l i g h t   o n   t h e   s y s t e m   d e s i g n   a n d   p o l i c y   m a k i n g   o f   c r o w d s o u r c i n g   c o n t e s t . 	 [ Z h a o ,   Y u x i a n g ;   Z h u ,   Q i n g h u a ]   N a n j i n g   U n i v ,   S c h   I n f o r m a t   M a n a g e m e n t ,   N a n j i n g ,   J i a n g s u ,   P e o p l e s   R   C h i n a 	 	 q h z h u @ n j u . e d u . c n 	 	 	 	 	 A l l e n   N J ,   1 9 9 6 ,   J   V O C A T   B E H A V ,   V 4 9 ,   P 2 5 2 ,   D O I   1 0 . 1 0 0 6 / j v b e . 1 9 9 6 . 0 0 4 3 ;   A r c h a k   N . ,   2 0 1 0 ,   P   1 9   I N T   C   W O R L D   W I D ,   P 2 1 ,   D O I   1 0 . 1 1 4 5 / 1 7 7 2 6 9 0 . 1 7 7 2 6 9 4 ;   A r c h a k   N . ,   2 0 0 9 ,   P   3 0   I N T   C   I N F   S Y S T ;   B a g o z z i   R P ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 1 0 9 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 4 5 ;   B A U M E I S T E R   R F ,   1 9 9 5 ,   P S Y C H O L   B U L L ,   V 1 1 7 ,   P 4 9 7 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 0 9 . 1 1 7 . 3 . 4 9 7 ;   B a y u s   B .   L . ,   2 0 1 0 ,   S S R N   Q U A N T I T A T I V E   M A ;   B e n k l e r   Y . ,   2 0 0 6 ,   W E A L T H   N E T W O R K S   S O C I ;   B o n a c c o r s i   A . ,   2 0 0 6 ,   K n o w l e d g e   T e c h n o l o g y   &   P o l i c y ,   V 1 8 ,   D O I   1 0 . 1 0 0 7 / s 1 2 1 3 0 - 0 0 6 - 1 0 0 3 - 9 ;   B r a b h a m   D .   C . ,   2 0 0 8 ,   1   M O N D A Y ,   V 1 3 ;   B r a b h a m   D C ,   2 0 1 0 ,   I N F O R M   C O M M U N   S O C ,   V 1 3 ,   P 1 1 2 2 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 1 0 0 3 6 2 4 0 9 0 ;   C h e s b r o u g h   H . ,   2 0 0 6 ,   O P E N   B U S I N E S S   M O D E L S ;   C h e s b r o u g h   H W ,   2 0 0 3 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 4 ,   P 3 5 ;   C s i k s z e n t m i h a l y i   M . ,   1 9 7 5 ,   B O R E D O M   A N X I E T Y ;   C s i k s z e n t m i h a l y i   M i h a l y ,   1 9 9 0 ,   F L O W   P S Y C H O L   O P T I M A L ;   D e c i   E . ,   1 9 9 5 ,   W H Y   W E   D O   W H A T   W E   D O ;   D e c i   E .   L . ,   1 9 8 5 ,   I N T R I N S I C   M O T I V A T I O N ;   D e c i   E .   L . ,   1 9 9 5 ,   E F F I C A C Y   A G E N C Y   S E L F ,   P 3 1 ;   D E C I   E L ,   1 9 7 1 ,   J   P E R S   S O C   P S Y C H O L ,   V 1 8 ,   P 1 0 5 ,   D O I   1 0 . 1 0 3 7 / h 0 0 3 0 6 4 4 ;   D e c i   E L ,   1 9 9 9 ,   P S Y C H O L   B U L L ,   V 1 2 5 ,   P 6 2 7 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 0 9 . 1 2 5 . 6 . 6 2 7 ;   D e c i   E L ,   2 0 0 0 ,   P S Y C H O L   I N Q ,   V 1 1 ,   P 2 2 7 ,   D O I   1 0 . 1 2 0 7 / S 1 5 3 2 7 9 6 5 P L I 1 1 0 4 _ 0 1 ;   D i a n a   R . ,   2 0 1 0 ,   C R O W D S O U R C I N G   I S   O U T ;   D i P a l a n t i n o   D ,   2 0 0 9 ,   1 0 T H   A C M   C O N F E R E N C E   O N   E L E C T R O N I C   C O M M E R C E   -   E C   2 0 0 9 ,   P 1 1 9 ;   F e l l e r   J . ,   2 0 0 2 ,   U N D E R S T A N D I N G   O P E N   S ;   G a g n e   M ,   2 0 0 5 ,   J   O R G A N   B E H A V ,   V 2 6 ,   P 3 3 1 ,   D O I   1 0 . 1 0 0 2 / j o b . 3 2 2 ;   G a l l i v a n   M J ,   2 0 0 1 ,   I N F O R M   S Y S T   J ,   V 1 1 ,   P 2 7 7 ,   D O I   1 0 . 1 0 4 6 / j . 1 3 6 5 - 2 5 7 5 . 2 0 0 1 . 0 0 1 0 8 . x ;   G i b s o n   J a m e s ,   1 9 7 9 ,   E C O L O G I C A L   A P P R O A C H ;   G i b s o n   J . J . ,   2 0 0 0 ,   E C O L O G I C A L   A P P R O A C H ;   G r e e n g a r d   S ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 2 0 ,   D O I   1 0 . 1 1 4 5 / 1 8 9 7 8 1 6 . 1 8 9 7 8 2 4 ;   H a r s   A ,   2 0 0 2 ,   I N T   J   E L E C T R O N   C O M M ,   V 6 ,   P 2 5 ;   H a r t s o n   R . ,   2 0 0 3 ,   B E H A V   I N F O R M   T E C H N O L ,   V 2 2 ,   P 3 1 5 ,   D O I   D O I   1 0 . 1 0 8 0 / 0 1 4 4 9 2 9 0 3 1 0 0 0 1 5 9 2 5 8 7 ;   H o r t o n   J . J . ,   2 0 1 0 ,   P   1 1   A C M   C   E L   C O M M ,   P 2 0 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 0 7 3 4 2 . 1 8 0 7 3 7 6 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   I s e n   A .   M ,   2 0 0 0 ,   H D B   E M O T I O N S ,   P 4 1 7 ;   K a n f e r   R . ,   1 9 9 1 ,   H D B   I N D   O R G   P S Y C H O L ;   K a z m a n   R ,   2 0 0 9 ,   C O M M U N   A C M ,   V 5 2 ,   P 7 6 ,   D O I   1 0 . 1 1 4 5 / 1 5 3 8 7 8 8 . 1 5 3 8 8 0 8 ;   K e   W L ,   2 0 0 9 ,   I N T   J   E L E C T R O N   C O M M ,   V 1 3 ,   P 3 9 ,   D O I   1 0 . 2 7 5 3 / J E C 1 0 8 6 - 4 4 1 5 1 3 0 4 0 3 ;   K r i s h n a m u r t h y   S . ,   2 0 0 6 ,   K n o w l e d g e   T e c h n o l o g y   &   P o l i c y ,   V 1 8 ,   D O I   1 0 . 1 0 0 7 / s 1 2 1 3 0 - 0 0 6 - 1 0 0 2 - x ;   L e i m e i s t e r   J M ,   2 0 0 9 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 6 ,   P 1 9 7 ,   D O I   1 0 . 2 7 5 3 / M I S 0 7 4 2 - 1 2 2 2 2 6 0 1 0 8 ;   L e p p e r   M .   R . ,   2 0 0 0 ,   I N T R I N S I C   E X T R I N S I C ,   P 2 5 7 ,   D O I   D O I   1 0 . 1 0 1 6 / B 9 7 8 - 0 1 2 6 1 9 0 7 0 - 0 / 5 0 0 3 2 - 5 ;   L o c k e   E A ,   2 0 0 4 ,   A C A D   M A N A G E   R E V ,   V 2 9 ,   P 3 8 8 ;   M a h e r   M L ,   2 0 1 0 ,   I N T   C   D E S   C O M P   C O G N ,   P 5 8 1 ;   M a l o n e   T .   W . ,   2 0 1 0 ,   4 7 3 2 0 9   M I T   S L O A N   S C H ;   M e y e r   J P ,   2 0 0 4 ,   J   A P P L   P S Y C H O L ,   V 8 9 ,   P 9 9 1 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 1 - 9 0 1 0 . 8 9 . 6 . 9 9 1 ;   N o r m a n   D . ,   1 9 8 8 ,   P S Y C H O L   E V E R Y D A Y   T H I ;   O s t e r l o h   M ,   2 0 0 0 ,   O R G A N   S C I ,   V 1 1 ,   P 5 3 9 ;   R e e v e   J . ,   2 0 0 5 ,   U N D E R S T A N D I N G   M O T I V A ;   R e n   Y ,   2 0 0 9 ,   S I M U L A T I N G   N E W C O M E R ;   R i e d l   C . ,   2 0 1 0 ,   P   2 0 1 0   I N T   C   I N F   S Y S ;   R o b e r t s   J A ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 9 8 4 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 5 4 ;   R o u s e   A . ,   2 0 1 0 ,   A C I S   2 0 1 0   P ;   R u s s e l l   J A ,   2 0 0 3 ,   P S Y C H O L   R E V ,   V 1 1 0 ,   P 1 4 5 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 5 X . 1 1 0 . 1 . 1 4 5 ;   R Y A N   R M ,   1 9 9 5 ,   J   P E R S ,   V 6 3 ,   P 3 9 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 6 4 9 4 . 1 9 9 5 . t b 0 0 5 0 1 . x ;   R y a n   R M ,   2 0 0 0 ,   A M   P S Y C H O L ,   V 5 5 ,   P 6 8 ,   D O I   1 0 . 1 0 3 7 / / 0 0 0 3 - 0 6 6 X . 5 5 . 1 . 6 8 ;   S c h e n k   E ,   2 0 0 9 ,   C R O W D S O U R C I N G   W H A T   C ;   S h a h   S K ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 1 0 0 0 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 5 3 ;   S t e w a r t   O . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 3 0 ,   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 8 9 5 ;   T e r w i e s c h   C ,   2 0 0 8 ,   M A N A G E   S C I ,   V 5 4 ,   P 1 5 2 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 8 0 . 0 8 8 4 ;   W e g g e   J ,   2 0 0 6 ,   B R I T   J   M A N A G E ,   V 1 7 ,   P 2 3 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 5 5 1 . 2 0 0 6 . 0 0 4 8 9 . x ;   W e i s s   H M ,   1 9 9 6 ,   R E S   O R G A N   B E H A V ,   V 1 8 ,   P 1 ;   W h i t l a   P . ,   2 0 0 9 ,   C O N T   M A N A G E M E N T   R E S ,   V 5 ,   P 1 5 ;   Y a n g   J ,   2 0 0 8 ,   E C ' 0 8 :   P R O C E E D I N G S   O F   T H E   2 0 0 8   A C M   C O N F E R E N C E   O N   E L E C T R O N I C   C O M M E R C E ,   P 2 4 6 ;   Z h a n g   P . ,   2 0 0 8 ,   A D V   A P P R E C I A T I V E   I N Q ,   V 2 ,   P 4 5 ;   Z h o n g   Q Y ,   2 0 1 1 ,   J   D A L I A N   U   T E C H N O L O G ,   V 3 2 ,   P 1 ;   Z i c h e r m a n n   G . ,   2 0 1 1 ,   C O M M U N   A C M ,   D O I   1 0 . 1 1 4 5 / 1 4 0 0 2 1 4 . 1 4 0 0 2 4 4 	 6 4 	 0 	 0 	 A L F R E D   U N I V 	 A L F R E D 	 O N E   S A X O N   D R ,   A L F R E D ,   N Y   1 4 8 0 2   U S A 	 	 	 9 7 8 - 0 - 9 8 0 0 5 1 0 - 5 - 6 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 4 2 9 	 4 3 9 	 	 	 	 1 1 	 B u s i n e s s ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 B E D 2 1 	 W O S : 0 0 0 3 1 6 1 5 6 9 0 0 0 5 6 	 	 
 S 	 H u ,   Z H ;   W u ,   W J 	 	 	 I E E E 	 H u ,   Z h e n g h u i ;   W u ,   W e n j u n 	 	 	 A   S a t e l l i t e   D a t a   P o r t a l   D e v e l o p e d   f o r   C r o w d s o u r c i n g   D a t a   A n a l y s i s   a n d   I n t e r p r e t a t i o n 	 2 0 1 2   I E E E   8 T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   E - S C I E N C E   ( E - S C I E N C E ) 	 P r o c e e d i n g   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   e - S c i e n c e   ( e - S c i e n c e ) 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   8 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   E - S c i e n c e   ( e - S c i e n c e ) 	 O C T   0 8 - 1 2 ,   2 0 1 2 	 C h i c a g o ,   I L 	 I E E E ,   I E E E   C o m p   S o c 	 	 r e m o t e   s e n s i n g ;   c r o w d s o u r c i n g ;   d a t a   a n a y s i s   a n d   i n t e r p r e t a t i o n ;   d a t a   p o r t a l ;   d a t a   d e l u g e 	 	 S a t e l l i t e   d a t a   p r o d u c t s   d e r i v e d   f r o m   t h e   r e m o t e   s e n s i n g   o b s e r v a t i o n s   d e s c r i b e   f e a t u r e s   o f   t h e   l a n d ,   o c e a n   a n d   a t m o s p h e r e .   A n d   b y   d a t a   p r o c e s s i n g ,   t h e y   c a n   b e   u s e d   t o   s t u d y   p r o c e s s e s   a n d   t r e n d s   o n   l o c a l / g l o b a l   s c a l e   f o r   r e a l - t i m e   e n v i r o n m e n t a l   r e s e a r c h   a n d   a p p l i c a t i o n s .   H o w e v e r ,   t h e   a d v a n c e s   o f   c u t t i n g - e d g e   r e m o t e   s e n s i n g   t e c h n o l o g y   b r i n g   t h e   c h a l l e n g e   o f   d a t a   d e l u g e   f o r   s a t e l l i t e   d a t a   a n a l y s i s   a n d   i n t e r p r e t a t i o n .   W i t h   c o m b i n a t i o n s   o f   h u m a n   i n t e l l i g e n c e   a n d   m a c h i n e   i n t e l l i g e n c e ,   w e   d e v e l o p   a   s a t e l l i t e   d a t a   p o r t a l   f o r   c r o w d s o u r c i n g   d a t a   a n a l y s i s   a n d   i n t e r p r e t a t i o n   t h r o u g h   t e a c h i n g   a n d   l e a r n i n g   t o   c o p e   w i t h   t h e   o v e r w h e l m i n g   d a t a   d e l u g e .   C o m p a r e d   w i t h   a l l   t h e   e x i s t i n g   d a t a   p o r t a l s   a n d   c r o w d s o u r c i n g   s y s t e m s ,   i t   i s   t h e   f i r s t   a t t e m p t   t o   e m b e d   c r o w d s o u r c i n g   i n t o   a   d a t a   p o r t a l   t o   p r o v i d e   i n t e g r a t e d   s e r v i c e s   o f   s a t e l l i t e   d a t a   a c c e s s   a n d   a n a l y s i s . 	 [ H u ,   Z h e n g h u i ;   W u ,   W e n j u n ]   B e i h a n g   U n i v ,   D e p t   C o m p   S c i   &   E n g n ,   S t a t e   K e y   L a b   S o f t w a r e   D e v   E n v i r o n m ,   B e i j i n g ,   P e o p l e s   R   C h i n a 	 H u ,   Z H   ( r e p r i n t   a u t h o r ) ,   B e i h a n g   U n i v ,   D e p t   C o m p   S c i   &   E n g n ,   S t a t e   K e y   L a b   S o f t w a r e   D e v   E n v i r o n m ,   B e i j i n g ,   P e o p l e s   R   C h i n a . 	 w a i a m l @ n l s d e . b u a a . e d u . c n ;   w w j @ n l s d e . b u a a . e d u . c n 	 	 	 	 	 A l e r e r   K a r l ,   2 0 1 1 ,   P   1 O   I N T   S E M   W E B   C ;   B a r r i n g t o n   L ,   2 0 1 1 ,   A N N   G E O P H Y S - I T A L Y ,   V 5 4 ,   P 6 8 0 ,   D O I   1 0 . 4 4 0 1 / a g - 5 3 2 4 ;   C h r i s t o p h e   E ,   2 0 1 0 ,   I N T   G E O S C I   R E M O T E   S E ,   P 1 4 3 0 ,   D O I   1 0 . 1 1 0 9 / I G A R S S . 2 0 1 0 . 5 6 4 8 8 3 3 ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   D o a n   A n h a i ,   2 0 0 9 ,   C R O W D S O U R C I N G   S Y S T E M ;   F r i t z   S ,   2 0 0 9 ,   R E M O T E   S E N S - B A S E L ,   V 1 ,   P 3 4 5 ,   D O I   1 0 . 3 3 9 0 / r s 1 0 3 0 3 4 5 ;   H e i p k e   C ,   2 0 1 0 ,   I S P R S   J   P H O T O G R A M M ,   V 6 5 ,   P 5 5 0 ,   D O I   1 0 . 1 0 1 6 / j . i s p r s j p r s . 2 0 1 0 . 0 6 . 0 0 5 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   K a l y a n a m   R a j e s h ,   2 0 0 7 ,   I N T   W O R K S H   G R I D   C O M P ;   L u t h e r   K u r t ,   2 0 1 1 ,   C H I   2 0 1 1   W O R K S H   C R O W ;   M e i e r   P a t r i c k ,   C R O W D S O U R C I N G   S A T E L L ;   M e i e r   P a t r i c k ,   B R U T E   F O R C E   U N E X P E C T ;   Y u e n   M . - C . ,   2 0 1 1 ,   P   3   I E E E   I N T   C   S O C   C ,   P 7 6 6 	 1 3 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 2 3 2 5 - 3 7 2 X 	 	 9 7 8 - 1 - 4 6 7 3 - 4 4 6 6 - 1 	 P   I E E E   I N T   C   E - S C I 	 	 	 2 0 1 2 	 	 	 	 	 	 	 	 	 	 	 	 8 	 C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B D W 6 1 	 W O S : 0 0 0 3 1 5 3 6 0 6 0 0 0 4 3 	 	 
 S 	 Y u ,   J ;   K e l l i n g ,   S ;   G e r b r a c h t ,   J ;   W o n g ,   W K 	 	 	 I E E E 	 Y u ,   J u n ;   K e l l i n g ,   S t e v e ;   G e r b r a c h t ,   J e f f ;   W o n g ,   W e n g - K e e n 	 	 	 A u t o m a t e d   D a t a   V e r i f i c a t i o n   i n   a   L a r g e - s c a l e   C i t i z e n   S c i e n c e   P r o j e c t :   a   C a s e   S t u d y 	 2 0 1 2   I E E E   8 T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   E - S C I E N C E   ( E - S C I E N C E ) 	 P r o c e e d i n g   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   e - S c i e n c e   ( e - S c i e n c e ) 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   8 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   E - S c i e n c e   ( e - S c i e n c e ) 	 O C T   0 8 - 1 2 ,   2 0 1 2 	 C h i c a g o ,   I L 	 I E E E ,   I E E E   C o m p   S o c 	 	 A p p l i c a t i o n s ;   C i t i z e n   S c i e n c e ;   C r o w d s o u r c i n g ;   D a t a   Q u a l i t y ;   D a t a   F i l t e r s ;   S p e c i e s   D i s t r i b u t i o n   M o d e l i n g 	 E S T I M A T I N G   S I T E   O C C U P A N C Y ;   T O O L 	 A l t h o u g h   c i t i z e n   s c i e n c e   p r o j e c t s   c a n   e n g a g e   a   v e r y   l a r g e   n u m b e r   o f   v o l u n t e e r s   t o   c o l l e c t   v o l u m e s   o f   d a t a ,   t h e y   a r e   s u s c e p t i b l e   t o   i s s u e s   w i t h   d a t a   q u a l i t y .   O u r   e x p e r i e n c e   w i t h   e B i r d ,   w h i c h   i s   a   b r o a d - s c a l e   c i t i z e n   s c i e n c e   p r o j e c t   t o   c o l l e c t   b i r d   o b s e r v a t i o n s ,   h a s   s h o w n   t h a t   a   m a s s i v e   e f f o r t   b y   v o l u n t e e r   e x p e r t s   i s   n e e d e d   t o   s c r e e n   d a t a ,   i d e n t i f y   o u t l i e r s   a n d   f l a g   t h e m   i n   t h e   d a t a b a s e .   T h e   i n c r e a s i n g   v o l u m e   o f   d a t a   b e i n g   c o l l e c t e d   b y   e B i r d   p l a c e s   a   h u g e   b u r d e n   o n   t h e s e   v o l u n t e e r   e x p e r t s   a n d   o t h e r   a u t o m a t e d   a p p r o a c h e s   t o   i m p r o v e   d a t a   q u a l i t y   a r e   n e e d e d .   I n   t h i s   w o r k ,   w e   d e s c r i b e   a   c a s e   s t u d y   i n   w h i c h   w e   e v a l u a t e   a n   a u t o m a t e d   d a t a   q u a l i t y   f i l t e r   t h a t   i m p r o v e s   d a t a   q u a l i t y   b y   i d e n t i f y i n g   o u t l i e r s   a n d   c a t e g o r i z i n g   t h e s e   o u t l i e r s   a s   e i t h e r   u n u s u a l   v a l i d   o b s e r v a t i o n s   o r   m i s - i d e n t i f i e d   ( i n v a l i d )   o b s e r v a t i o n s .   T h i s   a u t o m a t e d   d a t a   f i l t e r   i n v o l v e s   a   t w o - s t e p   p r o c e s s :   f i r s t ,   a   d a t a - d r i v e n   m e t h o d   d e t e c t s   o u t l i e r s   ( i e .   o b s e r v a t i o n s   t h a t   a r e   u n u s u a l   f o r   a   g i v e n   r e g i o n   a n d   d a t e ) .   N e x t ,   w e   u s e   a   d a t a   q u a l i t y   m o d e l   b a s e d   o n   a n   o b s e r v e r ' s   p r e d i c t e d   e x p e r t i s e   t o   d e c i d e   i f   a n   o u t l i e r   s h o u l d   b e   f l a g g e d   f o r   r e v i e w .   W e   a p p l i e d   t h i s   a u t o m a t e d   d a t a   f i l t e r   r e t r o s p e c t i v e l y   t o   e B i r d   d a t a   f r o m   T o m p k i n s   C o . ,   N Y   a n d   f o u n d   t h a t   t h a t   t h i s   a u t o m a t e d   p r o c e s s   s i g n i f i c a n t l y   r e d u c e d   t h e   w o r k l o a d   o f   r e v i e w e r s   b y   a s   m u c h   a s   4 3 %   a n d   i d e n t i f i e s   5 2 %   m o r e   p o t e n t i a l l y   i n v a l i d   o b s e r v a t i o n s . 	 [ Y u ,   J u n ;   W o n g ,   W e n g - K e e n ]   O r e g o n   S t a t e   U n i v ,   S c h   E E C S ,   C o r v a l l i s ,   O R   9 7 3 3 1   U S A 	 Y u ,   J   ( r e p r i n t   a u t h o r ) ,   O r e g o n   S t a t e   U n i v ,   S c h   E E C S ,   C o r v a l l i s ,   O R   9 7 3 3 1   U S A . 	 y u j u @ e e c s . o r e g o n s t a t e . e d u ;   s t k 2 @ c o r n e l l . e d u ;   j a g 7 3 @ c o r n e l l . e d u ;   w o n g @ e e c s . o r e g o n s t a t e . e d u 	 	 	 	 	 B o n n e y   R ,   2 0 0 9 ,   B I O S C I E N C E ,   V 5 9 ,   P 9 7 7 ,   D O I   1 0 . 1 5 2 5 / b i o . 2 0 0 9 . 5 9 . 1 1 . 9 ;   B u r l   M . ,   1 9 9 5 ,   A D V   N E U R A L   I N F O R M   P R ,   V 7 ,   P 1 0 8 5 ;   D a w i d   A . P . ,   1 9 7 9 ,   J   R O Y A L   S T A T   S O C   C ,   V 2 8 ,   P 2 0 ;   D E M P S T E R   A P ,   1 9 7 7 ,   J   R O Y   S T A T   S O C   B   M E T ,   V 3 9 ,   P 1 ;   D e n g   J ,   2 0 0 9 ,   P R O C   C V P R   I E E E ,   P 2 4 8 ;   D i c k i n s o n   J L ,   2 0 1 0 ,   A N N U   R E V   E C O L   E V O L   S ,   V 4 1 ,   P 1 4 9 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v - e c o l s y s - 1 0 2 2 0 9 - 1 4 4 6 3 6 ;   E r i c s s o n   K .   A . ,   1 9 9 4 ,   A M   P S Y C H O L ,   V 4 9 ,   P 5 2 5 ;   H o c h a c h k a   W M ,   2 0 1 2 ,   T R E N D S   E C O L   E V O L ,   V 2 7 ,   P 1 3 0 ,   D O I   1 0 . 1 0 1 6 / j . t r e e . 2 0 1 1 . 1 1 . 0 0 6 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   K e l l i n g   S . ,   2 0 1 1 ,   P r o c e e d i n g s   o f   t h e   2 0 1 1   I E E E   S e v e n t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   e - S c i e n c e   W o r k s h o p s   ( e S c i e n c e W   2 0 1 1 ) ,   D O I   1 0 . 1 1 0 9 / e S c i e n c e W . 2 0 1 1 . 1 3 ;   K e l l i n g   S ,   2 0 1 1 ,   C I T I Z E N   S C I   P U B L I C   C ;   K o l l e r   D . ,   2 0 0 9 ,   P R O B A B I L I S T I C   G R A P H I ;   L i n t o t t   C J ,   2 0 0 8 ,   M O N   N O T   R   A S T R O N   S O C ,   V 3 8 9 ,   P 1 1 7 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 9 6 6 . 2 0 0 8 . 1 3 6 8 9 . x ;   M a c K e n z i e   D I ,   2 0 0 2 ,   E C O L O G Y ,   V 8 3 ,   P 2 2 4 8 ,   D O I   1 0 . 2 3 0 7 / 3 0 7 2 0 5 6 ;   M a c K e n z i e   D I ,   2 0 0 3 ,   E C O L O G Y ,   V 8 4 ,   P 2 2 0 0 ,   D O I   1 0 . 1 8 9 0 / 0 2 - 3 0 9 0 ;   M u n s o n   M A ,   2 0 1 0 ,   M E T H O D S   E C O L   E V O L ,   V 1 ,   P 2 6 3 ,   D O I   1 0 . 1 1 1 1 / j . 2 0 4 1 - 2 1 0 X . 2 0 1 0 . 0 0 0 3 5 . x ;   M u n s o n   M . A . ,   2 0 1 1 ,   E B I R D   R E F E R E N C E   D A T A ;   N .   A .   B .   C .   I .   U .   S ,   2 0 1 1 ,   S T A T   B I R D S   2 0 1 1   R E P ;   R a y k a r   V .   C . ,   2 0 0 9 ,   P   2 6   A N N   I N T   C   M A C H ,   P 8 8 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 5 5 3 3 7 4 . 1 5 5 3 4 8 8 ;   S h e n g   V .   S . ,   2 0 0 8 ,   P   1 4   A C M   S I G K D D   I N T ,   P 6 1 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 0 1 8 9 0 . 1 4 0 1 9 6 5 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   S u l l i v a n   B L ,   2 0 0 9 ,   B I O L   C O N S E R V ,   V 1 4 2 ,   P 2 2 8 2 ,   D O I   1 0 . 1 0 1 6 / j . b i o c o n . 2 0 0 9 . 0 5 . 0 0 6 ;   T r u m b u l l   D J ,   2 0 0 0 ,   S C I   E D U C ,   V 8 4 ,   P 2 6 5 ,   D O I   1 0 . 1 0 0 2 / ( S I C I ) 1 0 9 8 - 2 3 7 X ( 2 0 0 0 0 3 ) 8 4 : 2 < 2 6 5 : : A I D - S C E 7 > 3 . 0 . C O ; 2 - 5 ;   W e l i n d e r   P . ,   2 0 1 0 ,   A D V   N E U R A L   I N F O R M   P R ,   V 2 3 ,   P 2 4 2 4 ;   W h i t e h i l l   J . ,   2 0 0 9 ,   A D V   N E U R A L   I N F O R M   P R ,   V 2 2 ,   P 2 0 3 5 ;   W o o d   C ,   2 0 1 1 ,   P L O S   B I O L ,   V 9 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p b i o . 1 0 0 1 2 2 0 ;   Y u   J . ,   2 0 1 0 ,   P   2 0 1 0   I E E E   I N T   C   D A ,   P 1 1 5 7 	 2 7 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 2 3 2 5 - 3 7 2 X 	 	 9 7 8 - 1 - 4 6 7 3 - 4 4 6 6 - 1 	 P   I E E E   I N T   C   E - S C I 	 	 	 2 0 1 2 	 	 	 	 	 	 	 	 	 	 	 	 8 	 C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B D W 6 1 	 W O S : 0 0 0 3 1 5 3 6 0 6 0 0 0 6 2 	 	 
 B 	 L e d e r a c h ,   J P 	 B o c k ,   J G 	 	 	 L e d e r a c h ,   J o h n   P a u l 	 B o c k ,   J G 	 	 C r o w d s o u r c i n g   d u r i n g   P o s t - e l e c t i o n   V i o l e n c e   i n   K e n y a 	 T E C H N O L O G Y   O F   N O N V I O L E N C E :   S O C I A L   M E D I A   A N D   V I O L E N C E   P R E V E N T I O N 	 	 	 E n g l i s h 	 A r t i c l e ;   B o o k   C h a p t e r 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 0 	 0 	 0 	 M I T   P R E S S 	 C A M B R I D G E 	 F I V E   C A M B R I D G E   C E N T E R ,   C A M B R I D G E ,   M A   0 2 1 4 2   U S A 	 	 	 9 7 8 - 0 - 2 6 2 - 3 0 6 4 6 - 1 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 1 0 5 	 + 	 	 	 	 2 7 	 C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   P o l i t i c a l   S c i e n c e ;   S o c i a l   S c i e n c e s ,   I n t e r d i s c i p l i n a r y 	 C o m p u t e r   S c i e n c e ;   G o v e r n m e n t   &   L a w ;   S o c i a l   S c i e n c e s   -   O t h e r   T o p i c s 	 B D R 3 2 	 W O S : 0 0 0 3 1 4 5 3 7 2 0 0 0 1 0 	 	 
 S 	 F e r n a n d e s ,   J ;   O l i v e i r a ,   P ;   S i l v a ,   C ;   M a r c e l i n o ,   L 	 	 V a r a j a o ,   J ;   C u n h a ,   M ;   Y e t t o n ,   P ;   R i j o ,   R 	 	 F e r n a n d e s ,   J o e l ;   O l i v e i r a ,   P e d r o ;   S i l v a ,   C a t a r i n a ;   M a r c e l i n o ,   L u i s 	 	 	 R o u t e   S o c i a l   N e t w o r k 	 4 T H   C O N F E R E N C E   O F   E N T E R P R I S E   I N F O R M A T I O N   S Y S T E M S   -   A L I G N I N G   T E C H N O L O G Y ,   O R G A N I Z A T I O N S   A N D   P E O P L E   ( C E N T E R I S   2 0 1 2 ) 	 P r o c e d i a   T e c h n o l o g y 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 4 t h   C o n f e r e n c e   o n   E N T E R p r i s e   I n f o r m a t i o n   S y s t e m s   ( C E N T E R I S )   -   A l i g n i n g   T e c h n o l o g y ,   O r g a n i z a t i o n s   a n d   P e o p l e   /   I n t e r n a t i o n a l   C o n f e r e n c e   o n   H e a l t h   a n d   S o c i a l   C a r e   I n f o r m a t i o n   S y s t e m s   a n d   T e c h n o l o g i e s   ( H C I S T ) 	 O C T   0 3 - 0 5 ,   2 0 1 2 	 P O R T U G A L 	 	 	 U r b a n   p r o b l e m s ;   m o b i l e   d e v e l o p m e n t ;   s o c i a l   n e t w o r k s ;   A n d r o i d 	 	 W h e n   a   p r o b l e m   o c c u r s   o n   t h e   r o a d ,   t r a f f i c   c a n   b e c o m e   a   r e a l   n i g h t m a r e .   E v e n   w i t h   c u r r e n t   r e s o u r c e s   a n d   t e c h n o l o g i e s ,   i t ' s   v e r y   d i f f i c u l t   t o   t r a c k   d o w n   e v e r y   r o a d   p r o b l e m ,   s u c h   a s   c a r   a c c i d e n t s ,   i c e   o r   w o r k   o n   t h e   r o a d ,   n a t u r a l   o b s t r u c t i o n s   a n d   m a n y   o t h e r s .   R o u t e   S o c i a l   N e t w o r k   ( R S N )   w a s   d e v e l o p e d   w i t h   o n e   m a i n   o b j e c t i v e :   l e t   d r i v e r s   b e   a w a r e   o f   t h o s e   p r o b l e m s   i n   t i m e ,   h e l p i n g   t h e m   a v o i d   t r a f f i c   j a m s   a n d   o t h e r   u n p l e a s a n t   s i t u a t i o n s .   T o   a c h i e v e   t h e s e   g o a l s ,   o n l y   a   s m a r t p h o n e   w i t h   G P S   a n d   I n t e r n e t / 3 G   a c c e s s   w a s   d e e m e d   r e q u i r e d .   T h e   A n d r o i d   p l a t f o r m   w a s   c h o s e n   a s   t h e   i n i t i a l   t a r g e t   o f   t h i s   a p p l i c a t i o n ,   b e c a u s e   i t   h a s   t h e   m a j o r i t y   o f   t h e   s m a r t p h o n e s '   m a r k e t - s h a r e .   T h i s   f a c t   i s   r e l e v a n t   b e c a u s e   t h e   a m o u n t   o f   i n f o r m a t i o n   t h a t   f l o w s   t h r o u g h   t h e   s y s t e m   i s   r e l a t e d   t o   t h e   n u m b e r   o f   u s e r s   t h a t   u s e   t h e   s y s t e m .   I n   f a c t ,   R S N   d e p e n d s   o n   c r o w d s o u r c i n g ,   s i n c e   d r i v e r s   h a v e   a n   a c t i v e   r o l e   i n   t h i s   s y s t e m :   t h e y   c a n   a n d   a r e   e n c o u r a g e d   t o   a d d   p r o b l e m s   t o   t h e   m a p ,   c o m m e n t   a b o u t   e x i s t i n g   i s s u e s   a n d   r e p o r t   s o l v e d   s i t u a t i o n s ,   t r i g g e r i n g   a   s o c i a l   n e t w o r k   e f f e c t .   P r e l i m i n a r y   r e s u l t s   w i t h   r e a l   u s e r s   w e r e   v e r y   e n c o u r a g i n g   a n d   c o n f i r m e d   t h a t   t h e   m o r e   u s e r s   a r e   c o n n e c t e d ,   b e t t e r   i s   t h e   f l o w   o f   i n f o r m a t i o n .   ( C )   2 0 1 2   P u b l i s h e d   b y   E l s e v i e r   L t d .   S e l e c t i o n   a n d / o r   p e e r   r e v i e w   u n d e r   r e s p o n s i b i l i t y   o f   C E N T E R I S / S C I K A   -   A s s o c i a t i o n   f o r   P r o m o t i o n   a n d   D i s s e m i n a t i o n   o f   S c i e n t i f i c   K n o w l e d g e 	 [ F e r n a n d e s ,   J o e l ;   O l i v e i r a ,   P e d r o ;   S i l v a ,   C a t a r i n a ;   M a r c e l i n o ,   L u i s ]   P o l y t e c h   I n s t   L e i r i a ,   S c h   T e c h n o l   &   M a n a g e m e n t ,   L e i r i a ,   P o r t u g a l 	 M a r c e l i n o ,   L   ( r e p r i n t   a u t h o r ) ,   P o l y t e c h   I n s t   L e i r i a ,   S c h   T e c h n o l   &   M a n a g e m e n t ,   L e i r i a ,   P o r t u g a l . 	 l u i s . m a r c e l i n o @ i p l e i r i a . p t 	 	 	 	 	 E l l i s L a b   I n c . ,   2 0 1 2 ,   C O D E I G N I T E R   O P   S O U R C ;   E s t r a d a s   d e   P o r t u g a l ,   P O R T   T R A F ;   G o o g l e ,   2 0 1 2 ,   A V   T R A F F   D A T ;   G o o g l e   I n c ,   2 0 1 2 ,   K M L   D O C   I N T R   G O O G L   C ;   G o o g l e   I n c ,   2 0 1 2 ,   P L A T F   V E R S   A N D R   D E V ;   G o o g l e   I n c ,   2 0 1 2 ,   D E S   P E R F   A N D R   D E V   W E ;   K r u g   S . ,   2 0 0 9 ,   V O I C E S   M A T T E R   S E R I E S ;   N i e l s e n   J . ,   2 0 0 6 ,   Q U A N T I T A T I V E   S T U D I E S ;   T o m T o m   I n t e r n a t i o n a l ,   2 0 1 2 ,   T O M T O M   H D   T R A F F ;   W a z e   M o b i l e ,   2 0 1 2 ,   F R E E   G P S   N A V   T U R N   T U 	 1 0 	 0 	 0 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 S A R A   B U R G E R H A R T S T R A A T   2 5 ,   P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 2 2 1 2 - 0 1 7 3 	 	 	 P R O C   T E C H 	 	 	 2 0 1 2 	 5 	 	 	 	 	 	 5 4 7 	 5 5 5 	 	 1 0 . 1 0 1 6 / j . p r o t c y . 2 0 1 2 . 0 9 . 0 6 0 	 	 9 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s 	 C o m p u t e r   S c i e n c e 	 B D Q 6 1 	 W O S : 0 0 0 3 1 4 4 6 9 1 0 0 0 6 0 	 	 
 S 	 G a r r i d o ,   P ;   F a r i a ,   N 	 	 V a r a j a o ,   J ;   C u n h a ,   M ;   Y e t t o n ,   P ;   R i j o ,   R 	 	 G a r r i d o ,   P a u l o ;   F a r i a ,   N e l s o n 	 	 	 M O D S S O   -   A   M a n a g e r - c e n t r i c   G l o b a l   D e c i s i o n   S u p p o r t   S y s t e m   f o r   O r g a n i z a t i o n s 	 4 T H   C O N F E R E N C E   O F   E N T E R P R I S E   I N F O R M A T I O N   S Y S T E M S   -   A L I G N I N G   T E C H N O L O G Y ,   O R G A N I Z A T I O N S   A N D   P E O P L E   ( C E N T E R I S   2 0 1 2 ) 	 P r o c e d i a   T e c h n o l o g y 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 4 t h   C o n f e r e n c e   o n   E N T E R p r i s e   I n f o r m a t i o n   S y s t e m s   ( C E N T E R I S )   -   A l i g n i n g   T e c h n o l o g y ,   O r g a n i z a t i o n s   a n d   P e o p l e   /   I n t e r n a t i o n a l   C o n f e r e n c e   o n   H e a l t h   a n d   S o c i a l   C a r e   I n f o r m a t i o n   S y s t e m s   a n d   T e c h n o l o g i e s   ( H C I S T ) 	 O C T   0 3 - 0 5 ,   2 0 1 2 	 P O R T U G A L 	 	 	 d e c i s i o n   s u p p o r t   s y s t e m ;   f o r m a l   d e c i s i o n   p r o c e s s ;   c r o w d s o u r c i n g   o f   d e c i s i o n ;   c o l l e c t i v e   i n t e l l i g e n c e 	 	 T h e   g o a l   o f   t h i s   p a p e r   i s   t o   d e s c r i b e   a   s e t   o f   s t r u c t u r e d   c o n c e p t s   f o r   t h e   d e s i g n   o f   s o f t w a r e   s y s t e m s   s u p p o r t i n g   t h e   g l o b a l   d e c i s i o n   p r o c e s s   i n   a n   e n t e r p r i s e   o r   o r g a n i z a t i o n .   T h e   c o n c e p t s   h a s   a s   e l e m e n t s :   i )   e a c h   m a n a g e r   h a s   a v a i l a b l e   a   d e c i s i o n   d a s h b o a r d   t o   s u p p o r t ,   i n   a   f r a m e w o r k   o f   d e c i s i o n   t h e o r y ,   t h e   f l u x   o f   d e c i s i o n - m a k i n g   f o r   w h i c h   h e   o r   s h e   i s   r e s p o n s i b l e ;   i i )   t h e   d a s h b o a r d s   a l s o   a l l o w   m a n a g e r s   c r o w d s o u r c i n g   f r o m   n o n - m a n a g e r s   d i f f e r e n t   a s p e c t s   o f   d e c i s i o n   i i i )   t h e   d a s h b o a r d s   a r e   c o n n e c t e d   i n   a   c o n v e r s a t i o n a l   n e t w o r k ;   i v )   t h i s   c o n v e r s a t i o n a l   n e t w o r k   i s   s o   s t r u c t u r e d   t o   s u p p o r t   t h e   g l o b a l   d e c i s i o n   p r o c e s s   o f   t h e   o r g a n i z a t i o n .   A n   e x a m p l e   o f   i m p l e m e n t a t i o n ' s   a r c h i t e c t u r e   f o r   t h e   c o n c e p t   w i l l   b e   d e s c r i b e d .   ( C )   2 0 1 2   P u b l i s h e d   b y   E l s e v i e r   L t d .   S e l e c t i o n   a n d / o r   p e e r   r e v i e w   u n d e r   r e s p o n s i b i l i t y   o f   C E N T E R I S / S C I K A   -   A s s o c i a t i o n   f o r   P r o m o t i o n   a n d   D i s s e m i n a t i o n   o f   S c i e n t i f i c   K n o w l e d g e 	 [ G a r r i d o ,   P a u l o ]   U n i v   M i n h o ,   P - 4 8 0 0 0 5 8   G u i m a r a e s ,   P o r t u g a l 	 G a r r i d o ,   P   ( r e p r i n t   a u t h o r ) ,   U n i v   M i n h o ,   C a m p u s   A z u r e m ,   P - 4 8 0 0 0 5 8   G u i m a r a e s ,   P o r t u g a l . 	 p g a r r i d o @ d e i . u m i n h o . p t 	 	 	 	 	 F a r i a   N . ,   2 0 0 8 ,   T H E S I S   U   M I N H O ;   G a r r i d o   P . ,   2 0 0 9 ,   P   C E N T E R I S   2 0 0 9   C   E N ,   P 5 6 3 ;   G a r r i d o   P . ,   2 0 0 8 ,   P   C O N T R O L O   2 0 0 8   8   P O ;   G a r r i d o   P . ,   2 0 1 0 ,   E N T E R P R I S E   I N F O R M   S Y ,   P 1 1 8 ;   H e y l i g h e n   F . ,   1 9 9 9 ,   C o m p u t a t i o n a l   &   M a t h e m a t i c a l   O r g a n i z a t i o n   T h e o r y ,   V 5 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 0 9 6 9 0 4 0 7 2 9 2 ;   I B M ,   2 0 0 7 ,   T A P P   C O L L   I N T   L E V   W I ;   M a l o n e   T ,   2 0 1 0 ,   M I T   S L O A N   M A N A G E M E N T ,   V 5 1 ;   N e w e l l   A . ,   1 9 7 2 ,   H U M A N   P R O B L E M   S O L V I N ;   S i m o n   H   A ,   1 9 7 6 ,   A D M   B E H A V ;   S t a c e y   R .   D . ,   2 0 0 0 ,   S T R A T E G I C   M A N A G E M E N T ;   S u r o w i e c k i   J a m e s ,   2 0 0 5 ,   W I S D O M   C R O W D S 	 1 1 	 0 	 0 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 S A R A   B U R G E R H A R T S T R A A T   2 5 ,   P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 2 2 1 2 - 0 1 7 3 	 	 	 P R O C   T E C H 	 	 	 2 0 1 2 	 5 	 	 	 	 	 	 6 1 6 	 6 2 4 	 	 1 0 . 1 0 1 6 / j . p r o t c y . 2 0 1 2 . 0 9 . 0 6 8 	 	 9 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s 	 C o m p u t e r   S c i e n c e 	 B D Q 6 1 	 W O S : 0 0 0 3 1 4 4 6 9 1 0 0 0 6 8 	 	 
 S 	 P e d r o ,   S D S ;   H r u s c h k a ,   E R 	 	 P a v o n ,   J ;   D u q u e M e n d e z ,   N D ;   F u e n t e s F e r n a n d e z ,   R 	 	 P e d r o ,   S a u l o   D .   S . ;   H r u s c h k a ,   E s t e v a m   R . ,   J r . 	 	 	 C o n v e r s i n g   L e a r n i n g :   A c t i v e   L e a r n i n g   a n d   A c t i v e   S o c i a l   I n t e r a c t i o n   f o r   H u m a n   S u p e r v i s i o n   i n   N e v e r - E n d i n g   L e a r n i n g   S y s t e m s 	 A D V A N C E S   I N   A R T I F I C I A L   I N T E L L I G E N C E   -   I B E R A M I A   2 0 1 2 	 L e c t u r e   N o t e s   i n   A r t i f i c i a l   I n t e l l i g e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 3 t h   B i e n n i a l   I b e r o - A m e r i c a n   C o n f e r e n c e   o n   A r t i f i c i a l   I n t e l l i g e n c e   ( A I ) 	 N O V   1 3 - 1 6 ,   2 0 1 2 	 C a r t a g e n a   d e   I n d i a s ,   C O L O M B I A 	 U n i v   N a c l   C o l o m b i a ,   S o c   C o l o m b i a n a   C o m p u t a c i o n   ( S C o 2 ) ,   U n i v   T e c n o l o g i c a   B o l i v a r   C a r t a g e n a ,   U n i v   C a l d a s ,   U n i v   T e c n o l o g i c a   P e r e i r a ,   S o c   B r a s i l e i r a   C o m p u t a c a o   ( S B C ) ,   A s o c i a c i o n   E s p a n o l a   I n t e l i g e n c i a   A r t i f i c i a l   ( A E P I A ) ,   S o c   M e x i c a n a   I n t e l i g e n c i a   A r t i f i c i a l   ( S M I A ) ,   A s s o c   P o r t u g u e s a   I n t e l i g e n c i a   A r t i f i c i a l   ( A P P I A ) ,   S o c   C u b a n a   M a t e m a t i c a   &   C o m p u t a c i o n   ( S C M C ) ,   S o c   P e r u a n a   I n t e l i g e n c i a   A r t i f i c i a l   ( S P I A ) ,   A s o c i a c i o n   A r g e n t i n a   I n t e l i g e n c i a   A r t i f i c i a l   ( A A I A ) ,   S o c   B r a s i l e i r a   I n t e l i g e n c i a   C o m p u t a c i o n   ( S B I C ) 	 	 m a c h i n e   l e a r n i n g ;   s o c i a l   w e b ;   c r o w d s o u r c i n g ;   s e l f - s u p e r v i s i o n ;   n e v e r - e n d i n g   l e a r n i n g   s y s t e m 	 	 T h e   M a c h i n e   L e a r n i n g   c o m m u n i t y   h a v e   b e e n   i n t r o d u c e d   t o   N E L L   ( N e v e r - E n d i n g   L a n g u a g e   L e a r n i n g ) ,   a   s y s t e m   a b l e   t o   l e a r n   f r o m   w e b   a n d   t o   u s e   i t s   k n o w l e d g e   t o   k e e p   l e a r n i n g   i n f i n i t e l y .   T h e   i d e a   o f   c o n t i n u o u s l y   l e a r n i n g   f r o m   t h e   w e b   b r i n g s   c o n c e r n s   a b o u t   r e l i a b i l i t y   a n d   a c c u r a c y ,   m a i n l y   w h e n   t h e   l e a r n i n g   p r o c e s s   u s e s   i t s   o w n   k n o w l e d g e   t o   i m p r o v e   i t s   l e a r n i n g   c a p a b i l i t i e s .   C o n s i d e r i n g   t h a t   t h e   k n o w l e d g e   b a s e   k e e p s   g r o w i n g   f o r e v e r ,   s u c h   a   s y s t e m   r e q u i r e s   s e l f - s u p e r v i s i o n   a s   w e l l   a s   s e l f - r e f l e c t i o n .   T h e   i n c r e a s e d   u s e   o f   t h e   I n t e r n e t ,   t h a t   a l l o w e d   N E L L   c r e a t i o n ,   a l s o   b r o u g h t   a   n e w   s o u r c e   o f   i n f o r m a t i o n   o n - l i n e .   T h e   s o c i a l   m e d i a   b e c o m e s   m o r e   p o p u l a r   e v e r y d a y   a n d   t h e   A I   c o m m u n i t y   c a n   n o w   d e v e l o p   r e s e a r c h   t o   t a k e   a d v a n t a g e   o f   t h e s e   i n f o r m a t i o n ,   a i m i n g   t o   t u r n   i t   i n t o   k n o w l e d g e .   T h i s   w o r k   i s   f o l l o w i n g   t h i s   l e a d   a n d   p r o p o s e s   a   n e w   m a c h i n e   l e a r n i n g   a p p r o a c h ,   c a l l e d   C o n v e r s i n g   L e a r n i n g ,   t o   u s e   c o l l e c t i v e   k n o w l e d g e   f r o m   w e b   c o m m u n i t y   u s e r s   t o   p r o v i d e   s e l f - s u p e r v i s i o n   a n d   s e l f - r e f l e c t i o n   t o   i n t e l l i g e n t   m a c h i n e s ,   t h u s ,   t h e y   c a n   i m p r o v e   t h e i r   l e a r n i n g   t a s k .   T h e   C o n v e r s i n g   L e a r n i n g   a p p r o a c h   e x p l o r e s   c o n c e p t s   f r o m   A c t i v e   L e a r n i n g   a n d   Q u e s t i o n   A n s w e r i n g   t o   a c h i e v e   t h e   g o a l   o f   s h o w i n g   w h a t   c a n   b e   d o n e   t o w a r d s   a u t o n o m o u s   H u m a n   C o m p u t e r   I n t e r a c t i o n   t o   a u t o m a t i c a l l y   i m p r o v e   m a c h i n e   l e a r n i n g   t a s k s . 	 [ P e d r o ,   S a u l o   D .   S . ;   H r u s c h k a ,   E s t e v a m   R . ,   J r . ]   U n i v   F e d   S a o   C a r l o s ,   U F S C a r   S a o   C a r l o s ,   B R - 1 3 5 6 0   S a o   C a r l o s ,   S P ,   B r a z i l 	 P e d r o ,   S D S   ( r e p r i n t   a u t h o r ) ,   U n i v   F e d   S a o   C a r l o s ,   U F S C a r   S a o   C a r l o s ,   B R - 1 3 5 6 0   S a o   C a r l o s ,   S P ,   B r a z i l . 	 	 	 	 	 	 B u r k e   R . D . ,   1 9 9 7 ,   Q U E S T I O N   A N S W E R I N G   F ;   C a r l s o n   A . ,   2 0 1 0 ,   2 4   C   A R T   I N T   A A A I   2 0 ,   P 1 3 0 6 ;   C o h n   D A ,   1 9 9 6 ,   J   A R T I F   I N T E L L   R E S ,   V 4 ,   P 1 2 9 ;   D u m a i s   S . ,   2 0 0 2 ,   2 5   A N N   I N T   A C M   S I G I R ,   P 2 9 1 ;   G o d b o l e   S ,   2 0 0 4 ,   L E C T   N O T E S   A R T I F   I N T ,   V 3 2 0 2 ,   P 1 8 5 ;   G R U B E R   T ,   2 0 0 7 ,   W E B   S E M A N T I C S   S C I   S E ,   D O I   D O I   1 0 . 1 0 1 6 / J . W E B S E M . 2 0 0 7 . 1 1 . 0 1 1 ;   P e d r o   S . D . S . ,   2 0 1 2 ,   4   I N T   W O R K S H   W E B   I N T ,   P 5 ;   R i t t e r   A . ,   2 0 1 1 ,   2 0 1 1   C   E M P   M E T H   N A T ,   P 5 8 3 ;   S e t t l e s   B . ,   2 0 1 2 ,   A C T I V E   L E A R N I N G   S Y N T ,   V 6 ;   S e t t l e s   B . ,   2 0 1 1 ,   2 0 1 1   C   E M P   M E T H   N A T ,   P 1 4 6 7 ;   W a g n e r   C . ,   2 0 1 0 ,   3   I N T   S E M   S E A R C H   W O R ,   P 6 	 1 1 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 3 4 6 5 3 - 8 	 L E C T   N O T E S   A R T I F   I N T 	 	 	 2 0 1 2 	 7 6 3 7 	 	 	 	 	 	 2 3 1 	 2 4 0 	 	 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B D O 5 6 	 W O S : 0 0 0 3 1 4 2 2 7 7 0 0 0 2 4 	 	 
 S 	 T r u j i l l o ,   J ;   M a t e ,   A 	 	 A u f a u r e ,   M A ;   Z i m a n y i ,   E 	 	 T r u j i l l o ,   J u a n ;   M a t e ,   A l e j a n d r o 	 	 	 B u s i n e s s   I n t e l l i g e n c e   2 . 0 :   A   G e n e r a l   O v e r v i e w 	 B U S I N E S S   I N T E L L I G E N C E 	 L e c t u r e   N o t e s   i n   B u s i n e s s   I n f o r m a t i o n   P r o c e s s i n g 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 s t   E u r o p e a n   B u s i n e s s   I n t e l l i g e n c e   S u m m e r   S c h o o l 	 J U L   0 3 - 0 8 ,   2 0 1 1 	 P a r i s ,   F R A N C E 	 E c o l e   C e n t r a l e   P a r i s ,   M A S   L a b ,   U n i v   L i b r e   B r u x e l l e s ,   D e p t   C o m p   &   D e c i s   E n g n 	 	 D a t a   w a r e h o u s e s ;   b u s i n e s s   i n t e l l i g e n c e   2 . 0 ;   w e b   2 . 0 ;   r e a l - t i m e ;   c l o u d   c o m p u t i n g ;   c o l l a b o r a t i v e   B I ;   s o c i a l   n e t w o r k s ;   c o l l e c t i v e   i n t e l l i g e n c e ;   c r o w d s o u r c i n g 	 D A T A   W A R E H O U S E S ;   W E B ;   U M L 	 B u s i n e s s   I n t e l l i g e n c e   ( B I )   s o l u t i o n s   a l l o w   d e c i s i o n   m a k e r s   t o   q u e r y ,   u n d e r s t a n d ,   a n d   a n a l y z e   b u s i n e s s   d a t a   i n   o r d e r   t o   m a k e   b e t t e r   d e c i s i o n s .   H o w e v e r ,   a s   t h e   t e c h n o l o g y   a n d   s o c i e t y   e v o l v e ,   f a s t e r   a n d   b e t t e r   i n f o r m e d   d e c i s i o n s   a r e   r e q u i r e d .   N o w a d a y s ,   i t   i s   n o t   e n o u g h   t o   u s e   o n l y   t h e   i n f o r m a t i o n   f r o m   t h e   o w n   o r g a n i z a t i o n   a n d   m a k i n g   i s o l a t e d   d e c i s i o n s ,   b u t   r a t h e r   r e q u i r i n g   a l s o   t o   i n c l u d e   i n f o r m a t i o n   p r e s e n t   i n   t h e   w e b   l i k e   o p i n i o n s   o r   i n f o r m a t i o n   a b o u t   c o m p e t i t o r s ,   w h i l e   u s i n g   c o l l e c t i v e   i n t e l l i g e n c e ,   c o l l a b o r a t i n g   t h r o u g h   s o c i a l   n e t w o r k s ,   a n d   s u p p o r t i n g   t h e   B I   s y s t e m   w i t h   c l o u d   c o m p u t i n g .   I n   r e s p o n s e   t o   t h i s   s i t u a t i o n ,   a   v i s i o n   o f   a   n e w   g e n e r a t i o n   o f   B I ,   B I   2 . 0 ,   b a s e d   o n   t h e   e v o l u t i o n   o f   t h e   w e b   a n d   t h e   e m e r g i n g   t e c h n o l o g i e s ,   a r i s e s .   H o w e v e r ,   r e s e a r c h e r s   d i f f e r   i n   t h e i r   v i s i o n   o f   t h i s   B I   e v o l u t i o n .   I n   t h i s   p a p e r ,   w e   p r o v i d e   a n   o v e r v i e w   o f   t h e   a s p e c t s   p r o p o s e d   t o   b e   i n c l u d e d   i n   B I   2 . 0 .   W e   d e s c r i b e   w h i c h   s u c c e s s   f a c t o r s   a n d   t e c h n o l o g i e s   h a v e   m o t i v a t e d   e a c h   a s p e c t .   F i n a l l y ,   w e   r e v i e w   h o w   t o o l   d e v e l o p e r s   a r e   i n c l u d i n g   t h e s e   n e w   f e a t u r e s   i n   t h e   n e x t   g e n e r a t i o n   o f   B I   s o l u t i o n s . 	 [ T r u j i l l o ,   J u a n ;   M a t e ,   A l e j a n d r o ]   U n i v   A l i c a n t e ,   L u c e n t i a   R e s   G r p ,   D e p t   S o f t w a r e   &   C o m p   S y s t ,   A l i c a n t e ,   S p a i n 	 T r u j i l l o ,   J   ( r e p r i n t   a u t h o r ) ,   U n i v   A l i c a n t e ,   L u c e n t i a   R e s   G r p ,   D e p t   S o f t w a r e   &   C o m p   S y s t ,   A l i c a n t e ,   S p a i n . 	 j t r u j i l l o @ d l s i . u a . e s ;   a m a t e @ d l s i . u a . e s 	 	 	 	 	 A b e l l o   A ,   2 0 0 6 ,   I N F O R M   S Y S T ,   V 3 1 ,   P 5 4 1 ,   D O I   1 0 . 1 0 1 6 / j . i s . 2 0 0 4 . 1 2 . 0 0 2 ;   A r m b r u s t   M . ,   2 0 0 9 ,   T E C H N I C A L   R E P O R T ;   B a l a h u r   A . ,   2 0 1 1 ,   B U S I N E S S   I N T E L L I G E N C ;   B e r k h i n   P a v e l ,   2 0 0 6 ,   G R O U P I N G   M U L T I D I M E N S ,   V 1 0 ,   P 2 5 ;   B e r l a n g a   R . ,   2 0 1 1 ,   B U S I N E S S   I N T E L L I G E N C ;   B e r t h o l d   E L ,   2 0 1 1 ,   B U S I N E S S   I N T E L L I G E N C ;   B e t a n y e b   F . ,   2 0 1 1 ,   B U S I N E S S   I N T E L L I G E N C ;   B h o w m i c k   S S ,   1 9 9 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 1 5 5 2 ,   P 9 3 ;   B i z e r   C ,   2 0 0 9 ,   I N T   J   S E M A N T   W E B   I N F ,   V 5 ,   P 1 ,   D O I   1 0 . 4 0 1 8 / j s w i s . 2 0 0 9 0 8 1 9 0 1 ;   B y u n g - K w o n   P . ,   2 0 1 1 ,   B U S I N E S S   I N T E L L I G E N C ;   E s s a i d i   M . ,   2 0 1 1 ,   B U S I N E S S   I N T E L L I G E N C ;   F e r r a n d e z   A . ,   2 0 1 0 ,   P   2 0 1 0   E D B T   I C D T   W O R ,   P 1 5 ;   F r i e d r i c h   F . ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T E R ,   V 6 7 4 1 ,   P 4 8 2 ;   G a r t n e r   G r o u p :   G a r t n e r   G r o u p   B I   R e v e n u e   A n a l y s i s ,   2 0 0 9 ,   G A R T N   G R O U P   B I   R E V   A ;   G i o r g i n i   P ,   2 0 0 8 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 5 ,   P 4 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 6 . 1 2 . 0 0 1 ;   G o l f a r e l l i   M . ,   2 0 0 4 ,   P   7   A C M   I N T   W O R K S H   D ,   P 1 ,   D O I   1 0 . 1 1 4 5 / 1 0 3 1 7 6 3 . 1 0 3 1 7 6 5 ;   G o l f a r e l l i   M . ,   2 0 1 1 ,   B U S I N E S S   I N T E L L I G E N C ;   G r e g   N ,   B U S I N E S S   I N T E L L I G E N C ;   G r i g o r i   D ,   2 0 0 4 ,   C O M P U T   I N D ,   V 5 3 ,   P 3 2 1 ,   D O I   1 0 . 1 0 1 6 / j . c o m p i n d . 2 0 0 3 . 1 0 . 0 0 7 ;   G r u b e r   T ,   2 0 0 8 ,   J   W E B   S E M A N T ,   V 6 ,   P 4 ,   D O I   1 0 . 1 0 1 6 / j . w e b s e m . 2 0 0 7 . 1 1 . 0 1 1 ;   H o w e   J . ,   2 0 0 9 ,   C R O W D S O U R C I N G   W H Y   P O ;   I B M ,   2 0 1 1 ,   N E T   D A T   A P P L   A R C H   P L ;   I B M ,   2 0 1 1 ,   C O G N   B U S   I N T ;   I n m o n   W . ,   2 0 0 9 ,   B U I L D I N G   D A T A   W A R E H O ;   K i m b a l l   R . ,   2 0 0 9 ,   D A T A   W A R E H O U S E   T O O L K ;   L u j a n - M o r a   S ,   2 0 0 6 ,   D A T A   K N O W L   E N G ,   V 5 9 ,   P 7 2 5 ,   D O I   1 0 . 1 0 1 6 / j . d a t a k . 2 0 0 5 . 1 1 . 0 0 4 ;   M a r o t t a   A . ,   2 0 1 1 ,   B U S I N E S S   I N T E L L I G E N C ;   M a t e   A . ,   2 0 1 1 ,   L N C S ,   V 6 7 4 1 ,   P 1 2 3 ;   M a z o n   J N ,   2 0 0 8 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 5 ,   P 4 1 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 6 . 1 2 . 0 0 3 ;   M a z o n   J . - N . ,   2 0 0 9 ,   A C M   S I G M O D   R E C O R D ,   V 3 8 ,   P 1 2 ;   M a z o n   J N ,   2 0 0 7 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 8 0 1 ,   P 5 6 ;   M i c r o s o f t ,   2 0 1 1 ,   M I C R   B U S   I N T ;   M i c r o s t r a t e g y ,   2 0 1 1 ,   M I C R O S T R A T E G Y   B U S   I N ;   O ' R e i l l y   T . ,   2 0 0 7 ,   C O M M U N I C A T I O N S   S T R A T ,   V 6 5 ,   P 1 7 ;   O r a c l e ,   2 0 1 1 ,   T E C H N   O V   O R   E X   D A T   M ;   P a l l o t t a   V . ,   I N T E R A C T I O N   B U S I N E S S ;   P e d e r s e n   T B ,   2 0 0 4 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 1 8 1 ,   P 1 7 9 ;   P e n t a h o ,   2 0 1 1 ,   P E N T   B U S   I N T ;   P e n t e o ,   2 0 1 1 ,   T E N D   B I   E S P ;   R i z z i   S ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 2 9 5 ,   P 2 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 5 5 7 6 - 5 _ 4 ;   S A P   A G ,   2 0 1 1 ,   S A P   B U S   I N T ;   S a p i a   C ,   2 0 0 4 ,   A D V   D A T A B A S E   T E C H N O L ;   S A S ,   2 0 1 1 ,   S A S   B U S   I N T ;   T h i e l e   M . ,   2 0 1 1 ,   B U S I N E S S   I N T E L L I G E N C ;   T r y f o n a   N . ,   1 9 9 9 ,   P   A C M   2   I N T   W O R K S H   D ,   P 3 ,   D O I   1 0 . 1 1 4 5 / 3 1 9 7 5 7 . 3 1 9 7 7 6 ;   W e i s s   S .   M . ,   1 9 9 8 ,   P R E D I C T I V E   D A T A   M I N I ;   Y u   E ,   1 9 9 5 ,   T H E S I S   U   T O R O N T O   T O R ;   Z o r r i l l a   M .   E . ,   2 0 1 1 ,   B U S I N E S S   I N T E L L I G E N C 	 4 8 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 1 8 6 5 - 1 3 4 8 	 	 9 7 8 - 3 - 6 4 2 - 2 7 3 5 7 - 5 	 L E C T   N O T E S   B U S   I N F   P 	 	 	 2 0 1 2 	 9 6 	 	 	 	 	 	 9 8 	 1 1 6 	 	 	 	 1 9 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 B D M 1 2 	 W O S : 0 0 0 3 1 3 7 6 6 2 0 0 0 0 5 	 	 
 S 	 V o s s ,   J 	 	 D o d e r o ,   J M ;   P a l o m o D u a r t e ,   M ;   K a r a m p i p e r i s ,   P 	 	 V o s s ,   J a k o b 	 	 	 L i n k i n g   F o l k s o n o m i e s   t o   K n o w l e d g e   O r g a n i z a t i o n   S y s t e m s 	 M E T A D A T A   A N D   S E M A N T I C S   R E S E A R C H 	 C o m m u n i c a t i o n s   i n   C o m p u t e r   a n d   I n f o r m a t i o n   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 6 t h   R e s e a r c h   C o n f e r e n c e   o n   M e t a d a t a   a n d   S e m a n t i c s   R e s e a r c h 	 N O V   2 8 - 3 0 ,   2 0 1 2 	 C a d i z ,   S P A I N 	 S o f t w a r e   P r o c e s s   I m p r o v e m e n t   R e s   U n i t ,   U n i v   C a d i z ,   F r e e   K n o w l e d g e   O f f ,   T e c h n o l   &   S u s t a i n a b i l   R e s   I n s t   S p a i n ,   A g r o K n o w   T e c h n o l   G r e e c e 	 U n i v   C a d i z 	 s o c i a l   t a g g i n g ;   m a p p i n g ;   l i n k e d   d a t a ;   S K O S ;   c r o w d s o u r c i n g ;   d i g i t a l   l i b r a r i e s   ( c s . D L ) ;   i n f o r m a t i o n   r e t r i e v a l   ( c s . I R ) 	 W E B 	 T h i s   p a p e r   d e m o n s t r a t e s   e n r i c h m e n t   o f   s e t - m o d e l   f o l k s o n o m i e s   w i t h   h i e r a r c h i c a l   l i n k s   a n d   m a p p i n g s   t o   o t h e r   k n o w l e d g e   o r g a n i z a t i o n   s y s t e m s .   T h e   p r o c e s s   i s   e x e m p l i f i e d   w i t h   s o c i a l   t a g g i n g   p r a c t i c e   i n   W i k i p e d i a   a n d   i n   S t a c k   E x c h a n g e .   T h e   e x t e n d e d   f o l k s o n o m i e s   a r e   c r e a t e d   b y   c r o w d s o u r c i n g   t a g   n a m e s   a n d   d e s c r i p t i o n s   t o   t r a n s l a t e   t h e m   t o   l i n k e d   d a t a   i n   S K O S . 	 	 	 v o s s @ g b v . d e 	 	 	 	 	 B a r l a   M ,   2 0 0 9 ,   L E C T   N O T E S   A R T I F   I N T ,   V 5 7 9 6 ,   P 3 0 9 ;   B i z e r   C ,   2 0 0 9 ,   J   W E B   S E M A N T ,   V 7 ,   P 1 5 4 ,   D O I   1 0 . 1 0 1 6 / j . w e b s e m . 2 0 0 9 . 0 7 . 0 0 2 ;   C a r a c c i o l o   C ,   2 0 1 1 ,   C O M M   C O M   I N F   S C ,   V 2 4 0 ,   P 4 8 9 ;   G u p t a   M ,   2 0 1 1 ,   S O C I A L   N E T W O R K   D A T A   A N A L Y T I C S ,   P 4 4 7 ;   H e y m a n n   P ,   2 0 0 6 ,   T E C H N I C A L   R E P O R T ;   H o d g e   G . ,   2 0 0 0 ,   S Y S T E M S   K N O W L E D G E   O R ;   L i n   H R ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 5 5 4 ,   P 6 5 4 ;   M a r l o w   C . ,   2 0 0 6 ,   P   H Y P   2 0 0 6 ;   M a y r   P . ,   2 0 0 8 ,   7 4   I F L A   W O R L D   L I B   I N ;   M o o s a v i   A . ,   2 0 1 1 ,   L N C S ,   V 6 7 4 1 ,   P 4 3 6 ;   S o l s k i n n s b a k k   G ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 4 2 7 ,   P 9 7 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 6 9 4 9 - 6 _ 2 2 ;   S p e c i a   L ,   2 0 0 7 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 5 1 9 ,   P 6 2 4 ;   T u d h o p e   D . ,   2 0 0 6 ,   J   D I G I T A L   I N F O R M ,   V 4 ;   V o s s   J . ,   2 0 0 6 ,   C O L L A B O R A T I V E   T H E S A U ;   V o s s   J . ,   2 0 0 7 ,   9 5   D T S C H   B I B L I O T H E K A ,   V 9 5 ,   P 6 3 ;   V o s s   J . ,   2 0 1 1 ,   I N T   S   I N F   S C I ;   V o s s   J a k o b ,   2 0 0 7 ,   T A G G I N G   F O L K S O N O M Y   C ;   Z a p i l k o   B . ,   2 0 1 2 ,   J   S E M A N T I C   I N   P R E S S 	 1 8 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 1 8 6 5 - 0 9 2 9 	 	 9 7 8 - 3 - 6 4 2 - 3 5 2 3 2 - 4 	 C O M M   C O M   I N F   S C 	 	 	 2 0 1 2 	 3 4 3 	 	 	 	 	 	 8 9 	 9 7 	 	 	 	 9 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B D K 6 5 	 W O S : 0 0 0 3 1 3 5 9 8 9 0 0 0 0 9 	 	 
 S 	 K e s i d i s ,   G ;   K u r v e ,   A 	 	 	 I E E E 	 K e s i d i s ,   G . ;   K u r v e ,   A . 	 	 	 A   S t u d y   o f   U n s u p e r v i s e d   A d a p t i v e   C r o w d s o u r c i n g 	 2 0 1 2   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   C O M M U N I C A T I O N S   ( I C C ) 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m m u n i c a t i o n s 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m m u n i c a t i o n s   ( I C C ) 	 J U N   1 0 - 1 5 ,   2 0 1 2 	 O t t a w a ,   C A N A D A 	 I E E E 	 	 C r o w d s o u r c i n g ;   u n s u p e r v i s e d   l e a r n i n g ;   c o n s e n s u s ;   d e s i g n ;   p e r f o r m a n c e ;   e r r o r   r a t e 	 	 W e   c o n s i d e r   u n s u p e r v i s e d   c r o w d s o u r c i n g   p e r f o r m a n c e   b a s e d   o n   t h e   m o d e l   w h e r e i n   t h e   r e s p o n s e s   o f   e n d - u s e r s   a r e   e s s e n t i a l l y   r a t e d   a c c o r d i n g   t o   h o w   t h e i r   r e s p o n s e s   c o r r e l a t e   w i t h   t h e   m a j o r i t y   o f   o t h e r   r e s p o n s e s   t o   t h e   s a m e   s u b t a s k s / q u e s t i o n s .   I n   o n e   s e t t i n g ,   w e   c o n s i d e r   a n   i n d e p e n d e n t   s e q u e n c e   o f   i d e n t i c a l l y   d i s t r i b u t e d   c r o w d s o u r c i n g   a s s i g n m e n t s   ( m e t a - t a s k s ) ,   w h i l e   i n   t h e   o t h e r   w e   c o n s i d e r   a   s i n g l e   a s s i g n m e n t   w i t h   a   l a r g e   n u m b e r   o f   c o m p o n e n t   s u b t a s k s .   B o t h   p r o b l e m s   y i e l d   i n t u i t i v e   r e s u l t s   i n   w h i c h   t h e   o v e r a l l   r e l i a b i l i t y   o f   t h e   c r o w d   i s   a   f a c t o r . 	 [ K e s i d i s ,   G . ]   P e n n   S t a t e   U n i v ,   C S & E   D e p t ,   U n i v e r s i t y   P k ,   P A   1 6 8 0 2   U S A 	 K e s i d i s ,   G   ( r e p r i n t   a u t h o r ) ,   P e n n   S t a t e   U n i v ,   C S & E   D e p t ,   U n i v e r s i t y   P k ,   P A   1 6 8 0 2   U S A . 	 g i k 2 @ p s u . e d u ;   a c k 2 0 5 @ p s u . e d u 	 	 	 	 	 B a i   Z D ,   1 9 9 9 ,   S T A T   S I N I C A ,   V 9 ,   P 6 1 1 ;   B e r n s t e i n   M . S . ,   2 0 1 0 ,   P   A C M   S   U S   I N T   S O F T W ;   B o r d e r   K . ,   1 9 8 5 ,   F I X E D   P O I N T   T H E O R E M S ;   D a w i d   A . P . ,   1 9 7 9 ,   J   R O Y A L   S T A T   S O C   C ,   V 2 8 ,   P 2 0 ;   G a l l a g e r   G . R . ,   1 9 6 3 ,   L O W   D E N S I T Y   P A R I T Y   C ;   G o l u b   B . ,   2 0 0 9 ,   H O M O P H I L Y   A F F E C T S   L E ;   H o f f m a n   L e a h ,   2 0 0 9 ,   C O M M U N   A C M ,   V 5 2 ,   P 1 6 ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ;   K a r g e r   D . R . ,   2 0 1 1 ,   P   I N T   W O R K S H   I N F   D E C ,   P 3 2 ;   K u l k a r n i   A . ,   2 0 1 1 ,   P   A A A I   H U M   C O M P   W O R K ;   M o t o y a m a   M . ,   2 0 1 0 ,   P   U S E N I X   S E C   S   W A S H ;   R a y k a r   V C ,   2 0 1 0 ,   J   M A C H I N E   L E A R N I N G   R ,   V 1 1 ;   S h o k r o l l a h i   A . ,   2 0 0 4 ,   P R O G R   C O M P U T E R   S C I   A ;   S i n g e r   Y . ,   2 0 1 1 ,   P   A A A I   H U M   C O M P   W O R K ;   T o m a s i   C . ,   E S T I M A T I N G   G A U S S I A N ;   W h i t e h i l l   J . ,   2 0 0 9 ,   N I P S ,   V 2 2 ;   W i l e n s k y   U ,   1 9 9 9 ,   N E T L O G O 	 1 7 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 5 5 0 - 3 6 0 7 	 	 9 7 8 - 1 - 4 5 7 7 - 2 0 5 3 - 6 	 I E E E   I C C 	 	 	 2 0 1 2 	 	 	 	 	 	 	 	 	 	 	 	 5 	 T e l e c o m m u n i c a t i o n s 	 T e l e c o m m u n i c a t i o n s 	 B D D 7 2 	 W O S : 0 0 0 3 1 2 8 5 5 7 0 1 1 4 6 	 	 
 J 	 M c C o r m i c k ,   S 	 	 	 	 M c C o r m i c k ,   S a b r i n a 	 	 	 A f t e r   t h e   C a p :   R i s k   A s s e s s m e n t ,   C i t i z e n   S c i e n c e   a n d   D i s a s t e r   R e c o v e r y 	 E C O L O G Y   A N D   S O C I E T Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 D e e p w a t e r   H o r i z o n ;   c i t i z e n   s c i e n c e ;   h e a l t h ;   o i l   s p i l l 	 V A L D E Z   O I L - S P I L L ;   S O C I A L   C O N S T R U C T I O N ;   C O M M U N I T Y ;   M O V E M E N T ;   M O D E L ;   L A Y 	 I   u s e d   t h e   2 0 1 0   D e e p w a t e r   H o r i z o n   o i l   s p i l l   t o   e x a m i n e   h o w   c r o w d s o u r c i n g   i s   u s e d   a s   a   n e w   f o r m   o f   c i t i z e n   s c i e n c e   t h a t   p r o v i d e s   r e a l   t i m e   a s s e s s m e n t s   o f   h e a l t h - r e l a t e d   e x p o s u r e s .   A s s e s s i n g   r i s k s   o f   a n   o i l   s p i l l ,   o r   d i s a s t e r s   m o r e   g e n e r a l l y ,   i s   a   c h a l l e n g e   c o m p l i c a t e d   b y   t h e   s i t u a t e d   n a t u r e   o f   k n o w l e d g e - g e n e r a t i o n   t h a t   r e s u l t s   i n   d i f f e r e n t i a l   p e r c e p t i o n s   a n d   r e s p o n s e s .   T h e s e   p r o c e s s e s   a r e   c r i t i c a l   i n   t h e   c a s e   o f   t h e   B r i t i s h   P e t r o l e u m   s p i l l   i n   t h e   G u l f   C o a s t   s i n c e   t h e   i d e n t i f i c a t i o n   o f   r i s k s   p r o m i s e s   t o   h a v e   r a m i f i c a t i o n s   f o r   m u l t i p l e   s o c i a l   a c t o r s ,   a s   w e l l   a s   t h e   h e a l t h   s t a t u s   a n d   l o n g - t e r m   r e s i l i e n c e   o f   c o m m u n i t i e s   i n   t h e   a r e a .   Q u a l i t a t i v e   i n t e r v i e w s ,   e t h n o g r a p h i c   o b s e r v a t i o n s ,   a n d   v i d e o   d a t a   w e r e   c o l l e c t e d   w i t h   l o c a l   s o c i a l   m o v e m e n t   o r g a n i z a t i o n s ,   g r a s s r o o t s   g r o u p s ,   s p i l l   w o r k e r s ,   f i s h e r m a n ,   l o c a l   r e s i d e n t s ,   s c i e n t i s t s ,   a n d   g o v e r n m e n t   r e p r e s e n t a t i v e s   w i t h i n   f i v e   m o n t h s   o f   t h e   s p i l l .   F i n d i n g s   s u g g e s t   t h a t   c r o w d s o u r c i n g   i s   a   n e w   f o r m   o f   c i t i z e n   s c i e n c e   r e f l e c t i n g   a   t r a n s i t i o n   f r o m   l a y   m a p p i n g   t o   a n   o n l i n e   d a t a   g a t h e r i n g   s y s t e m   t h a t   a l l o w s   a   b r o a d e r   r a n g e   o f   p a r t i c i p a t i o n   a n d   t h e   d e t e c t i o n   o f   a   b r o a d e r   r a n g e   o f   i m p a c t s .   O u t c o m e s   o f   t h i s   r e s e a r c h   p r o m i s e   t o   h e l p   d e m o n s t r a t e   a n d   t h e o r i z e   h o w   c i t i z e n   s c i e n c e   r e l a t e s   t o   r i s k   a s s e s s m e n t   p r o c e s s e s   a n d   a f f e c t s   d i s a s t e r   r e c o v e r y   a n d   l o n g - t e r m   r e s p o n s e . 	 G e o r g e   W a s h i n g t o n   U n i v ,   W a s h i n g t o n ,   D C   2 0 0 5 2   U S A 	 M c C o r m i c k ,   S   ( r e p r i n t   a u t h o r ) ,   G e o r g e   W a s h i n g t o n   U n i v ,   W a s h i n g t o n ,   D C   2 0 0 5 2   U S A . 	 	 	 	 N a t i o n a l   S c i e n c e   F o u n d a t i o n   [ 0 8 - 5 5 3 ] 	 T h i s   m a t e r i a l   i s   b a s e d   u p o n   w o r k   s u p p o r t e d   b y   t h e   N a t i o n a l   S c i e n c e   F o u n d a t i o n   u n d e r   G r a n t   N o .   0 8 - 5 5 3 .   T h e   a u t h o r   w o u l d   l i k e   t o   t h a n k   t h e   L o u i s i a n a   B u c k e t   B r i g a d e   f o r   t h e i r   h e l p ,   a n d   t w o   a n o n y m o u s   r e v i e w e r s   f o r   t h e i r   e x t e n s i v e   f e e d b a c k . 	 A l l e n   B L ,   2 0 0 3 ,   U R B A N   I N D   E N V I R O N ,   P 1 ;   A r a t a   C M ,   2 0 0 0 ,   J   T R A U M A   S T R E S S ,   V 1 3 ,   P 2 3 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 0 7 7 6 4 7 2 9 3 3 7 ;   A R O N O W I T Z   R A ,   1 9 9 1 ,   M I L B A N K   Q ,   V 6 9 ,   P 7 9 ,   D O I   1 0 . 2 3 0 7 / 3 3 5 0 1 2 2 ;   B a c k s t r a n d   K ,   2 0 0 3 ,   G L O B A L   E N V I R O N   P O L I T ,   V 3 ,   P 2 4 ,   D O I   D O I   1 0 . 1 0 8 0 / 0 9 6 4 4 0 1 0 4 2 0 0 0 2 7 4 3 2 2 ;   B l u m   E .   D . ,   2 0 1 1 ,   L O V E   C A N A L   R E V I S I T E D ;   B o i n   A . ,   2 0 0 5 ,   T H E   P O L I T I C S   O F   C R I S ;   B o n n e y   R ,   2 0 0 9 ,   B I O S C I E N C E ,   V 5 9 ,   P 9 7 7 ,   D O I   1 0 . 1 5 2 5 / b i o . 2 0 0 9 . 5 9 . 1 1 . 9 ;   B r o w n   P ,   1 9 9 0 ,   N O   S A F E   P L A C E   T O X I C ;   B R O W N   P ,   1 9 9 2 ,   J   H E A L T H   S O C   B E H A V ,   V 3 3 ,   P 2 6 7 ,   D O I   1 0 . 2 3 0 7 / 2 1 3 7 3 5 6 ;   C e n t e r   f o r   A d v a n c e m e n t   o f   I n f o r m a l   S c i e n c e   E d u c a t i o n   ( C A I S E ) ,   2 0 0 9 ,   P U B L I C   P A R T I C I P A T I O N ;   C L A R K E   L ,   1 9 9 3 ,   A N N U   R E V   S O C I O L ,   V 1 9 ,   P 3 7 5 ;   C o r b u r n   J . ,   2 0 0 5 ,   S T R E E T   S C I E N C E   C O M M U ;   C o r d a s c o   K M ,   2 0 0 7 ,   J   H E A L T H   C A R E   P O O R   U ,   V 1 8 ,   P 2 7 7 ,   D O I   1 0 . 1 3 5 3 / h p u . 2 0 0 7 . 0 0 2 8 ;   D a n   A . ,   2 0 1 1 ,   C O M M U N I C A T I O N S   O F   T H ,   V 5 4 ,   P 8 8 ;   E D W A R D S   W ,   1 9 8 7 ,   R I S K   A N A L ,   V 7 ,   P 1 4 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 3 9 - 6 9 2 4 . 1 9 8 7 . t b 0 0 9 7 9 . x ;   E n v i r o n m e n t a l   P r o t e c t i o n   A g e n c y ,   2 0 1 2 ,   M O N I T O R I N G   A I R   Q U A L I ;   F o r b e s   G .   L . ,   1 9 9 4 ,   I N T E R N A T I O N A L   J O U R N A ,   V 4 ,   P 4 8 ,   D O I   1 0 . 1 0 8 0 / 0 9 6 0 3 1 2 9 4 0 9 3 5 6 7 9 7 ;   G A M S O N   W A ,   1 9 8 9 ,   A M   J   S O C I O L ,   V 9 5 ,   P 1 ,   D O I   1 0 . 1 0 8 6 / 2 2 9 2 1 3 ;   G i b b s   L . ,   1 9 9 5 ,   D Y I N G   F R O M   D I O X I N   A ;   G o l e t   G H ,   2 0 0 2 ,   M A R   E C O L   P R O G   S E R ,   V 2 4 1 ,   P 2 8 7 ,   D O I   1 0 . 3 3 5 4 / m e p s 2 4 1 2 8 7 ;   H a   M i n a ,   2 0 0 8 ,   J   P r e v   M e d   P u b l i c   H e a l t h ,   V 4 1 ,   P 3 4 5 ,   D O I   1 0 . 3 9 6 1 / j p m p h . 2 0 0 8 . 4 1 . 5 . 3 4 5 ;   H a c k i n g   I a n ,   1 9 9 9 ,   S C I   S T U D I E S   R E A D E R ,   P 1 6 1 ;   H A R A W A Y   D ,   1 9 8 8 ,   F E M I N I S T   S T U D ,   V 1 4 ,   P 5 7 5 ,   D O I   1 0 . 2 3 0 7 / 3 1 7 8 0 6 6 ;   H a r r i s     A l i   S . ,   2 0 0 4 ,   S O C   S C I   M E D ,   V 5 8 ,   P 2 6 0 1 ,   D O I   D O I   1 0 . 1 0 1 6 / J . S O C S C I M E D . 2 0 0 3 . 0 9 . 0 1 3 ;   H e s s   D J ,   2 0 0 5 ,   S C I   T E C H N O L   H U M   V A L ,   V 3 0 ,   P 5 1 5 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 2 2 4 3 9 0 5 2 7 6 4 9 9 ;   H I L G A R T N E R   S ,   1 9 8 8 ,   A M   J   S O C I O L ,   V 9 4 ,   P 5 3 ,   D O I   1 0 . 1 0 8 6 / 2 2 8 9 5 1 ;   H o c h   M . ,   2 0 1 0 ,   P B S   N E W S H O U R ;   J a s a n o f f   S . ,   2 0 0 4 ,   S T A T E S   O F   K N O W L E D G E ;   J o f f e   H ,   2 0 0 2 ,   S O C   S C I   M E D ,   V 5 4 ,   P 9 5 5 ,   D O I   1 0 . 1 0 1 6 / S 0 2 7 7 - 9 5 3 6 ( 0 1 ) 0 0 0 6 8 - 5 ;   K r e p s   G .   A . ,   2 0 0 1 ,   I N T   E N C Y   S O C I A L   B E H A ,   P 3 7 1 8 ;   K u j a w i n s k i   E B ,   2 0 1 1 ,   E N V I R O N   S C I   T E C H N O L ,   V 4 5 ,   P 1 2 9 8 ,   D O I   1 0 . 1 0 2 1 / e s 1 0 3 8 3 8 p ;   K u r t z   R .   S . ,   2 0 0 4 ,   R E V   P O L I C Y   R E S ,   V 2 1 ,   P 2 0 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 1 - 1 3 3 8 . 2 0 0 4 . 0 0 0 6 9 . x ;   L o u i s i a n a   B u c k e t   B r i g a d e ,   2 0 1 0 ,   O I L   S P I L L   C R I S I S   M A P ;   L y o n s   R A ,   1 9 9 9 ,   J   E P I D E M I O L   C O M M U N   H ,   V 5 3 ,   P 3 0 6 ;   M a r k o w i t z   G e r a l d ,   2 0 0 3 ,   D E C E I T   A N D   D E N I A L   T H ;   M c C o r m i c k   S ,   2 0 0 3 ,   S O C I O L   F O R U M ,   V 1 8 ,   P 5 4 5 ,   D O I   1 0 . 1 0 2 3 / B : S O F O . 0 0 0 0 0 0 3 0 0 3 . 0 0 2 5 1 . 2 f ;   M c C o r m i c k   S . ,   2 0 0 9 ,   S O C   S T U D   S C I ,   V 3 7 ,   P 6 0 9 ;   M c C o r m i c k   S ,   2 0 0 9 ,   M O B I L I Z I N G   S C I E N C E :   M O V E M E N T S ,   P A R T I C I P A T I O N ,   A N D   T H E   R E M A K I N G   O F   K N O W L E D G E ,   P 1 ;   N E I L   N ,   1 9 9 4 ,   T O X I C O L   P A T H O L ,   V 2 2 ,   P 1 9 8 ;   N e t t l e t o n   S ,   2 0 0 6 ,   S O C   S C I   M E D ,   V 6 2 ,   P 1 1 6 7 ,   D O I   1 0 . 1 0 1 6 / j . s o c s c i m e d . 2 0 0 5 . 0 7 . 0 3 0 ;   O t t i n g e r   G ,   2 0 1 0 ,   S C I   T E C H N O L   H U M   V A L ,   V 3 5 ,   P 2 4 4 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 2 2 4 3 9 0 9 3 3 7 1 2 1 ;   O z o n o f f   D ,   2 0 0 5 ,   L A N C E T ,   V 3 6 5 ,   P 9 1 7 ,   D O I   1 0 . 1 0 1 6 / S 0 1 4 0 - 6 7 3 6 ( 0 5 ) 7 1 0 5 8 - 8 ;   P a i n e   R T ,   1 9 9 6 ,   A N N U   R E V   E C O L   S Y S T ,   V 2 7 ,   P 1 9 7 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v . e c o l s y s . 2 7 . 1 . 1 9 7 ;   P A L I N K A S   L A ,   1 9 9 3 ,   H U M   O R G A N ,   V 5 2 ,   P 1 ;   P A L I N K A S   L A ,   1 9 9 3 ,   A M   J   P S Y C H I A T ,   V 1 5 0 ,   P 1 5 1 7 ;   P e r r o w   C . ,   1 9 8 4 ,   N O R M A L   A C C I D E N T S   L I V ;   P i c o u   J S ,   2 0 0 4 ,   S O C   F O R C E S ,   V 8 2 ,   P 1 4 9 3 ,   D O I   1 0 . 1 3 5 3 / s o f . 2 0 0 4 . 0 0 9 1 ;   R e a r d o n   S . ,   2 0 1 1 ,   S C I   M A G A Z I N E ;   S a b u c e d o   J M ,   2 0 1 0 ,   D I S A S T E R S ,   V 3 4 ,   P 8 0 9 ,   D O I   [ 1 0 . 1 1 1 1 / j . 1 4 6 7 - 7 7 1 7 . 2 0 1 0 . 0 1 1 7 0 . x ,   1 0 . 1 1 1 1 / j . 0 3 6 1 - 3 6 6 6 . 2 0 1 0 . 0 1 1 7 0 . x ] ;   S c h o r   E ,   2 0 1 0 ,   N Y   T I M E S ;   S j o b e r g   L . ,   1 9 9 9 ,   H U M A N   E C O L O G Y   R E V ,   V 6 ,   P 1 ;   T r u m b u l l   D J ,   2 0 0 0 ,   S C I   E D U C ,   V 8 4 ,   P 2 6 5 ,   D O I   1 0 . 1 0 0 2 / ( S I C I ) 1 0 9 8 - 2 3 7 X ( 2 0 0 0 0 3 ) 8 4 : 2 < 2 6 5 : : A I D - S C E 7 > 3 . 0 . C O ; 2 - 5 ;   T U R N E R   B A ,   1 9 7 6 ,   A D M I N   S C I   Q U A R T ,   V 2 1 ,   P 3 7 8 ,   D O I   1 0 . 2 3 0 7 / 2 3 9 1 8 5 0 ;   V a u g h n   D . ,   1 9 9 6 ,   T H E   C H A L L E N G E R   L A U N C ;   W A R E   N C ,   1 9 9 2 ,   M E D   A N T H R O P O L   Q ,   V 6 ,   P 3 4 7 ,   D O I   1 0 . 1 5 2 5 / m a q . 1 9 9 2 . 6 . 4 . 0 2 a 0 0 0 3 0 ;   W e b e r   S . ,   2 0 1 0 ,   C R O W D S O U R C I N G   T H E   G U ;   W i g g i n s   A . ,   2 0 1 1 ,   4 4 T H   H A W A I I   I N T E R N A T ,   P 1 ,   D O I   [ D O I   1 0 . 1 1 0 9 / H I C S S . 2 0 1 1 . 2 0 7 ,   1 0 . 1 1 0 9 / H I C S S . 2 0 1 1 . 2 0 7 ] 	 5 7 	 3 	 3 	 R E S I L I E N C E   A L L I A N C E 	 W O L F V I L L E 	 A C A D I A   U N I V ,   B I O L O G Y   D E P T ,   W O L F V I L L E ,   N S   B 0 P   1 X 0 ,   C A N A D A 	 1 7 0 8 - 3 0 8 7 	 	 	 E C O L   S O C 	 E c o l .   S o c . 	 	 2 0 1 2 	 1 7 	 4 	 	 	 	 	 	 	 3 1 	 1 0 . 5 7 5 1 / E S - 0 5 2 6 3 - 1 7 0 4 3 1 	 	 1 0 	 E c o l o g y ;   E n v i r o n m e n t a l   S t u d i e s 	 E n v i r o n m e n t a l   S c i e n c e s   &   E c o l o g y 	 0 6 9 E F 	 W O S : 0 0 0 3 1 3 4 1 7 4 0 0 0 5 0 	 	 
 B 	 Z a u s k o v a ,   A ;   M a d l e n a k ,   A 	 	 R y b a n s k y ,   R ;   N o v a k o v a ,   R 	 	 Z a u s k o v a ,   A n n a ;   M a d l e n a k ,   A d a m 	 	 	 T H E   A P P L I C A T I O N   O F   T H E   O P E N   I N N O V A T I O N   C O N C E P T   I N   T H E   F U R N I T U R E   I N D U S T R Y 	 W O O D   A N D   F U R N I T U R E   I N D U S T R Y   I N   T I M E S   O F   C H A N G E   -   N E W   T R E N D S   A N D   C H A L L E N G E S 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 5 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   W o o d   a n d   F u r n i t u r e   I n d u s t r y   i n   T i m e s   o f   C h a n g e   -   N e w   t r e n d s   a n d   c h a l l e n g e s   ( W o o d E M A ) 	 J U N   0 6 - 0 8 ,   2 0 1 2 	 T r n a v a ,   S L O V A K I A 	 U n i v   S s   C y r i l   &   M e t h o d i u s ,   U n i v   S s   C y r i l   &   M e t h o d i u s ,   R e c t o r ,   F a c   M a s s   M e d i a   C o m m u n ,   D e a n 	 	 f u r n i t u r e   m a r k e t ;   c o m p e t i t i v e n e s s ;   o p e n   i n n o v a t i o n ;   i n n o v a t i o n   p r o c e s s ;   c r o w d s o u r c i n g 	 	 T h e   k e y   e l e m e n t   i n   t h e   k n o w l e d g e   e c o n o m y   d e v e l o p m e n t   l i e s   i n   i n t e n s i f y i n g   a n d   d e e p e n i n g   t h e   m u t u a l   c o o p e r a t i o n   b e t w e e n   b u s i n e s s e s   a n d   o t h e r   p a r t i c i p a n t s   o f   e c o n o m i c   m a r k e t .   I n   t h i s   s c i e n t i f i c   p a p e r   t h e   a u t h o r s   d e a l   w i t h   t h e   i s s u e   o f   t h e   i n n o v a t i o n   p r o c e s s   e f f e c t i v e n e s s   i n   t h e   f u r n i t u r e   i n d u s t r y .   T h e y   p r e s e n t   t h e   r e a d e r   t h e   o p e n   i n n o v a t i o n   s y s t e m   a s   a   n e w   c o n c e p t   o f   c o o p e r a t i o n   a m o n g   f i r m s   i n   t h e   f u r n i t u r e   i n d u s t r y   l e a d i n g   t o   i n c r e a s e   o f   t h e i r   i n n o v a t i o n   p e r f o r m a n c e ,   c o m p e t i t i v e n e s s   a n d   p r o d u c t i o n   q u a l i t y   o n   t h e   m a r k e t . 	 [ Z a u s k o v a ,   A n n a ;   M a d l e n a k ,   A d a m ]   U n i v   S S   C y r i l   &   M e t h o d i u s   T r n a v a ,   D e p t   M k t   C o m m u n ,   F a c   M a s s   M e d i a   C o m m u n ,   T r n a v a   9 1 7 0 1 ,   S l o v a k i a 	 	 a n n a . z a u s k o v a @ u c m . s k ;   a d a m . m a d l e n a k @ g m a i l . c o m 	 	 	 	 	 C h e s b r o u g h   H . ,   2 0 0 3 ,   O P E N   I N N O V A T I O N   N E W ;   C h e s b r o u g h   H . ,   2 0 0 6 ,   O P E N   I N N O V A T I O N   R E S ;   E U R O P E A N   C O M M I S S I O N ,   C O M 2 0 1 2 8 2   E U R   C O M M ;   S k a r z y n s k i   P . ,   2 0 0 8 ,   I N N O V A T I O N   C O R E   B L U E ;   S l o a n e   P . ,   2 0 1 1 ,   G U I D E   O P E N   I N N O V A T I O ;   S V E C   M ,   2 0 0 9 ,   E U R O P E I Z A C I A   T R A N S N A ,   P 2 4 4 	 6 	 0 	 0 	 U N I V   S S   C Y R I L   &   M E T H O D I U S   T R N A V A - U C M   T R N A V A 	 T R N A V A 	 F A C   M A S S   M E D I A   C O M M U N I C A T I O N ,   N A M   J   H E R D U   2   9 1 7   0 1 ,   T R N A V A ,   S L O V A K   R E P U B L I C   2 0 1 2 ,   S L O V A K I A 	 	 	 9 7 8 - 8 0 - 8 1 0 5 - 3 7 4 - 0 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 1 3 3 	 1 3 9 	 	 	 	 7 	 B u s i n e s s ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 B D J 6 4 	 W O S : 0 0 0 3 1 3 5 5 1 8 0 0 0 1 8 	 	 
 B 	 V r a b e c ,   N 	 	 R y b a n s k y ,   R ;   N o v a k o v a ,   R 	 	 V r a b e c ,   N o r b e r t 	 	 	 C R O W D S O U R C I N G   -   I N V O L V E M E N T   O F   S O C I A L   M E D I A   I N   T H E   F U R N I T U R E   I N D U S T R Y 	 W O O D   A N D   F U R N I T U R E   I N D U S T R Y   I N   T I M E S   O F   C H A N G E   -   N E W   T R E N D S   A N D   C H A L L E N G E S 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 5 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   W o o d   a n d   F u r n i t u r e   I n d u s t r y   i n   T i m e s   o f   C h a n g e   -   N e w   t r e n d s   a n d   c h a l l e n g e s   ( W o o d E M A ) 	 J U N   0 6 - 0 8 ,   2 0 1 2 	 T r n a v a ,   S L O V A K I A 	 U n i v   S s   C y r i l   &   M e t h o d i u s ,   U n i v   S s   C y r i l   &   M e t h o d i u s ,   R e c t o r ,   F a c   M a s s   M e d i a   C o m m u n ,   D e a n 	 	 c r o w d s o u r c i n g ;   o p e n   i n n o v a t i o n ;   c o - c r e a t i o n ;   c o m m u n i t y - b a s e d   d e s i g n ;   c o l l e c t i v e   i n t e l l i g e n c e ;   i n t e r n e t   c o o p e r a t i o n ;   c r o w d 	 	 I n t e r n e t   a n d   e s p e c i a l l y   s o c i a l   m e d i a   b r o u g h t   t h e   p o s s i b i l i t y   o f   i n v o l v i n g   i n n o v a t i v e   f o r m s   o f   c o o p e r a t i o n   b e t w e e n   f i r m   a n d   c u s t o m e r s .   T h e s e   m o d e l s   a r e   n o t   l i m i t e d   t o   m a r k e t i n g   p r o c e s s e s ,   o f t e n   a r e   b a s e d   o n   t h e   o p e n   s o u r c e   p h i l o s o p h y   a n d   u s e   c r e a t i v e   p o w e r   a   p o t e n t i a l   o f   i n t e r n e t - s c a l e   c o m m u n i t y .   M a r k e t e r s   a n d   i n n o v a t i o n   m a n a g e r s   i n   e v e r y   i n d u s t r y   s e c t o r ,   e s p e c i a l l y   i f   f o c u s i n g   o n   r e t a i l   c u s t o m e r ,   s h o u l d   e x p l o i t   t h e   o p p o r t u n i t i e s   o f   c o l l e c t i v e   c r e a t i v e   p o w e r   h i d d e n   i n   t h e   c r o w d .   T h e   p a p e r   d e a l s   w i t h   t h e   p o s s i b i l i t i e s   o f   c r o w d s o u r c i n g   -   a   r e l a t i v e l y   n e w   p h e n o m e n o n   i n   w h i c h   o n - l i n e   v o l u n t e e r s ,   o r   f r e e l a n c e r s   c o m p l e t e   v a r i o u s   t a s k s   i n   t h e   d e v e l o p m e n t   o f   a   n e w   p r o d u c t ,   t h e i r   d e s i g n ,   o r   i n n o v a t i o n   s o l u t i o n s   u s e f u l   f o r   o p e n   i n n o v a t i o n   p r o c e s s ,   e s p e c i a l l y   i n   t h e   f u r n i t u r e   i n d u s t r y . 	 [ V r a b e c ,   N o r b e r t ]   U n i v   S S   C y r i l   &   M e t h o d i u s   T r n a v a ,   F a c   M a s s   M e d i a   C o m m u n ,   T r n a v a   9 1 7 0 1 ,   S l o v a k i a 	 	 n v r a b e c @ g m a i l . c o m 	 	 	 	 	 B i n g h a m   A . ,   2 0 1 1 ,   O P E N   I N N O V A T I O N   M A R K ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   C O H E N   D . ,   2 0 1 0 ,   R E U T E R S ;   E S T E L L E S   A R O L A S   E . ,   2 0 1 2 ,   J   I N F   S C I ,   V 3 8 ,   P 1 8 9 ;   G O L D S M I T H   J . ,   2 0 1 0 ,   C B S   N E W S ;   G R O S E   T . ,   2 0 1 0 ,   T I M E   M A G A Z I N E   B U S I N E ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ;   K a u f m a n n   N . ,   2 0 1 1 ,   P   1 7   A M   C   I N F   S Y S T   D ;   M c L A R Y   R ,   2 0 1 2 ,   D A I L Y   C R O W D S O U R C E ;   N I E L S E N   J . ,   2 0 0 6 ,   J A C O B   N I E L S E N S   A L E R T ;   N O V E C K   S . ,   2 0 0 9 ,   W I K I   G O V T   T E C H N O L O G Y ;   P A U L   A . ,   2 0 1 2 ,   I D E A C O N N E C T I O N   B L O G ;   P E T A V Y   F . ,   2 0 1 2 ,   O N L I N E   C O C R E A T I O N   A C ;   P E T R A N O V A   D . ,   2 0 1 1 ,   M O D E R N   E D   M E T H O D S   T E ;   V R A B E C   N . ,   2 0 1 1 ,   M O D E R N   E D   M E T H O D S   T E 	 1 5 	 0 	 0 	 U N I V   S S   C Y R I L   &   M E T H O D I U S   T R N A V A - U C M   T R N A V A 	 T R N A V A 	 F A C   M A S S   M E D I A   C O M M U N I C A T I O N ,   N A M   J   H E R D U   2   9 1 7   0 1 ,   T R N A V A ,   S L O V A K   R E P U B L I C   2 0 1 2 ,   S L O V A K I A 	 	 	 9 7 8 - 8 0 - 8 1 0 5 - 3 7 4 - 0 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 2 6 1 	 2 6 6 	 	 	 	 6 	 B u s i n e s s ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 B D J 6 4 	 W O S : 0 0 0 3 1 3 5 5 1 8 0 0 0 3 8 	 	 
 B 	 Z h a o ,   B 	 	 	 I E E E 	 Z h a o ,   B e n 	 	 	 A   D o u b l e - e d g e d   S w o r d :   I m p l i c a t i o n s   o f   C r o w d s o u r c i n g   f o r   t h e   F u t u r e   o f   W e b   S e c u r i t y 	 2 0 1 2   I E E E   3 1 S T   I N T E R N A T I O N A L   P E R F O R M A N C E   C O M P U T I N G   A N D   C O M M U N I C A T I O N S   C O N F E R E N C E   ( I P C C C ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 3 1 s t   I E E E   I n t e r n a t i o n a l   P e r f o r m a n c e   C o m p u t i n g   a n d   C o m m u n i c a t i o n s   C o n f e r e n c e   ( I P C C C ) 	 D E C   0 1 - 0 3 ,   2 0 1 2 	 A u s t i n ,   T X 	 I E E E   C o m p   S o c ,   I E E E C S   T C S I M ,   I E E E 	 	 	 	 	 U n i v   C a l i f   S a n t a   B a r b a r a ,   D e p t   C o m p   S c i ,   S a n t a   B a r b a r a ,   C A   9 3 1 0 6   U S A 	 Z h a o ,   B   ( r e p r i n t   a u t h o r ) ,   U n i v   C a l i f   S a n t a   B a r b a r a ,   D e p t   C o m p   S c i ,   S a n t a   B a r b a r a ,   C A   9 3 1 0 6   U S A . 	 	 	 	 	 	 	 0 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 6 7 3 - 4 8 8 3 - 6 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 	 	 	 	 	 1 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B D J 1 2 	 W O S : 0 0 0 3 1 3 5 2 4 4 0 0 0 0 1 	 	 
 J 	 N i c o a r a ,   A 	 	 B o j a ,   C ;   B a t a g a n ,   L ;   D o i n e a ,   M ;   C i u r e a ,   C ;   I o n ,   A ;   N i s i o i u ,   C ;   T o m a ,   A ;   C o t f a s ,   L ;   V e l i c a n u ,   A ;   A m a n c e i ,   C ;   Z a m f i r o i u ,   A 	 	 N i c o a r a ,   A d r i a n 	 	 	 O P E N   I N N O V A T I O N   P A R A D I G M :   I N T E R A C T I V E   V A L U E   C R E A T I O N 	 I N T E R N A T I O N A L   C O N F E R E N C E   O N   I N F O R M A T I C S   I N   E C O N O M Y 	 I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n f o r m a t i c s   i n   E c o n o m y 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 1 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n f o r m a t i c s   i n   E c o n o m y   ( I E   2 0 1 2 ) ,   E d u c a t i o n ,   R e s e a r c h   a n d   B u s i n e s s   T e c h n o l o g i e s 	 M A Y   1 0 - 1 1 ,   2 0 1 2 	 B u c h a r e s t ,   R O M A N I A 	 B u c h a r e s t   U n i v   E c o n o m   S t u d i e s ,   D e p t   E c o n   I n f o r m a t   &   C y b e r n e t ,   I N F O R E C   A s s o c 	 	 i n n o v a t i o n ;   c o - c r e a t i o n ;   s o c i a l   n e t w o r k i n g ;   c r o w d s o u r c i n g ;   s t r a t e g y 	 D O M I N A N T   L O G I C 	 T o d a y ,   v i r t u a l l y   a n y o n e   w i t h   a   c o m p u t e r   o r   m o b i l e   d e v i c e   a n d   a n   I n t e r n e t   c o n n e c t i o n ,   c a n   s t r e a m   c o n t e n t   i n   r e a l   t i m e   a n d   f r e e   o f   c h a r g e   w o r l d w i d e .   C o n s u m e r s   o p e n l y   r e v e a l   t h e i r   w a n t s ,   n e e d s   a n d   m o t i v a t i o n s   t h r o u g h   t h e   I n t e r n e t   a n d   a r e   a v a i l a b l e   f o r   a l l   t h o s e   i n t e r e s t e d   i n   e x p l o r i n g .   A   p r o f i l e   o n   a   s o c i a l   n e t w o r k i n g   s i t e   p r o v i d e s   a   w e a l t h   o f   i n f o r m a t i o n ,   a n d   i n   m a n y   r e s p e c t s   s u p e r i o r   t o   t h e   t r a d i t i o n a l   n e e d s   o f   s e g m e n t a t i o n .   C o m p a n i e s   n o w   h a v e   t h e   o p p o r t u n i t y   t o   h e a r   d i r e c t l y   f r o m   c o n s u m e r s ,   a n d   u s e   t h e m   i n   t h e i r   e f f o r t s   t o   b u i l d   b r a n d s   a n d   p r o d u c t s   t h a t   h a v e   a c c e p t a b i l i t y ,   b u t   a l s o   i n   f o r m i n g   m e n t a l   m o d e l s   o f   c o n s u m e r s   a n d   c r e a t e   n e w   n e e d s   a n d   n e w   m a r k e t s . 	 [ N i c o a r a ,   A d r i a n ]   U n i v   L a s   P a l m a s   G r a n   C a n a r i a ,   L a s   P a l m a s   G r a n   C a n a r i a ,   S p a i n 	 	 a d r i a n . n i c o a r a 1 0 3 @ a l u . u l p g c . e s 	 N i c o a r a ,   A d r i a n / C - 7 3 1 8 - 2 0 1 3 	 	 	 	 B a i r d ,   2 0 1 1 ,   C R M   S T U D Y   2 0 1 1 ;   C h a n d l e r   J r   A l f r e d   D . ,   2 0 0 1 ,   I N V E N T I N G   E L E C T   C E N T ;   C h e s b r o u g h   H ,   2 0 0 6 ,   R & D   M A N A G E ,   V 3 6 ,   P 2 2 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 6 . 0 0 4 2 8 . x ;   D o n   T a p s c o t t   A .   W . ,   2 0 0 6 ,   W I K I N O M I C S   M A S S   C O L L ;   E b n e r   W ,   2 0 0 9 ,   R & D   M A N A G E ,   V 3 9 ,   P 3 4 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 9 . 0 0 5 6 4 . x ;   S t e p t o e - W a r r e n   G a i l ,   2 0 1 1 ,   J o u r n a l   o f   S t r a t e g y   a n d   M a n a g e m e n t ,   V 4 ,   D O I   1 0 . 1 1 0 8 / 1 7 5 5 4 2 5 1 1 1 1 1 5 2 2 6 1 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   V 6 ,   P 1 7 6 ;   K o z i n e t s   R V ,   2 0 0 8 ,   J   M A C R O M A R K E T I N G ,   V 2 8 ,   P 3 3 9 ,   D O I   1 0 . 1 1 7 7 / 0 2 7 6 1 4 6 7 0 8 3 2 5 3 8 2 ;   K r a a i j e n b r i n k   J e r o e n ,   2 0 1 0 ,   J   M A N A G E ,   V 3 6 ,   P 3 4 9 ;   P r a h a l a d   C .   K . ,   2 0 0 3 ,   M I T   S L O A N   M A N A G E M E N T ,   V 4 4 ;   P r a h a l a d   C K ,   2 0 0 4 ,   J   I N T E R A C T   M A R K ,   V 1 8 ,   P 5 ,   D O I   1 0 . 1 0 0 2 / d i r . 2 0 0 1 5 ;   R e i c h w a l d   R . ,   2 0 0 6 ,   I N T E R A K T I V E   W E R T S C H O ;   S i m a r d   C . ,   2 0 0 6 ,   O P E N   I N N O V A T I O N   R E S ,   P 2 2 0 ;   V a r g o   S L ,   2 0 0 4 ,   J   M A R K E T I N G ,   V 6 8 ,   P 1 ,   D O I   1 0 . 1 5 0 9 / j m k g . 6 8 . 1 . 1 . 2 4 0 3 6 ;   V a r g o   S L ,   2 0 0 8 ,   J   A C A D   M A R K E T   S C I ,   V 3 6 ,   P 1 ,   D O I   1 0 . 1 0 0 7 / s 1 1 7 4 7 - 0 0 7 - 0 0 6 9 - 6 ;   v o n   H i p p e l   E r i c ,   2 0 0 5 ,   D E M O C R A T I Z I N G   I N N O V A ;   W e x l e r   M a r k   N ,   2 0 1 1 ,   I N T   J   S O C I O L O G Y   S O C I ,   V 3 1 ,   P 6 	 1 7 	 0 	 0 	 B U C H A R E S T   U N I V   E C O N O M I C   S T U D I E S - A S E 	 B U C H A R E S T 	 6 ,   P I A T A   R O M A ,   1 S T   D I S T R I C T ,   P O S T A L   O F F I C E   2 2 ,   B U C H A R E S T ,   0 1 0 3 7 4 ,   R O M A N I A 	 2 2 8 4 - 7 4 7 2 	 	 	 I N T   C O N F   I N F O R M   E C O N 	 	 	 2 0 1 2 	 	 	 	 	 	 	 4 3 3 	 4 3 6 	 	 	 	 4 	 E c o n o m i c s ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 B u s i n e s s   &   E c o n o m i c s ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 B D G 6 7 	 W O S : 0 0 0 3 1 3 1 3 6 8 0 0 0 7 9 	 	 
 J 	 O r e l l a n a ,   G ;   M u n o z ,   E ;   G i l - H e r r e r a ,   L K ;   M u n o z ,   P ;   L o p e z - G e j o ,   J ;   P a l a c i o ,   C 	 	 Z a m b o n i ,   R ;   K a j z a r ,   F ;   S z e p ,   A A 	 	 O r e l l a n a ,   G u i l l e r m o ;   M u n o z ,   E l i a s ;   G i l - H e r r e r a ,   L u z   K . ;   M u n o z ,   P a b l o ;   L o p e z - G e j o ,   J u a n ;   P a l a c i o ,   C a r l o s 	 	 	 I n t e g r a t e d   l u m i n e s c e n t   c h e m i c a l   m i c r o s e n s o r s   b a s e d   o n   G a N   L E D s   f o r   s e c u r i t y   a p p l i c a t i o n s   u s i n g   s m a r t p h o n e s 	 O P T I C A L   M A T E R I A L S   A N D   B I O M A T E R I A L S   I N   S E C U R I T Y   A N D   D E F E N C E   S Y S T E M S   T E C H N O L O G Y   I X 	 P r o c e e d i n g s   o f   S P I E 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 C o n f e r e n c e   o n   O p t i c a l   M a t e r i a l s   a n d   B i o m a t e r i a l s   i n   S e c u r i t y   a n d   D e f e n c e   S y s t e m s   T e c h n o l o g y   I X 	 S E P   2 6 - 2 7 ,   2 0 1 2 	 E d i n b u r g h ,   S C O T L A N D 	 S P I E ,   S E L E X   G A L I L E O ,   T H A L E S 	 	 C h e m i c a l   s e n s o r s ;   l u m i n e s c e n c e ;   g a s   d e t e c t i o n ;   G a N   L E D s ;   s m a r t p h o n e ;   a d v a n c e d   m a t e r i a l s ;   s u r f a c e   f u n c t i o n a l i z a t i o n ;   r u t h e n i u m   c o m p l e x e s 	 P H O T O E L E C T R O N - S P E C T R O S C O P Y ;   D E V I C E S ;   I N D I C A T O R ;   C O M P L E X E S ;   M O B I L E 	 D e v e l o p m e n t   o f   P C B - i n t e g r a t e a b l e   m i c r o s e n s o r s   f o r   m o n i t o r i n g   c h e m i c a l   s p e c i e s   i s   a   g o a l   i n   a r e a s   s u c h   a s   l a b - o n - a - c h i p   a n a l y t i c a l   d e v i c e s ,   d i a g n o s t i c s   m e d i c i n e   a n d   e l e c t r o n i c s   f o r   h a n d - h e l d   i n s t r u m e n t s   w h e r e   t h e   d e v i c e   s i z e   i s   a   m a j o r   i s s u e .   C e l l u l a r   p h o n e s   h a v e   p e r v a d e d   t h e   w o r l d   i n h a b i t a n t s   a n d   t h e i r   u s e f u l n e s s   h a s   d r a m a t i c a l l y   i n c r e a s e d   w i t h   t h e   i n t r o d u c t i o n   o f   s m a r t p h o n e s   d u e   t o   a   c o m b i n a t i o n   o f   a m a z i n g   p r o c e s s i n g   p o w e r   i n   a   c o n f i n e d   s p a c e ,   g e o l o c a l i z a t i o n   a n d   m a n i f o l d   t e l e c o m m u n i c a t i o n   f e a t u r e s .   T h e r e f o r e ,   a   n u m b e r   o f   p h y s i c a l   a n d   c h e m i c a l   s e n s o r s   t h a t   a d d   v a l u e   t o   t h e   t e r m i n a l   f o r   h e a l t h   m o n i t o r i n g ,   p e r s o n a l   s a f e t y   ( a t   h o m e ,   a t   w o r k )   a n d ,   e v e n t u a l l y ,   n a t i o n a l   s e c u r i t y   h a v e   s t a r t e d   t o   b e   d e v e l o p e d ,   c a p i t a l i z i n g   a l s o   o n   t h e   h u g e   n u m b e r   o f   c i r c u l a t i n g   c e l l   p h o n e s .   T h e   c h e m i c a l   s e n s o r - e n a b l e d   " s u p e r "   s m a r t p h o n e   p r o v i d e s   a   u n i q u e   ( b i o )   s e n s i n g   p l a t f o r m   f o r   m o n i t o r i n g   a i r b o r n e   o r   w a t e r b o r n e   h a z a r d o u s   c h e m i c a l s   o r   m i c r o o r g a n i s m s   f o r   b o t h   s i n g l e   u s e r   a n d   c r o w d s o u r c i n g   s e c u r i t y   a p p l i c a t i o n s .   S o m e   o f   t h e   l a t e s t   o n e s   a r e   i l l u s t r a t e d   b y   a   f e w   e x a m p l e s .   M o r e o v e r ,   w e   h a v e   r e c e n t l y   a c h i e v e d   f o r   t h e   f i r s t   t i m e   ( c o v a l e n t )   f u n c t i o n a l i z a t i o n   o f   p -   a n d   n - G a N   s e m i c o n d u c t o r   s u r f a c e s   w i t h   t u n e a b l e   l u m i n e s c e n t   i n d i c a t o r   d y e s   o f   t h e   R u - p o l y p y r i d y l   f a m i l y ,   a s   a   k e y   s t e p   i n   t h e   d e v e l o p m e n t   o f   i n n o v a t i v e   m i c r o s e n s o r s   f o r   s m a r t p h o n e   a p p l i c a t i o n s .   C h e m i c a l   " s e n s o r i n g "   o f   G a N - b a s e d   b l u e   L E D   c h i p s   w i t h   t h o s e   i n d i c a t o r s   h a s   a l s o   b e e n   a c h i e v e d   b y   p l a s m a   t r e a t m e n t   o f   t h e i r   s u r f a c e ,   a n d   t h e   m i c r o m e t e r - s i z e d   d e v i c e s   h a v e   b e e n   t e s t e d   t o   m o n i t o r   O - 2   i n   t h e   g a s   p h a s e   t o   s h o w   t h e i r   f u l l   f u n c t i o n a l i t y .   N o v e l   s t r a t e g i e s   t o   e n h a n c e   t h e   s e n s o r   s e n s i t i v i t y   s u c h   a s   c h a n g i n g   t h e   l e n g t h   a n d   n a t u r e   o f   t h e   s i l o x a n e   b u f f e r   l a y e r   a r e   d i s c u s s e d   i n   t h i s   p a p e r . 	 [ O r e l l a n a ,   G u i l l e r m o ;   G i l - H e r r e r a ,   L u z   K . ;   L o p e z - G e j o ,   J u a n ]   U n i v   C o m p l u t e n s e   M a d r i d ,   F a c   C h e m ,   D p m t   O r g a n   C h e m ,   E - 2 8 0 4 0   M a d r i d ,   S p a i n 	 O r e l l a n a ,   G   ( r e p r i n t   a u t h o r ) ,   U n i v   C o m p l u t e n s e   M a d r i d ,   F a c   C h e m ,   D p m t   O r g a n   C h e m ,   E - 2 8 0 4 0   M a d r i d ,   S p a i n . 	 o r e l l a n a @ q u i m . u c m . e s 	 O r e l l a n a ,   G u i l l e r m o / D - 1 5 0 4 - 2 0 1 3 	 	 	 	 [ A n o n y m o u s ] ,   2 0 0 8 ,   [ N o   t i t l e   c a p t u r e d ] ,   P a t e n t   N o .   7 4 2 0 6 6 3 ;   A r r a n z   A ,   2 0 0 8 ,   L A N G M U I R ,   V 2 4 ,   P 8 6 6 7 ,   D O I   1 0 . 1 0 2 1 / l a 8 0 1 2 5 9 n ;   B o u l o s   M N K ,   2 0 1 1 ,   B I O M E D   E N G   O N L I N E ,   V 1 0 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 5 - 9 2 5 X - 1 0 - 2 4 ;   C a r l s o n   B ,   2 0 0 8 ,   J   P H Y S   C H E M   C ,   V 1 1 2 ,   P 8 4 1 9 ,   D O I   1 0 . 1 0 2 1 / j p 7 1 1 3 4 3 4 ;   C h a e   H .   S . ,   2 0 1 1 ,   K o r e a n   P a t e n t ,   P a t e n t   N o .   [ 1 , 0 6 5 , 6 7 1 ,   1 0 6 5 6 7 1 ] ;   C h a n g   B Y ,   2 0 1 2 ,   B   K O R E A N   C H E M   S O C ,   V 3 3 ,   P 5 4 9 ,   D O I   1 0 . 5 0 1 2 / b k c s . 2 0 1 2 . 3 3 . 2 . 5 4 9 ;   C h u   C F ,   2 0 1 0 ,   P   I E E E ,   V 9 8 ,   P 1 1 9 7 ,   D O I   1 0 . 1 1 0 9 / J P R O C . 2 0 0 9 . 2 0 3 7 0 2 6 ;   H i c k s   J . ,   2 0 1 2 ,   F O R B E S                     0 1 0 3 ;   L i n   S C ,   2 0 1 2 ,   A P P L   P H Y S   E X P R E S S ,   V 5 ,   D O I   1 0 . 1 1 4 3 / A P E X . 5 . 0 3 1 0 0 3 ;   L o p e z - G e j o   J ,   2 0 1 1 ,   A C S   A P P L   M A T E R   I N T E R ,   V 3 ,   P 3 8 4 6 ,   D O I   1 0 . 1 0 2 1 / a m 2 0 1 0 5 0 9 ;   L o p e z - G e j o   J ,   2 0 1 0 ,   J   A M   C H E M   S O C ,   V 1 3 2 ,   P 1 7 4 6 ,   D O I   1 0 . 1 0 2 1 / j a 9 0 8 8 4 8 c ;   L o p e z - R u i z   N ,   2 0 1 2 ,   S E N S O R   A C T U A T   B - C H E M ,   V 1 7 1 ,   P 9 3 8 ,   D O I   1 0 . 1 0 1 6 / j . s n b . 2 0 1 2 . 0 6 . 0 0 7 ;   M a r g a l i t h   T ,   1 9 9 9 ,   A P P L   P H Y S   L E T T ,   V 7 4 ,   P 3 9 3 0 ,   D O I   1 0 . 1 0 6 3 / 1 . 1 2 4 2 2 7 ;   M a r i m u t h u   M ,   2 0 1 1 ,   A N A L   B I O A N A L   C H E M ,   V 4 0 1 ,   P 1 6 4 1 ,   D O I   1 0 . 1 0 0 7 / s 0 0 2 1 6 - 0 1 1 - 5 2 3 1 - 9 ;   M o r k o c   H ,   2 0 0 9 ,   H D B   N I T R I D E   S E M I C O N D ,   V 3 ;   M o s e s   P G ,   2 0 1 0 ,   A P P L   P H Y S   L E T T ,   V 9 6 ,   D O I   1 0 . 1 0 6 3 / 1 . 3 2 9 1 0 5 5 ;   N e m a n i c h   R . ,   1 9 9 5 ,   M R S   P ,   V 3 9 5 ,   P 7 7 7 ,   D O I   D O I   1 0 . 1 5 5 7 / P R O C - 3 9 5 - 7 7 7 ;   O r e l l a n a   G ,   2 0 0 5 ,   S P R   S   C   S   B ,   V 3 ,   P 1 8 9 ;   O r e l l a n a   G ,   2 0 0 4 ,   S P R   S   C   S   B ,   V 1 ,   P 3 0 9 ;   R y h a n e n   T ,   2 0 1 0 ,   N A N O T E C H N O L O G I E S   F U T ;   S m e s t a d   G P ,   2 0 0 3 ,   S O L   E N E R G   M A T   S O L   C ,   V 7 6 ,   P 8 5 ,   D O I   1 0 . 1 0 1 6 / S 0 9 2 7 - 0 2 4 8 ( 0 2 ) 0 0 2 5 2 - 0 ;   T o f e l   K .   C . ,   2 0 1 2 ,   G I G A O M                     0 5 1 4 ;   U S   D e p a r t m e n t   o f   H o m e l a n d   S e c u r i t y ,   2 0 1 2 ,   C E L L   A L L   S U P   S M A R T P H ;   Z a n a r i n i   S ,   2 0 0 8 ,   J   P H Y S   C H E M   B ,   V 1 1 2 ,   P 1 0 1 8 8 ,   D O I   1 0 . 1 0 2 1 / j p 8 0 3 7 5 7 y ;   Z h a i   H J ,   2 0 0 7 ,   J   A M   C H E M   S O C ,   V 1 2 9 ,   P 3 0 2 2 ,   D O I   1 0 . 1 0 2 1 / j a 0 6 8 6 0 1 z ;   Z h o u   W . ,   2 0 1 1 ,   C h i n e s e   P a t e n t ,   P a t e n t   N o .   [ 2 0 1 , 9 3 7 , 7 0 1 ,   2 0 1 9 3 7 7 0 1 ] 	 2 6 	 0 	 0 	 S P I E - I N T   S O C   O P T I C A L   E N G I N E E R I N G 	 B E L L I N G H A M 	 1 0 0 0   2 0 T H   S T ,   P O   B O X   1 0 ,   B E L L I N G H A M ,   W A   9 8 2 2 7 - 0 0 1 0   U S A 	 0 2 7 7 - 7 8 6 X 	 	 9 7 8 - 0 - 8 1 9 4 - 9 2 8 6 - 9 	 P R O C   S P I E 	 	 	 2 0 1 2 	 8 5 4 5 	 	 	 	 	 	 	 	 8 5 4 5 0 J 	 1 0 . 1 1 1 7 / 1 2 . 9 7 5 3 1 2 	 	 9 	 M a t e r i a l s   S c i e n c e ,   B i o m a t e r i a l s ;   R e m o t e   S e n s i n g ;   O p t i c s 	 M a t e r i a l s   S c i e n c e ;   R e m o t e   S e n s i n g ;   O p t i c s 	 B D H 7 5 	 W O S : 0 0 0 3 1 3 2 9 4 4 0 0 0 1 2 	 	 
 S 	 H o h ,   B ;   Y a n ,   T Y ;   G a n e s a n ,   D ;   T r a c t o n ,   K ;   I w u c h u k w u ,   T ;   L e e ,   J S 	 	 	 I E E E 	 H o h ,   B a i k ;   Y a n ,   T i n g x i n ;   G a n e s a n ,   D e e p a k ;   T r a c t o n ,   K e n n e t h ;   I w u c h u k w u ,   T o c h ;   L e e ,   J u o n g - S i k 	 	 	 T r u C e n t i v e :   A   G a m e - t h e o r e t i c   I n c e n t i v e   P l a t f o r m   f o r   T r u s t w o r t h y   M o b i l e   C r o w d s o u r c i n g   P a r k i n g   S e r v i c e s 	 2 0 1 2   1 5 T H   I N T E R N A T I O N A L   I E E E   C O N F E R E N C E   O N   I N T E L L I G E N T   T R A N S P O R T A T I O N   S Y S T E M S   ( I T S C ) 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n t e l l i g e n t   T r a n s p o r t a t i o n   S y s t e m s - I T S C 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 5 t h   I n t e r n a t i o n a l   I E E E   C o n f e r e n c e   o n   I n t e l l i g e n t   T r a n s p o r t a t i o n   S y s t e m s   ( I T S C ) 	 S E P   1 6 - 1 9 ,   2 0 1 2 	 A n c h o r a g e ,   A K 	 	 	 	 	 T h e   s h o r t a g e   o f   p a r k i n g   i n   c r o w d e d   u r b a n   a r e a s   c a u s e s   s e v e r e   s o c i e t a l   p r o b l e m s   s u c h   a s   t r a f f i c   c o n g e s t i o n ,   e n v i r o n m e n t a l   p o l l u t i o n ,   a n d   m a n y   o t h e r s .   R e c e n t l y ,   c r o w d s o u r c e d   p a r k i n g ,   w h e r e   s m a r t p h o n e   u s e r s   a r e   e x p l o i t e d   t o   c o l l e c t   r e a l - t i m e   p a r k i n g   a v a i l a b i l i t y   i n f o r m a t i o n ,   h a s   a t t r a c t e d   s i g n i f i c a n t   a t t e n t i o n .   H o w e v e r ,   e x i s t i n g   c r o w d s o u r c e d   p a r k i n g   i n f o r m a t i o n   s y s t e m s   s u f f e r   f r o m   l o w   u s e r   p a r t i c i p a t i o n   r a t e   a n d   d a t a   q u a l i t y   d u e   t o   t h e   l a c k   o f   c a r e f u l l y   d e s i g n e d   i n c e n t i v e   s c h e m e s .   I n   t h i s   p a p e r ,   w e   a d d r e s s   t h e   i n c e n t i v e   p r o b l e m   o f   t r u s t w o r t h y   c r o w d s o u r c e d   p a r k i n g   i n f o r m a t i o n   s y s t e m s   b y   p r e s e n t i n g   a n   i n c e n t i v e   p l a t f o r m   n a m e d   T r u C e n t i v e ,   w h e r e   h i g h   u t i l i t y   p a r k i n g   d a t a   c a n   b e   o b t a i n e d   f r o m   u n r e l i a b l e   c r o w d s   o f   m o b i l e   u s e r s .   O u r   c o n t r i b u t i o n   i s   t h r e e - f o l d .   F i r s t ,   w e   p r o v i d e   h i e r a r c h i c a l   i n c e n t i v e s   t o   s t i m u l a t e   t h e   p a r t i c i p a t i o n   o f   m o b i l e   u s e r s   f o r   c o n t r i b u t i n g   p a r k i n g   i n f o r m a t i o n .   S e c o n d ,   b y   i n t r o d u c i n g   u t i l i t y - r e l a t e d   i n c e n t i v e s ,   o u r   p l a t f o r m   e n c o u r a g e s   p a r t i c i p a n t s   t o   c o n t r i b u t e   h i g h   u t i l i t y   d a t a   a n d   t h e r e b y   e n h a n c e s   t h e   q u a l i t y   o f   c o l l e c t e d   d a t a .   T h i r d ,   o u r   a c t i v e   c o n f i r m a t i o n   s c h e m e   v a l i d a t e s   t h e   p a r k i n g   i n f o r m a t i o n   u t i l i t y   b y   g a m e - t h e o r e t i c a l l y   f o r m u l a t e d   i n c e n t i v e   p r o t o c o l s .   T h e   a c t i v e   c o n f i r m i n g   n o t   o n l y   v a l i d a t e s   t h e   u t i l i t y   o f   c o n t r i b u t e d   d a t a   b u t   r e - s e l l s   t h e   h i g h   u t i l i t y   d a t a   a s   w e l l .   O u r   e v a l u a t i o n   t h r o u g h   u s e r   s t u d y   o n   A m a z o n   M e c h a n i c a l   T u r k   a n d   s i m u l a t i o n   s t u d y   d e m o n s t r a t e   t h e   f e a s i b i l i t y   a n d   s t a b i l i t y   o f   T r u C e n t i v e   i n c e n t i v e   p l a t f o r m . 	 [ H o h ,   B a i k ;   T r a c t o n ,   K e n n e t h ;   I w u c h u k w u ,   T o c h ;   L e e ,   J u o n g - S i k ]   N o k i a   R e s   C t r ,   P a l o   A l t o ,   C A   9 4 3 0 4   U S A 	 H o h ,   B   ( r e p r i n t   a u t h o r ) ,   N o k i a   R e s   C t r ,   P a l o   A l t o ,   C A   9 4 3 0 4   U S A . 	 b a i k . h o h @ n o k i a . c o m ;   y a n @ c s . u m a s s . e d u ;   d g a n e s a n @ c s . u m a s s . e d u ;   k e n . t r a c t o n @ n o k i a . c o m ;   t o c h . i w u c h u k w u @ n o k i a . c o m ;   j u o n g - s i k . l e e @ n o k i a . c o m 	 	 	 	 	 A r n o t t   R ,   2 0 0 6 ,   J   U R B A N   E C O N ,   V 6 0 ,   P 4 1 8 ,   D O I   1 0 . 1 0 1 6 / j . j u e . 2 0 0 6 . 0 4 . 0 0 4 ;   B i l t o n   N . ,   F I N D I N G   P R I M E   P A R K I N ;   C .   f o r   R e s e a r c h   o n   C o m p u t a t i o n   a n d   S o c i e t y ,   T R U S T W   C R O W D S ;   D e r b e k e n   J .   V . ,   F A T A L   S T A B B I N G   P A R K I ;   K i n c a i d   J . ,   G O O G L E S   O P E N   S P O T   M A ;   L e e   J . ,   2 0 1 0 ,   P   I E E E   I N T   C   P E R V   C O ,   P 6 0 ;   M a t h u r   S . ,   2 0 1 0 ,   A C M   M O B I S Y S ;   M u s t h a g   M ,   2 0 1 1 ,   P   1 3   A C M   I N T   C   U B   C O ,   P 4 3 5 ;   O T T O M A N E L L I   S .   D . ,   2 0 1 1 ,   T R A N S P O R T A T I O N   P L A N N ,   V 3 4 ,   P 2 4 7 ;   P a o l a c c i   G . ,   2 0 1 0 ,   J U D G M E N T   D E C I S I O N   M A ;   R e d d y   S ,   2 0 1 0 ,   U B I C O M P   2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 0 1 0   A C M   C O N F E R E N C E   O N   U B I Q U I T O U S   C O M P U T I N G ,   P 3 3 ;   S F M T A ,   S F P A R K   P R O J ;   S h o u p   D C ,   2 0 0 6 ,   T R A N S P O R T   P O L I C Y ,   V 1 3 ,   P 4 7 9 ,   D O I   1 0 . 1 0 1 6 / j . t r a n p o l . 2 0 0 6 . 0 5 . 0 0 5 ;   T e o d o r o v i c   D ,   2 0 0 6 ,   E U R   J   O P E R   R E S ,   V 1 7 5 ,   P 1 6 6 6 ,   D O I   1 0 . 1 0 1 6 / j . e j o r . 2 0 0 5 . 0 2 . 0 3 3 ;   U .   D .   o f   T r a n s p o r t a t i o n ,   A D V   P A R K   M A N   S Y S T   C R ;   Y a n   T . ,   2 0 1 2 ,   U M C S 2 0 1 2 0 1 4 ;   Z h a i   Z . ,   2 0 1 2 ,   H A W   I N T   C   S Y S T   S C I ,   P 3 4 0 6 	 1 7 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 2 1 5 3 - 0 0 0 9 	 	 9 7 8 - 1 - 4 6 7 3 - 3 0 6 3 - 3 	 I E E E   I N T   C   I N T E L L   T R 	 	 	 2 0 1 2 	 	 	 	 	 	 	 1 6 0 	 1 6 6 	 	 	 	 7 	 A u t o m a t i o n   &   C o n t r o l   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T r a n s p o r t a t i o n   S c i e n c e   &   T e c h n o l o g y 	 A u t o m a t i o n   &   C o n t r o l   S y s t e m s ;   C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   T r a n s p o r t a t i o n 	 B D C 4 5 	 W O S : 0 0 0 3 1 2 5 9 9 6 0 0 0 2 7 	 	 
 J 	 W i e n e r ,   C ;   A c q u a h ,   I N ;   H e i s s ,   M ;   M a y e r d o r f e r ,   T ;   L a n g e n ,   M ;   K a m m e r g r u b e r ,   W C 	 	 	 I E E E 	 W i e n e r ,   C l e m e n s ;   A c q u a h ,   I s a a c   N e w t o n ;   H e i s s ,   M i c h a e l ;   M a y e r d o r f e r ,   T h o m a s ;   L a n g e n ,   M a n f r e d ;   K a m m e r g r u b e r ,   W a l t e r   C . 	 	 	 T a r g e t i n g   t h e   R i g h t   C r o w d   f o r   C o r p o r a t e   P r o b l e m   S o l v i n g   -   a   S i e m e n s   C a s e   S t u d y   w i t h   T e c h n o W e b   2 . 0 	 2 0 1 2   I E E E   I N T E R N A T I O N A L   T E C H N O L O G Y   M A N A G E M E N T   C O N F E R E N C E   ( I T M C ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   I n t e r n a t i o n a l   T e c h n o l o g y   M a n a g e m e n t   C o n f e r e n c e   ( I T M C ) 	 J U N   2 5 - 2 7 ,   2 0 1 2 	 D a l l a s ,   T X 	 I E E E ,   I E E E   T e c h n o l   M a n a g e m e n t   C o u n c i l   ( T M C ) ,   I E E E   D a l l a s   S e c t ,   B o e i n g   C o 	 	 b r o a d c a s t i n g ;   c o l l e c t i v e   i n t e l l i g e n c e ;   t a g g i n g ;   s e m a n t i c   n e t w o r k ;   c r o w d s o u r c i n g ;   s o c i a l   m e d i a ;   m e s s a g e   t a r g e t i n g 	 	 B a s e d   o n   a n   e x p e r t ' s   d i g i t a l   t r a c e   i n   a   c o m p a n y   s e m a n t i c   t e c h n o l o g i e s   i n   c o m b i n a t i o n   w i t h   e n t e r p r i s e   s o c i a l   m e d i a   a p p l i c a t i o n s   e n a b l e   t h e   i d e n t i f i c a t i o n   o f   e x p e r t s   i n   a   r e q u i r e d   f i e l d   o f   k n o w l e d g e .   W e   a n a l y z e   h o w   t h i s   i d e n t i f i c a t i o n   o f   e x p e r t s   c a n   b e   u s e d   t o   t a r g e t   t h e   r i g h t   c r o w d   f o r   c o r p o r a t e   p r o b l e m   s o l v i n g   a n d   a n a l y z e   h o w   a c c u r a t e   t h i s   e x p e r t   i d e n t i f i c a t i o n   a l g o r i t h m   c a n   b e   i n   t h e   c a s e   o f   s p a r s e   d i g i t a l   t r a c e   d a t a .   T h e   c a s e   s t u d y   p r e s e n t s   r e a l - w o r l d   d a t a   o f   t h e   s o - c a l l e d   U r g e n t   R e q u e s t s   f r o m   S i e m e n s '   T e c h n o W e b ,   a   S i e m e n s - i n t e r n a l   c r o w d   s o u r c i n g   m e t h o d .   T h e   t h r e e   m e t r i c s   s p a m   r e d u c t i o n   f a c t o r ,   g a i n   f a c t o r   a n d   c o n v e r s i o n   r a t e   a r e   d e f i n e d   i n   o r d e r   t o   m e a s u r e   t h e   q u a l i t y   o f   t h e   s e m a n t i c   m e s s a g e   t a r g e t i n g   i n   r e l a t i o n   t o   a   s i m p l e   b r o a d c a s t i n g   o f   t h e   U r g e n t   R e q u e s t   t o   e v e r y   T e c h n o W e b   u s e r .   W e   a p p l y   t h e s e   m e t r i c s   t o   t h e   r e a l - w o r l d   d a t a   o f   t h e   U r g e n t   R e q u e s t s   a n d   a n a l y z e   t h e   r e a s o n s   w h y   s o m e   m e s s a g e s   a r e   b e t t e r   t a r g e t e d   t h a n   o t h e r s . 	 [ W i e n e r ,   C l e m e n s ;   A c q u a h ,   I s a a c   N e w t o n ;   H e i s s ,   M i c h a e l ;   M a y e r d o r f e r ,   T h o m a s ]   S i e m e n s   A G   O s t e r r e i c h ,   V i e n n a ,   A u s t r i a 	 W i e n e r ,   C   ( r e p r i n t   a u t h o r ) ,   S i e m e n s   A G   O s t e r r e i c h ,   V i e n n a ,   A u s t r i a . 	 c l e m e n s . w i e n e r @ s i e m e n s . c o m 	 	 	 	 	 A c k e r l a u e r   H . ,   2 0 0 6 ,   W S E A S   T r a n s a c t i o n s   o n   B u s i n e s s   a n d   E c o n o m i c s ,   V 3 ;   B l a t t b e r g   C . R . ,   2 0 0 8 ,   I N T   S E R I E S   Q U A N T I T A T ;   D a v i s   J . ,   2 0 0 6 ,   M E A S U R I N G   M A R K E T I N G ;   G a s s m a n n   O ,   2 0 1 0 ,   C R O W D S O U R C I N G ,   P 9 ;   H e i s s   M . ,   2 0 0 1 ,   P   I E E E   I N T   E N G   M A N   C ,   P 3 7 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   H u a   X . S . ,   2 0 0 8 ,   P   I E E E   I N T   W O R K S H   M U ,   P 1 ;   K a m m e r g r u b e r   W . C . ,   2 0 1 0 ,   P   C O M P   I N F   S Y S T   I N D ,   P 4 1 4 ;   L a k h a n i   K . R . ,   2 0 0 7 ,   V A L U E   O P E N N E S S   S C I   P ;   L a n g e n   M . ,   2 0 1 1 ,   I E E E   N W E S P ;   L a r o s e   D .   T . ,   2 0 0 5 ,   D I S C O V E R I N G   K N O W L E D G ;   L a s s e r   S . ,   2 0 0 5 ,   P   I E E E   I N T   P R O F   C O M M ,   P 7 1 8 ;   M a r s h a l l   P . ,   2 0 1 1 ,   U L T I M A T E   G U I D E   F A C E B ,   P 6 1 ;   M c C o y   S ,   2 0 0 7 ,   C O M M U N   A C M ,   V 5 0 ,   P 8 4 ,   D O I   1 0 . 1 1 4 5 / 1 2 2 6 7 3 6 . 1 2 2 6 7 4 0 ;   M e h t a   A ,   2 0 0 7 ,   J   A C M ,   V 5 4 ,   D O I   1 0 . 1 1 4 5 / 1 2 8 4 3 2 0 . 1 2 8 4 3 2 1 ;   M i k u l o v i c   V . ,   2 0 0 6 ,   P   I E E E   I N T   C   G L O B   S O ,   P 2 4 5 ;   M i t r a   P ,   2 0 0 9 ,   N D T :   2 0 0 9   F I R S T   I N T E R N A T I O N A L   C O N F E R E N C E   O N   N E T W O R K E D   D I G I T A L   T E C H N O L O G I E S ,   P 3 6 6 ;   S p o n d e r   M ,   2 0 1 0 ,   S O C I A L   M E D I A   A N A L   E F ,   P 2 1 ;   S u r o w i e c k i   J ,   2 0 0 4 ,   W H Y   M A N Y   A R E   S M A R T E R ,   P 6 5 ;   Y a n   J ,   2 0 0 9 ,   P   1 8   I N T   C   W O R L D   W I D ,   P 2 6 1 ,   D O I   1 0 . 1 1 4 5 / 1 5 2 6 7 0 9 . 1 5 2 6 7 4 5 ;   Z a r r e l l a   D . ,   2 0 1 1 ,   F A C E B O O K   M A R K E T I N G   B 	 2 1 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 6 7 3 - 2 1 3 4 - 1 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 2 3 9 	 2 4 7 	 	 	 	 9 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 E n g i n e e r i n g ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 B D C 2 1 	 W O S : 0 0 0 3 1 2 5 5 4 9 0 0 0 3 2 	 	 
 J 	 L e e ,   M ;   J u n g ,   S H ;   L e e ,   S ;   H a n ,   D 	 	 	 I E E E 	 L e e ,   M i n k y u ;   J u n g ,   S u k   H o o n ;   L e e ,   S a n g j a e ;   H a n ,   D o n g s o o 	 	 	 E l e k s p o t :   A   P l a t f o r m   f o r   U r b a n   P l a c e   R e c o g n i t i o n   v i a   C r o w d s o u r c i n g 	 2 0 1 2   I E E E / I P S J   1 2 T H   I N T E R N A T I O N A L   S Y M P O S I U M   O N   A P P L I C A T I O N S   A N D   T H E   I N T E R N E T   ( S A I N T ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 2 t h   I E E E / I P S J   I n t e r n a t i o n a l   S y m p o s i u m   o n   A p p l i c a t i o n s   a n d   t h e   I n t e r n e t   ( S A I N T )   /   I E E E   A n n u a l   S i g n a t u r e   C o n f e r e n c e   o n   C o m p u t e r   S o f t w a r e   a n d   A p p l i c a t i o n s   ( C O M P S A C ) 	 J U L   1 6 - 2 0 ,   2 0 1 2 	 I z m i r ,   T U R K E Y 	 I E E E ,   I P S J ,   I E E E   C o m p   S o c 	 	 c r o w d s o u r c i n g ;   W i - F i   p o s i t i o n i n g ;   p l a c e   r e c o g n i t i o n 	 	 T h e   p r o l i f e r a t i o n   o f   W i - F i   i n f r a s t r u c t u r e s   h a s   f a c i l i t a t e d   n u m e r o u s   i n d o o r   l o c a l i z a t i o n   t e c h n i q u e s   u s i n g   W i - F i   l o c a t i o n   f i n g e r p r i n t s .   T h e y   m a k e   i t   p o s s i b l e   t o   i d e n t i f y   a   r o o m   o r   a   p l a c e   i n   u r b a n   e n v i r o n m e n t ,   w h i c h   i s   e s p e c i a l l y   i m p o r t a n t   i n   e n a b l i n g   m a n y   i n t e r e s t i n g   l o c a t i o n - b a s e d   s e r v i c e s .   A s   t h e r e   a r e   t o o   m a n y   r o o m s   a n d   p l a c e s   s u c h   a s   c a f e s   a n d   r e s t a u r a n t s   t o   b e   r e c o g n i z e d   i n   u r b a n   e n v i r o n m e n t ,   t h e   c r o w d s o u r c i n g   a p p r o a c h   h a s   b e e n   p r o p o s e d   t o   c o l l e c t   W i - F i   l o c a t i o n   f i n g e r p r i n t s   b a s e d   o n   u s e r   p a r t i c i p a t i o n .   H o w e v e r ,   i t s   a c t u a l   d e p l o y m e n t   i n   a   l a r g e - s c a l e   u r b a n   e n v i r o n m e n t   p r e s e n t s   n u m e r o u s   d e s i g n   a n d   i m p l e m e n t a t i o n   c h a l l e n g e s   d u e   t o   u r b a n   c h a r a c t e r i s t i c s   s u c h   a s   a   l a r g e   c r o w d ,   d e n s e   r e g i o n ,   a n d   d e v i c e   d i v e r s i t y .   T h i s   p a p e r   p r e s e n t s   E l e k s p o t   s y s t e m ,   w h o s e   d e s i g n   g o a l   i s   t o   s u p p o r t   s y s t e m   s c a l a b i l i t y ,   d e v i c e   h e t e r o g e n e i t y ,   r o b u s t n e s s   a g a i n s t   l a c k   o f   c o n t r i b u t i o n s ,   a n d   l o c a l i z a t i o n   a c c u r a c y .   T h r o u g h   s e v e r a l   e x p e r i m e n t s   a n d   i m p l e m e n t a t i o n   o f   a c t u a l   a p p l i c a t i o n s   t a r g e t i n g   u r b a n   p l a c e s   w e   c o n f i r m e d   t h a t   t h e   a r c h i t e c t u r e   a n d   m e t h o d s   o f   E l e k s p o t   c a n   e f f e c t i v e l y   m e e t   t h e   d e s i g n   g o a l s . 	 [ L e e ,   M i n k y u ;   J u n g ,   S u k   H o o n ;   L e e ,   S a n g j a e ;   H a n ,   D o n g s o o ]   K o r e a   A d v   I n s t   S c i   &   T e c h n o l ,   D e p t   C o m p   S c i ,   T a e j o n   3 0 5 7 0 1 ,   S o u t h   K o r e a 	 L e e ,   M   ( r e p r i n t   a u t h o r ) ,   K o r e a   A d v   I n s t   S c i   &   T e c h n o l ,   D e p t   C o m p   S c i ,   2 9 1   D a e h a k   R o ,   T a e j o n   3 0 5 7 0 1 ,   S o u t h   K o r e a . 	 n i k l a u s @ k a i s t . a c . k r ;   s h . j u n g @ k a i s t . a c . k r ;   s u m m i t @ k a i s t . a c . k r ;   d s h a n @ k a i s t . a c . k r 	 	 	 	 	 A h n   L . V . ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 1 ,   P 1 4 6 5 ;   B a h l   P . ,   2 0 0 0 ,   I E E E   I N F O C O M   2 0 0 0   1 9 ,   V 7 7 2 ,   P 7 7 5 ;   B a r r y   A . ,   2 0 0 9 ,   P   M O B   E N T   L O C   T R A C K ;   B o l l i g e r   P . ,   2 0 0 8 ,   P   1   A C M   I N T   W O R K S H   M ,   P 5 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 1 0 0 1 2 . 1 4 1 0 0 2 5 ;   C h a n g   F . ,   2 0 0 6 ,   P   7   S   O P   S Y S T   D E S   I M ;   C h e n g   Y . ,   2 0 0 5 ,   P   M O B I S Y S 0 5 ;   H a e b e r l e n   A . ,   2 0 0 4 ,   P   M O B I C O M   0 4   P H I L   P A ;   K u o   S .   P . ,   2 0 0 7 ,   I E E E   I N T   C   M O B   A D   H O ;   L a M a r c a   A ,   2 0 0 5 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 4 6 8 ,   P 1 1 6 ;   L e m e l s o n   H . ,   2 0 0 9 ,   P   5   I N T   S   L O C   C O N T   A ;   M y l l y m a k i   P . ,   2 0 0 1 ,   P   3   I E E E   W O R K S H   W I R ;   P a r k   J . ,   2 0 1 0 ,   P   M O B I S Y S 1 0   S A N   F R A N ;   T o y e   E . ,   2 0 0 5 ,   I E E E   P E R V A S I V E   C O M P U ;   Y o u s s e f   M A ,   2 0 0 3 ,   P R O C E E D I N G S   O F   T H E   F I R S T   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   P E R V A S I V E   C O M P U T I N G   A N D   C O M M U N I C A T I O N S   ( P E R C O M   2 0 0 3 ) ,   P 1 4 3 ,   D O I   1 0 . 1 1 0 9 / P E R C O M . 2 0 0 3 . 1 1 9 2 7 3 6 	 1 4 	 3 	 3 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 0 - 7 6 9 5 - 4 7 3 7 - 4 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 1 9 0 	 1 9 5 	 	 1 0 . 1 1 0 9 / S A I N T . 2 0 1 2 . 3 5 	 	 6 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B D B 7 2 	 W O S : 0 0 0 3 1 2 4 9 5 4 0 0 0 2 5 	 	 
 J 	 V a a t a j a ,   H ;   V a i n i o ,   T ;   S i r k k u n e n ,   E 	 	 	 A C M 	 V a a t a j a ,   H e l i ;   V a i n i o ,   T e i j a ;   S i r k k u n e n ,   E s a 	 	 	 L o c a t i o n - B a s e d   C r o w d s o u r c i n g   o f   H y p e r l o c a l   N e w s   -   D i m e n s i o n s   o f   P a r t i c i p a t i o n   P r e f e r e n c e s 	 P R O C E E D I N G S   O F   T H E   1 7 T H   A C M   I N T E R N A T I O N A L   C O N F E R E N C E   O N   S U P P O R T I N G   G R O U P   W O R K 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 7 t h   A C M   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S u p p o r t i n g   G r o u p   W o r k   ( G R O U P ) 	 O C T   2 7 - 3 1 ,   2 0 1 2 	 S a n i b e l   I s l a n d ,   F L 	 A s s o c   C o m p   M a c h i n e r y   ( A C M ) ,   A s s o c   C o m p   M a c h i n e r y   ( A C M )   S I G C H I 	 	 C r o w d s o u r c i n g ;   l o c a t i o n ;   p r i v a c y ;   n e w s ;   a s s i g n m e n t ;   u s e r - g e n e r a t e d   c o n t e n t ;   U G C ;   r e a d e r 	 P R I V A C Y 	 W e   s t u d i e d   t h e   m o b i l e   u s e r s '   p r e f e r e n c e s   a n d   c o n c e r n s   o f   u s i n g   l o c a t i o n - b a s e d   a s s i g n m e n t s   ( L B A )   a n d   g e o t a g g i n g   i n   c r o w d s o u r c e d   n e w s   m a k i n g .   F i r s t ,   n i n e   r e a d e r s   w h o   h a d   s u b m i t t e d   r e a d e r ' s   p h t o s   w e r e   i n t e r v i e w e d   a b o u t   t h e i r   p e r c e p t i o n s   o f   L B A   a n d   g e o t a g g i n g   s c e n a r i o s .   S e c o n d ,   a   q u a s i - e x p e r i m e n t   i n   f i e l d   c o n d i t i o n s   w a s   c a r r i e d   o u t   w i t h   n i n e t e e n   p a r t i c i p a n t s .   A f t e r   c o m p l e t i n g   f o u r   L B A   t a s k s   w i t h   a   m o b i l e   p h o n e ,   p a r t i c i p a n t s   w e r e   i n t e r v i e w e d   o n   t h e i r   p e r c e p t i o n s   a n d   a s k e d   t o   c o m p l e t e   a   q u e s t i o n n a i r e   o n   t h e i r   p r e f e r e n c e s   f o r   r e c e i v i n g   L B A   a n d   u s a g e   o f   g e o t a g s .   F i n d i n g s   i n d i c a t e   t h a t   t h e   p e r c e i v e d   b e n e f i t s   o f   L B A   a n d   g e o t a g g i n g   a r e   g r e a t e r   t h a n   t h e   p e r c e i v e d   r i s k s .   T h e   t a s k   t y p e ,   t e m p o r a l   c o n t e x t ,   p r e c i s e n e s s   o f   l o c a t i o n   q u e r y ,   p r o x i m i t y   t o   t h e   r e p o r t i n g   l o c a t i o n ,   p a r a l l e l   t a s k s ,   s o c i a l   c o n t e x t   a n d   i n c e n t i v e s   a f f e c t e d   t h e   p a r t i c i p a t i o n   p r e f e r e n c e s .   W e   p r o p o s e   a   f r a m e w o r k   f o r   p a r t i c i p a t i o n   p r e f e r e n c e s   t o   s u p p o r t   f u r t h e r   s t u d i e s   i n   l o c a t i o n - b a s e d   c r o w d s o u r c i n g   a n d   i n   t h e   d e v e l o p m e n t   o f   c r o w d s o u r c i n g   p r o c e s s e s   a n d   s y s t e m s . 	 [ V a a t a j a ,   H e l i ;   V a i n i o ,   T e i j a ]   T a m p e r e   U n i v   T e c h n o l ,   F I N - 3 3 1 0 1   T a m p e r e ,   F i n l a n d 	 V a a t a j a ,   H   ( r e p r i n t   a u t h o r ) ,   T a m p e r e   U n i v   T e c h n o l ,   K o r k e a k o u l u n k a t u   6 ,   F I N - 3 3 1 0 1   T a m p e r e ,   F i n l a n d . 	 h e l i . v a a t a j a @ t u t . f i ;   t e i j a . v a i n i o @ t u t . f i ;   e s a . s i r k k u n e n @ u t a . f i 	 	 	 	 	 A l t   F . ,   2 0 1 0 ,   P   6   N O R D   C   H U M   C O M P ,   P 1 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 6 8 9 1 4 . 1 8 6 8 9 2 1 ;   A n t i k a i n e n   M a r i a   J ,   2 0 1 0 ,   I n t e r n a t i o n a l   J o u r n a l   o f   E n t r e p r e n e u r s h i p   a n d   I n n o v a t i o n   M a n a g e m e n t ,   V 1 1 ,   D O I   1 0 . 1 5 0 4 / I J E I M . 2 0 1 0 . 0 3 2 2 6 7 ;   B a r k h u u s   L . ,   2 0 0 3 ,   P   I N T   2 0 0 3 ,   P 7 0 9 ;   B e c k e t t   C h a r l i e ,   2 0 0 8 ,   S U P E R M E D I A ;   B o n n e y   R . ,   2 0 0 9 ,   P U B L I C   P A R T I C I P A T I O N ;   B r a d s h a w   P . ,   2 0 1 1 ,   O N L I N E   J O U R N A L I S M   H D ;   B r a d s h a w   P . ,   2 0 1 1 ,   C R O W D S O U R C I N G   I N V E S T ;   B r u s h   A . J . ,   2 0 1 0 ,   P   U B   2 0 1 0 ;   C o n s o l v o   S . ,   2 0 0 5 ,   P   S I G C H I   C   H U M   F A C T ,   P 8 1 ,   D O I   1 0 . 1 1 4 5 / 1 0 5 4 9 7 2 . 1 0 5 4 9 8 5 ;   C r a m e r   H e n r i e t t e ,   2 0 1 1 ,   P   1 3   I N T   C   H U M   C O M P ,   V 5 7 - 6 6 ;   D o m i n g o   D . ,   2 0 0 8 ,   J O U R N A L I S M   P R A C T I C E ,   V 2 ,   P 3 2 6 ,   D O I   D O I   1 0 . 1 0 8 0 / 1 7 5 1 2 7 8 0 8 0 2 2 8 1 0 6 5 ;   E a g l e   N ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 6 2 3 ,   P 4 4 7 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 2 7 6 7 - 3 _ 5 0 ;   E s t e l l e s - A r o l a s   E . ,   J   I N F O R M   S C   I N   P R E S S ;   G i l l m o r   D . ,   2 0 0 4 ,   P   H Y P E R T E X T   0 4 ,   P 2 7 0 ,   D O I   1 0 . 1 1 4 5 / 1 0 1 2 8 0 7 . 1 0 1 2 8 0 8 ;   G r e e n g a r d   S ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 2 0 ,   D O I   1 0 . 1 1 4 5 / 1 8 9 7 8 1 6 . 1 8 9 7 8 2 4 ;   I a c h e l l o   G i o v a n n i ,   2 0 0 7 ,   F o u n d a t i o n s   a n d   T r e n d s   i n   H u m a n - C o m p u t e r   I n t e r a c t i o n ,   V 1 ,   D O I   1 0 . 1 5 6 1 / 1 1 0 0 0 0 0 0 0 4 ;   H o w e   J . ,   2 0 0 9 ,   C R O W D S O U R C I N G   W H Y   P O ;   J u m i s k o - P y y k k o   S . ,   2 0 1 0 ,   I N T   J   M U L T I M E D I A   T O O ,   P 1 ,   D O I   [ 1 0 . 1 0 0 7 / s 1 1 0 4 2 - 0 1 0 - 0 5 7 3 - 4 ,   D O I   1 0 . 1 0 0 7 / S 1 1 0 4 2 - 0 1 0 - 0 5 7 3 - 4 ] ;   J u m i s k o - P y y k k o   S a l u ,   2 0 1 0 ,   I n t e r n a t i o n a l   J o u r n a l   o f   M o b i l e   H u m a n   C o m p u t e r   I n t e r a c t i o n ,   V 2 ,   D O I   1 0 . 4 0 1 8 / j m h c i . 2 0 1 0 1 0 0 1 0 1 ;   K e l l e y   P . ,   2 0 1 1 ,   P   C H I   1 1 ,   P 2 4 4 9 ;   K i n d b e r g   T ,   2 0 0 4 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 2 0 5 ,   P 1 9 6 ;   K i t t u r   A . ,   2 0 1 2 ,   P   C S C W   1 2 ,   P 1 0 3 3 ;   K o n o m i   S ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 5 3 8 ,   P 2 0 2 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 1 5 1 6 - 8 _ 1 5 ;   L e d e r e r   S . ,   2 0 0 3 ,   U C B C S D 0 3 1 2 8 3 ;   L i e t s a l a   K . ,   2 0 0 8 ,   S O C I A L   M E D I A   I N T R O   T ;   M a l h o t r a   N K ,   2 0 0 4 ,   I N F O R M   S Y S T   R E S ,   V 1 5 ,   P 3 3 6 ,   D O I   1 0 . 1 2 8 7 / i s r e . 1 0 4 0 . 0 0 3 2 ;   M o k b e l   M . ,   2 0 0 6 ,   V L D B ;   M u l l e r   C . ,   2 0 1 0 ,   P   G R O U P   1 0 ,   P 7 5 ,   D O I   1 0 . 1 1 4 5 / 1 8 8 0 0 7 1 . 1 8 8 0 0 8 2 ;   M y l e s   G ,   2 0 0 3 ,   I E E E   P E R V A S   C O M P U T ,   V 2 ,   P 5 6 ,   D O I   1 0 . 1 1 0 9 / M P R V . 2 0 0 3 . 1 1 8 6 7 2 6 ;   O u t i n g   S . ,   2 0 0 5 ,   1 1   L A Y E R S   C I T I Z E N   J O ;   R a e n t o   M ,   2 0 0 8 ,   P E R S   U B I Q U I T   C O M P U T ,   V 1 2 ,   P 5 2 7 ,   D O I   1 0 . 1 0 0 7 / s 0 0 7 7 9 - 0 0 8 - 0 2 0 0 - 9 ;   S a v a g e   N ,   2 0 1 2 ,   C O M M U N   A C M ,   V 5 5 ,   P 1 3 ,   D O I   1 0 . 1 1 4 5 / 2 0 9 3 5 4 8 . 2 0 9 3 5 5 3 ;   S i n g e r ,   2 0 1 1 ,   P A R T I C I P A T O R Y   J O U R N A ;   S l o a n e   P . ,   2 0 1 1 ,   G U I D E   O P E N   I N N O V A T I O ;   S u r o w i e c k i   J a m e s ,   2 0 0 5 ,   W I S D O M   C R O W D S ;   T a l u k d e r   N ,   2 0 1 0 ,   W I S E C   1 0 :   P R O C E E D I N G S   O N   T H E   T H I R D   A C M   C O N F E R E N C E   O N   W I R E L E S S   N E T W O R K   S E C U R I T Y ,   P 2 5 ;   T a p s c o t t   D . ,   2 0 0 6 ,   W I K I N O M I C S   M A S S   C O L L ;   T o c h   E ,   2 0 1 0 ,   U B I C O M P   2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 0 1 0   A C M   C O N F E R E N C E   O N   U B I Q U I T O U S   C O M P U T I N G ,   P 1 2 9 ;   T s a i   J . ,   2 0 0 9 ,   P   T P R C   2 0 0 9 ;   T s a i   J Y ,   2 0 0 9 ,   C H I 2 0 0 9 :   P R O C E E D I N G S   O F   T H E   2 7 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 2 0 0 3 ;   V a a t a j a   H . ,   2 0 1 1 ,   P   M O B I L E H C I   1 1 ,   P 4 3 5 ;   V a a t a j a   H . ,   2 0 1 2 ,   P   C S C W 2 0 1 2 ;   V a a t a j a   H . ,   2 0 1 2 ,   P   G R O U P   2 0 1 2 ;   W a r d l e   C ,   2 0 0 8 ,   U G C   T H E B B C   U N D E R S T A N ;   X u   H ,   2 0 0 9 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 6 ,   P 1 3 5 ,   D O I   1 0 . 2 7 5 3 / M I S 0 7 4 2 - 1 2 2 2 2 6 0 3 0 5 ;   Y A N   T ,   2 0 0 9 ,   P   7   A C M   C   E M B   N E T W   S ,   P 3 4 7 ,   D O I   1 0 . 1 1 4 5 / 1 6 4 4 0 3 8 . 1 6 4 4 0 9 4 	 4 6 	 1 	 1 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 1 5 1 5   B R O A D W A Y ,   N E W   Y O R K ,   N Y   1 0 0 3 6 - 9 9 9 8   U S A 	 	 	 9 7 8 - 1 - 4 5 0 3 - 1 4 8 6 - 2 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 8 5 	 9 4 	 	 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B D C 4 8 	 W O S : 0 0 0 3 1 2 6 0 3 4 0 0 0 1 0 	 	 
 B 	 K i n n a i r d ,   P ;   D a b b i s h ,   L ;   K i e s l e r ,   S 	 	 	 A C M 	 K i n n a i r d ,   P e t e r ;   D a b b i s h ,   L a u r a ;   K i e s l e r ,   S a r a 	 	 	 W o r k f l o w   T r a n s p a r e n c y   i n   a   M i c r o t a s k   M a r k e t p l a c e 	 P R O C E E D I N G S   O F   T H E   1 7 T H   A C M   I N T E R N A T I O N A L   C O N F E R E N C E   O N   S U P P O R T I N G   G R O U P   W O R K 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 7 t h   A C M   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S u p p o r t i n g   G r o u p   W o r k   ( G R O U P ) 	 O C T   2 7 - 3 1 ,   2 0 1 2 	 S a n i b e l   I s l a n d ,   F L 	 A s s o c   C o m p   M a c h i n e r y   ( A C M ) ,   A s s o c   C o m p   M a c h i n e r y   ( A C M )   S I G C H I 	 	 C r o w d s o u r c i n g ;   w o r k f l o w ;   v i s u a l i z a t i o n ;   C S C W ;   t a s k   m o t i v a t i o n ;   p r o d u c t i v i t y ;   e n t i t a t i v i t y 	 	 I n t e r d e p e n d e n t   t a s k s   i n   M e c h a n i c a l   T u r k   ( M T u r k )   c a n   b e   m a n a g e d   e f f i c i e n t l y   w i t h   a   w o r k f l o w ,   a   s e q u e n c e   o f   t a s k s   t h r o u g h   w h i c h   w o r k   p a s s e s   t o   i t s   c o m p l e t i o n .   W e   a s k   i f   w o r k e r s   s h o u l d   b e   i n f o r m e d   a b o u t   t h e   w o r k f l o w ,   w h i c h   w e   c a l l   w o r k f l o w   t r a n s p a r e n c y .   T r a n s p a r e n c y   c o u l d   m o t i v a t e   w o r k e r s   o r   i n d u c e   s o c i a l   l o a f i n g .   W e   d e s c r i b e   t h r e e   e x p e r i m e n t s   t o   d e t e r m i n e   t h e   e f f e c t s   o f   w o r k f l o w   t r a n s p a r e n c y   i n   M T u r k .   W e   c o m p a r e d   a   t e x t   d e s c r i p t i o n   o f   t h e   w o r k f l o w ,   a   v i s u a l i z a t i o n   o f   t h e   w o r k f l o w ,   a n d   t h e   c o m b i n a t i o n   o f   t e x t   a n d   v i s u a l i z a t i o n   w i t h   a   c o n t r o l   c o n d i t i o n   g i v i n g   n o   w o r k f l o w   i n f o r m a t i o n .   W o r k f l o w   t r a n s p a r e n c y   m a r g i n a l l y   i n c r e a s e d   v o l u n t e e r i s m   o n   a   c h a r i t y   i d e n t i f i c a t i o n   t a s k   ( e x p e r i m e n t   1 )   a n d   s i g n i f i c a n t l y   i n c r e a s e d   v o l u n t e e r i s m   a n d   q u a l i t y   o n   a   b u s i n e s s   i d e n t i f i c a t i o n   t a s k   ( e x p e r i m e n t   2 ) .   R e s u l t s   w e r e   w e a k e r   w i t h   a   l e s s   e x p e r i e n c e d   w o r k e r   s a m p l e   ( e x p e r i m e n t   3 ) .   W e   s u g g e s t   f u r t h e r   r e s e a r c h   o n   t h e   d e s i g n   o f   w o r k f l o w   i n f o r m a t i o n   t o   i n c r e a s e   w o r k e r s '   m o t i v a t i o n . 	 [ K i n n a i r d ,   P e t e r ;   D a b b i s h ,   L a u r a ;   K i e s l e r ,   S a r a ]   C a r n e g i e   M e l l o n   U n i v ,   H C I   I n s t ,   P i t t s b u r g h ,   P A   1 5 2 1 3   U S A 	 K i n n a i r d ,   P   ( r e p r i n t   a u t h o r ) ,   C a r n e g i e   M e l l o n   U n i v ,   H C I   I n s t ,   P i t t s b u r g h ,   P A   1 5 2 1 3   U S A . 	 k i n n a i r d @ c s . c m u . e d u ;   d a b b i s h @ c m u . e d u ;   k i e s l e r @ c s . c m u . e d u 	 	 	 	 	 B e r n s t e i n   M i c h a e l   S . ,   2 0 1 0 ,   U I S T ,   P 3 1 3 ;   D o w n s   J S ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 2 3 9 9 ;   F e k e t e   J D ,   2 0 0 8 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 9 5 0 ,   P 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 7 0 9 5 6 - 5 _ 1 ;   G E O R G E   J M ,   1 9 9 2 ,   A C A D   M A N A G E   J ,   V 3 5 ,   P 1 9 1 ,   D O I   1 0 . 2 3 0 7 / 2 5 6 4 7 8 ;   G r a n o v e t t e r   M ,   2 0 0 5 ,   J   E C O N   P E R S P E C T ,   V 1 9 ,   P 3 3 ,   D O I   1 0 . 1 2 5 7 / 0 8 9 5 3 3 0 0 5 3 1 4 7 9 5 8 ;   H A C K M A N   J R ,   1 9 7 6 ,   O R G A N   B E H A V   H U M   P E R F ,   V 1 6 ,   P 2 5 0 ,   D O I   1 0 . 1 0 1 6 / 0 0 3 0 - 5 0 7 3 ( 7 6 ) 9 0 0 1 6 - 7 ;   H a r r i s   M . ,   2 0 0 8 ,   S U N D A Y   T I M E S ;   H u b e r m a n   B A ,   2 0 0 9 ,   J   I N F   S C I ,   V 3 5 ,   P 7 5 8 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 0 9 3 4 6 7 8 6 ;   J a n s   L ,   2 0 1 1 ,   P E R S   S O C   P S Y C H O L   B ,   V 3 7 ,   P 1 1 3 0 ,   D O I   1 0 . 1 1 7 7 / 0 1 4 6 1 6 7 2 1 1 4 0 7 3 4 2 ;   J O N E S   G R ,   1 9 8 4 ,   A C A D   M A N A G E   R E V ,   V 9 ,   P 6 8 4 ,   D O I   1 0 . 2 3 0 7 / 2 5 8 4 9 0 ;   K A R A U   S J ,   1 9 9 3 ,   J   P E R S   S O C   P S Y C H O L ,   V 6 5 ,   P 6 8 1 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 2 - 3 5 1 4 . 6 5 . 4 . 6 8 1 ;   K i d w e l l   R . E . ,   1 9 9 3 ,   E M P L O Y E E   P R O P E N S I T Y ;   K i d w e l l   R o l a n d   E . ,   1 9 9 3 ,   A C A D   M A N A G E   R E V ,   V 1 8 ,   P 4 2 9 ;   K i t t u r   A . ,   2 0 1 1 ,   I I C I ,   P 1 8 0 1 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   K u l k a r n i   A . ,   2 0 1 2 ,   C S C W   2 0 1 2 ;   L a k e n s   D ,   2 0 1 0 ,   J   E X P   S O C   P S Y C H O L ,   V 4 6 ,   P 7 0 1 ,   D O I   1 0 . 1 0 1 6 / j . j e s p . 2 0 1 0 . 0 3 . 0 1 5 ;   M a s o n   W . ,   2 0 1 0 ,   A C M   S I G K D D   E X P L O R A T I ,   V 1 1 ,   P 1 0 0 ,   D O I   [ D O I   1 0 . 1 1 4 5 / 1 8 0 9 4 0 0 . 1 8 0 9 4 2 2 ,   D O I   1 0 . 1 1 4 5 / - 1 8 0 9 4 0 0 . 1 8 0 9 4 2 2 ] ;   S h a w   A . D . ,   2 0 1 1 ,   C S C W   2 0 1 1 ;   S n o w   R . ,   2 0 0 8 ,   E M P   M E T H   N A T   L A N   P   2 ;   W a r e   C . ,   2 0 0 0 ,   I N F O R M   V I S U A L I Z A T I O N 	 2 1 	 0 	 0 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 1 5 1 5   B R O A D W A Y ,   N E W   Y O R K ,   N Y   1 0 0 3 6 - 9 9 9 8   U S A 	 	 	 9 7 8 - 1 - 4 5 0 3 - 1 4 8 6 - 2 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 2 8 1 	 2 8 4 	 	 	 	 4 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B D C 4 8 	 W O S : 0 0 0 3 1 2 6 0 3 4 0 0 0 3 5 	 	 
 J 	 V a a t a j a ,   H 	 	 	 A C M 	 V a a t a j a ,   H e l i 	 	 	 R e a d e r s '   M o t i v a t i o n s   t o   P a r t i c i p a t e   i n   H y p e r l o c a l   N e w s   C o n t e n t   C r e a t i o n 	 P R O C E E D I N G S   O F   T H E   1 7 T H   A C M   I N T E R N A T I O N A L   C O N F E R E N C E   O N   S U P P O R T I N G   G R O U P   W O R K 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 7 t h   A C M   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S u p p o r t i n g   G r o u p   W o r k   ( G R O U P ) 	 O C T   2 7 - 3 1 ,   2 0 1 2 	 S a n i b e l   I s l a n d ,   F L 	 A s s o c   C o m p   M a c h i n e r y   ( A C M ) ,   A s s o c   C o m p   M a c h i n e r y   ( A C M )   S I G C H I 	 	 M o t i v a t i o n ;   c r o w d s o u r c i n g ;   n e w s ;   p h o t o ;   c o n t e n t ;   U G C ;   p a r t i c i p a t i o n ;   p a r t i c i p a t o r y   j o u r n a l i s m ;   h y p e r l o c a l 	 	 R e a d e r s   a r e   i n c r e a s i n g l y   p a r t i c i p a t i n g   t o   n e w s   c o n t e n t   c r e a t i o n   b y   s u b m i t t i n g   u s e r - g e n e r a t e d   c o n t e n t   ( U G C ) .   W e   s t u d i e d   t h e   p a r t i c i p a t i o n   m o t i v a t i o n s   o f   a c t i v e   r e a d e r s   w h o   s e n d   p h o t o   c o n t e n t   t o   a   h y p e r l o c a l   n e w s   p u b l i s h e r .   T h e   f i r s t   r e s u l t s   b a s e d   o n   a n   o n l i n e   q u e s t i o n n a i r e   i n d i c a t e   t h a t   f u n ,   t h e   o p p o r t u n i t y   t o   g e t   a   m o n e t a r y   r e w a r d   a n d   i n f o r m i n g   o t h e r s   o f   l o c a l   i s s u e s   a r e   t h e   s t r o n g e s t   m o t i v a t o r s .   I n   a d d i t i o n ,   p a r t i c i p a t i o n   t o   t h e   n e w s   m a k i n g   a c t i v i t y   a n d   s e l f - e x p r e s s i o n   a r e   i m p o r t a n t   m o t i v a t i o n s .   T h o s e   w h o   i n t e n t i o n a l l y   p l a n n e d   a n d   s e a r c h e d   f o r   t o p i c s   t o   r e p o r t   w i t h   p h o t o s ,   r e p o r t e d   m o r e   o f t e n   t h e   o p p o r t u n i t y   f o r   e x t r a   i n c o m e   a n d   d e v e l o p m e n t   a s   a   p h o t o g r a p h e r   a s   p a r t i c i p a t i o n   m o t i v a t i o n s   t h a n   t h o s e ,   w h o   c a p t u r e d   p h o t o s   w h e n   a   g o o d   t o p i c   c a m e   a b o u t . 	 T a m p e r e   U n i v   T e c h n o l ,   T a m p e r e   3 3 7 2 0 ,   F i n l a n d 	 V a a t a j a ,   H   ( r e p r i n t   a u t h o r ) ,   T a m p e r e   U n i v   T e c h n o l ,   K o r k e a k o u l u n k a t u   6 ,   T a m p e r e   3 3 7 2 0 ,   F i n l a n d . 	 h e l i . v a a t a j a @ t u t . f i 	 	 	 	 	 A n t i k a i n e n   M a r i a   J ,   2 0 1 0 ,   I n t e r n a t i o n a l   J o u r n a l   o f   E n t r e p r e n e u r s h i p   a n d   I n n o v a t i o n   M a n a g e m e n t ,   V 1 1 ,   D O I   1 0 . 1 5 0 4 / I J E I M . 2 0 1 0 . 0 3 2 2 6 7 ;   B a n k s   J ,   2 0 0 9 ,   I N T   J   C U L T U R A L   S T U D ,   V 1 2 ,   P 4 1 9 ,   D O I   1 0 . 1 1 7 7 / 1 3 6 7 8 7 7 9 0 9 3 3 7 8 6 2 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   1   M O N D A Y ,   V 1 3 ,   P 6 ;   B u e h n e r   T . ,   2 0 1 1 ,   2 0 1 1   M I D W   C   A S S   E D   J ;   L a k h a n i   K .   R . ,   2 0 0 5 ,   P E R S P E C T I V E S   F R E E   O P ,   P 3 ;   L e i m e i s t e r   J M ,   2 0 0 9 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 6 ,   P 1 9 7 ,   D O I   1 0 . 2 7 5 3 / M I S 0 7 4 2 - 1 2 2 2 2 6 0 1 0 8 ;   N o v   O . ,   2 0 1 0 ,   J   A M   S O C   I N F O R M   S Y S T ,   V 6 1 ,   P 1 ;   R y a n   R M ,   2 0 0 0 ,   C O N T E M P   E D U C   P S Y C H O L ,   V 2 5 ,   P 5 4 ,   D O I   1 0 . 1 0 0 6 / c e p s . 1 9 9 9 . 1 0 2 0 ;   S i n g e r   J B ,   2 0 1 1 ,   P A R T I C I P A T O R Y   J O U R N A ;   V a a t a j a   H . ,   2 0 1 1 ,   P   M O B I L E H C I   1 1 ,   P 4 3 5 ;   V a a t a j a   H . ,   2 0 1 2 ,   P   G R O U P   2 0 1 2 	 1 1 	 1 	 1 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 1 5 1 5   B R O A D W A Y ,   N E W   Y O R K ,   N Y   1 0 0 3 6 - 9 9 9 8   U S A 	 	 	 9 7 8 - 1 - 4 5 0 3 - 1 4 8 6 - 2 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 3 0 9 	 3 1 1 	 	 	 	 3 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B D C 4 8 	 W O S : 0 0 0 3 1 2 6 0 3 4 0 0 0 4 8 	 	 
 S 	 W e a v e r ,   A C ;   B o y l e ,   J P ;   B e s a l e v a ,   L I 	 	 	 I E E E 	 W e a v e r ,   A l f r e d   C . ;   B o y l e ,   J o s e p h   P . ;   B e s a l e v a ,   L i l i y a   I . 	 	 	 A p p l i c a t i o n s   a n d   T r u s t   I s s u e s   w h e n   C r o w d s o u r c i n g   a   C r i s i s 	 2 0 1 2   2 1 S T   I N T E R N A T I O N A L   C O N F E R E N C E   O N   C O M P U T E R   C O M M U N I C A T I O N S   A N D   N E T W O R K S   ( I C C C N ) 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m p u t e r   C o m m u n i c a t i o n s   a n d   N e t w o r k s 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 2 1 s t   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m p u t e r   C o m m u n i c a t i o n s   a n d   N e t w o r k s   ( I C C C N ) 	 J U L   3 0 - A U G   0 2 ,   2 0 1 2 	 M u n i c h ,   G E R M A N Y 	 I E E E ,   I E E E   C o m m u n   S o c ,   U   S   N a t l   S c i   F d n   ( N S F ) ,   C i t y   M a y o r   M u n i c h 	 	 t r u s t ;   r e l i a b i l i t y ;   c r o w d s o u r c i n g ;   m o b i l e   c o m p u t i n g ;   d i s a s t e r   m a n a g e m e n t 	 	 T h e   U n i t e d   S t a t e s   D e p a r t m e n t   o f   D e f e n s e   f u n d e d   a   r e s e a r c h   p r o j e c t   a t   t h e   U n i v e r s i t y   o f   V i r g i n i a   t o   i n c r e a s e   c o m m u n i t y   r e s i l i e n c e   a f t e r   a   c r i s i s   ( e .   g . ,   n a t u r a l   d i s a s t e r ,   b i o t e r r o r i s m   a t t a c k ) .   T h e   p r e m i s e   i s   t h a t   t h e   p u b l i c   w o u l d   b e   b e t t e r   s e r v e d   i f   i t   h a d   a c c e s s   t o   r e l i a b l e ,   n e a r   r e a l - t i m e   i n f o r m a t i o n   c o n c e r n i n g   t h e   " g r o u n d   t r u t h "   ( a c t u a l   o b s e r v a t i o n s   a n d   p i c t u r e s )   o f   u n f o l d i n g   e v e n t s .   O n e   w a y   ( o f   m a n y )   t o   c o l l e c t   t h o s e   r e p o r t s   i s   t h r o u g h   c r o w d s o u r c i n g .   B y   t a k i n g   a d v a n t a g e   o f   t h e   a r m y   o f   p e o p l e   c o n n e c t e d   t o   t h e   i n t e r n e t   v i a   b o t h   w i r e d   a n d   w i r e l e s s   t e c h n o l o g i e s ,   w e   c a n   e a s i l y   g a t h e r   i n f o r m a t i o n   t h a t   w o u l d   h e l p   a   c i t i z e n   m a k e   a n   i n f o r m e d   d e c i s i o n   r e g a r d i n g   h i s   o r   h e r   h e a l t h   a n d   w e l f a r e   ( e .   g . ,   s h e l t e r - i n - p l a c e   v s .   f l i g h t ) .   T h e   w i d e s p r e a d   u s e   o f   s m a r t p h o n e s   a l l o w s   p e o p l e   t o   p o s t   g e o l o c a t e d   r e p o r t s   a n d   p i c t u r e s   w i t h   e a s e .   D i s a s t e r   m a n a g e m e n t   t e a m s   w o u l d   l i k e w i s e   b e n e f i t   f r o m   t h e   i n p u t   o f   m o r e   o b s e r v e r s .   O n   t h e   o t h e r   h a n d ,   t h e   t r u s t w o r t h i n e s s   o f   t h e s e   r e p o r t s   m a y   b e   u n c e r t a i n .   F o r   i n s t a n c e ,   a   t e r r o r i s t   g r o u p   m i g h t   u s e   c r o w d s o u r c i n g   t o   r e d i r e c t   t h e   c o m m u n i t y ' s   e m e r g e n c y   r e s p o n s e s   t o   t h e   w r o n g   p l a c e .   W e   f i r s t   e x p l o r e   h o w   a   c r o w d s o u r c i n g   s y s t e m   m i g h t   b e   u s e d   t o   e n h a n c e   d i s a s t e r   m a n a g e m e n t ,   a n d   t h e n   w e   i n v e s t i g a t e   t h r e e   w a y s   t o   e n h a n c e   t h e   t r u s t   t h a t   t h e   c i t i z e n   p l a c e s   i n   s u c h   a   s y s t e m . 	 [ W e a v e r ,   A l f r e d   C . ;   B o y l e ,   J o s e p h   P . ;   B e s a l e v a ,   L i l i y a   I . ]   U n i v   V i r g i n i a ,   D e p t   C o m p   S c i ,   C h a r l o t t e s v i l l e ,   V A   2 2 9 0 4   U S A 	 W e a v e r ,   A C   ( r e p r i n t   a u t h o r ) ,   U n i v   V i r g i n i a ,   D e p t   C o m p   S c i ,   C h a r l o t t e s v i l l e ,   V A   2 2 9 0 4   U S A . 	 	 	 	 	 	 B r a b h a m   D C ,   2 0 0 9 ,   P L A N   T H E O R ,   V 8 ,   P 2 4 2 ,   D O I   1 0 . 1 1 7 7 / 1 4 7 3 0 9 5 2 0 9 1 0 4 8 2 4 ;   C o m m i s s i o n   o n   t h e   P r e v e n t i o n   o f   W e a p o n s   o f   M a s s   D e s t r u c t i o n   P r o l i f e r a t i o n   a n d   T e r r o r i s m ,   2 0 0 8 ,   W O R L D   R I S K   R E P   C O M M ;   F r e n c h   T i m ,   2 0 1 2 ,   I n t e r n a t i o n a l   J o u r n a l   o f   D i s t r i b u t e d   S y s t e m s   a n d   T e c h n o l o g i e s ,   V 3 ,   D O I   1 0 . 4 0 1 8 / j d s t . 2 0 1 2 0 1 0 1 0 3 ;   G i l e s   J ,   2 0 0 5 ,   N A T U R E ,   V 4 3 8 ,   P 2 8 1 ,   D O I   1 0 . 1 0 3 8 / 4 3 8 2 8 1 a ;   M a n s o u r   M B A ,   2 0 1 0 ,   A N Z I A M   J ,   V 5 2 ,   P 1 0 1 ,   D O I   1 0 . 1 0 1 7 / S 1 4 4 6 1 8 1 1 1 1 0 0 0 5 4 X ;   M o h a m m e d   N ,   2 0 1 1 ,   V L D B   J ,   V 2 0 ,   P 5 6 7 ,   D O I   1 0 . 1 0 0 7 / s 0 0 7 7 8 - 0 1 0 - 0 2 1 4 - 6 ;   P I C n e t ,   W H O S   T H I S   W A S H   S N O W ;   P i t t s b u r g h   I n d e p e n d e n t   M e d i a   C e n t e r ,   P I T T S B   I N D   M E D   C T R   R ;   R a e n t o   M ,   2 0 0 9 ,   S O C I O L   M E T H O D   R E S ,   V 3 7 ,   P 4 2 6 ,   D O I   1 0 . 1 1 7 7 / 0 0 4 9 1 2 4 1 0 8 3 3 0 0 0 5 ;   S a h a n a   S o f t w a r e   F o u n d a t i o n ,   S A H   H O M   F R E E   O P   S O U R ;   U s h a h i d i ,   S W I F T R I V E R   U S H A H I D I ;   V u k o v i c   M ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 1 8 9 ,   P 4 6 0 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 3 9 1 1 - 6 _ 3 1 ;   W e k a   3 ,   D A T   M I N   S O F T W   J A V 	 1 3 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 0 9 5 - 2 0 5 5 	 	 9 7 8 - 1 - 4 6 7 3 - 1 5 4 4 - 9 	 I E E E   I C   C O M P   C O M   N E T 	 	 	 2 0 1 2 	 	 	 	 	 	 	 	 	 	 	 	 5 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B D A 9 1 	 W O S : 0 0 0 3 1 2 3 9 0 9 0 0 0 7 7 	 	 
 B 	 H u a n g ,   P S ;   H a s e g a w a - J o h n s o n ,   M ;   Y i n ,   W T ;   H u a n g ,   T S 	 	 S a n t a m a r i a ,   I ;   A r e n a s G a r c i a ,   J ;   C a m p s V a l l s ,   G ;   E r d o g m u s ,   D ;   P e r e z C r u z ,   F ;   L a r s e n ,   J 	 	 H u a n g ,   P o - S e n ;   H a s e g a w a - J o h n s o n ,   M a r k ;   Y i n ,   W o t a o ;   H u a n g ,   T h o m a s   S . 	 	 	 O P P O R T U N I S T I C   S E N S I N G :   U N A T T E N D E D   A C O U S T I C   S E N S O R   S E L E C T I O N   U S I N G   C R O W D S O U R C I N G   M O D E L S 	 2 0 1 2   I E E E   I N T E R N A T I O N A L   W O R K S H O P   O N   M A C H I N E   L E A R N I N G   F O R   S I G N A L   P R O C E S S I N G   ( M L S P ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 2 2 n d   I E E E   I n t e r n a t i o n a l   W o r k s h o p   o n   M a c h i n e   L e a r n i n g   f o r   S i g n a l   P r o c e s s i n g   ( M L S P ) 	 S E P   2 3 - 2 6 ,   2 0 1 2 	 S a n t a n d e r ,   S P A I N 	 I E E E ,   I E E E   S i g n a l   P r o c   S o c 	 	 C r o w d s o u r c i n g   m o d e l s ;   Q u a d r a t i c   A s s i g n m e n t   P r o b l e m ;   U n a t t e n d e d   S e n s o r   N e t w o r k s ;   O p p o r t u n i s t i c   S e n s i n g ;   C o o p e r a t i v e   S e n s i n g 	 N E T W O R K S 	 U n a t t e n d e d   w i r e l e s s   s e n s o r   n e t w o r k s   h a v e   b e e n   w i d e l y   u s e d   i n   m a n y   a p p l i c a t i o n s .   T h i s   p a p e r   p r o p o s e s   a u t o m a t i c   s e n s o r   s e l e c t i o n   m e t h o d s   b a s e d   o n   c r o w d s o u r c i n g   m o d e l s   i n   t h e   O p p o r t u n i s t i c   S e n s i n g   f r a m e w o r k ,   w i t h   a p p l i c a t i o n s   t o   u n a t t e n d e d   a c o u s t i c   s e n s o r   s e l e c t i o n .   P r e c i s e l y ,   w e   p r o p o s e   t w o   s e n s o r   s e l e c t i o n   c r i t e r i a   a n d   s o l v e   t h e m   v i a   g r e e d y   a l g o r i t h m   a n d   q u a d r a t i c   a s s i g n m e n t .   O u r   p r o p o s e d   m e t h o d   a c h i e v e s ,   o n   a v e r a g e ,   5 . 6 4 %   h i g h e r   a c c u r a c y   t h a n   t h e   t r a d i t i o n a l   a p p r o a c h   u n d e r   s p a r s e   r e l i a b i l i t y   c o n d i t i o n s . 	 [ H u a n g ,   P o - S e n ;   H a s e g a w a - J o h n s o n ,   M a r k ;   H u a n g ,   T h o m a s   S . ]   U n i v   I l l i n o i s ,   D e p t   E l e c t   &   C o m p   E n g n ,   U r b a n a ,   I L   6 1 8 0 1   U S A 	 H u a n g ,   P S   ( r e p r i n t   a u t h o r ) ,   U n i v   I l l i n o i s ,   D e p t   E l e c t   &   C o m p   E n g n ,   1 4 0 6   W   G r e e n   S t ,   U r b a n a ,   I L   6 1 8 0 1   U S A . 	 h u a n g 1 4 6 @ i l l i n o i s . e d u ;   j h a s e g a w @ i l l i n o i s . e d u ;   w o t a o . y i n @ r i c e . e d u ;   t - h u a n g 1 @ i l l i n o i s . e d u 	 	 	 	 	 A a r a b i   P ,   2 0 0 3 ,   E U R A S I P   J   A P P L   S I G   P ,   V 2 0 0 3 ,   P 3 3 8 ,   D O I   1 0 . 1 1 5 5 / S 1 1 1 0 8 6 5 7 0 3 2 1 2 0 1 4 ;   B e n n e t t   F ,   1 9 9 7 ,   I E E E   P E R S   C O M M U N ,   V 4 ,   P 8 ,   D O I   1 0 . 1 1 0 9 / 9 8 . 6 2 6 9 7 7 ;   B u r k a r d   R E ,   1 9 9 7 ,   J   G L O B A L   O P T I M ,   V 1 0 ,   P 3 9 1 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 0 8 2 9 3 3 2 3 2 7 0 ;   C a r m a n   D .   W . ,   2 0 0 0 ,   T E C H   R E P ;   C o x   S . ,   1 9 8 9 ,   I C A S S P   1 9 8 9   G L A S G   U K ,   V 1 ,   P 5 3 2 ;   D a m a r l a   T . ,   2 0 0 7 ,   I N T E R N A T I O N A L   C O N F E R ,   P 1 ;   D a m a r l a   T . ,   2 0 1 0 ,   S E N S O R   F U S I O N   F O R   I S ;   H u a n g   P . L . ,   2 0 1 1 ,   I N T E R N A T I O N A L   C O N F E R ,   P 1 ;   H u a n g   P . - S . ,   2 0 1 1 ,   H U M A N   A N D   L I G H T   V E H I ;   K a p a d i a   A . ,   2 0 0 9 ,   C O M M   S Y S T   N E T W   W O R K S ,   P 1 ;   K a r g e r   D . R . ,   2 0 1 1 ,   A D V A N C E S   I N   N E U R A L   I ,   P 1 9 5 3 ;   W e n   Z . ,   2 0 1 0 ,   T E C H   R E P ;   Y e   W ,   2 0 0 2 ,   I E E E   I N F O C O M   S E R ,   P 1 5 6 7 ;   Z h a n g   J S ,   2 0 0 9 ,   P E R V A S I V E   M O B   C O M P U T ,   V 5 ,   P 1 4 8 ,   D O I   1 0 . 1 0 1 6 / j . p m c j . 2 0 0 8 . 0 5 . 0 0 3 	 1 4 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 6 7 3 - 1 0 2 6 - 0 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 	 	 	 	 	 6 	 A u t o m a t i o n   &   C o n t r o l   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 A u t o m a t i o n   &   C o n t r o l   S y s t e m s ;   C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B C Y 1 9 	 W O S : 0 0 0 3 1 1 9 6 6 0 0 0 1 0 6 	 	 
 J 	 G a r r i g o s - S i m o n ,   F J ;   A l c a m i ,   R L ;   R i b e r a ,   T B 	 	 	 	 G a r r i g o s - S i m o n ,   F e r n a n d o   J . ;   L a p i e d r a   A l c a m i ,   R a f a e l ;   B a r b e r a   R i b e r a ,   T e r e s a 	 	 	 S o c i a l   n e t w o r k s   a n d   W e b   3 . 0 :   t h e i r   i m p a c t   o n   t h e   m a n a g e m e n t   a n d   m a r k e t i n g   o f   o r g a n i z a t i o n s 	 M A N A G E M E N T   D E C I S I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 S o c i a l   n e t w o r k s ;   C o m m u n i t y   m a n a g e r ;   C r o w d s o u r c i n g ;   I n n o v a t i o n ;   O r g a n i z a t i o n s ;   C o m m u n i c a t i o n   t e c h n o l o g i e s ;   C o m p e t i t i v e   s t r a t e g y 	 V I R T U A L   C O M M U N I T I E S ;   S E M A N T I C   W E B ;   K N O W L E D G E ;   C R E A T I O N 	 P u r p o s e   -   I n n o v a t i o n s ,   c o u p l e d   w i t h   t h e   a d v a n c e m e n t   o f   n e w   i n f o r m a t i o n   a n d   c o m m u n i c a t i o n   t e c h n o l o g i e s   ( I C T s )   a n d   t h e   e v o l u t i o n   o f   t h e   i n t e r n e ,   h a v e   h a d   a   p r o f o u n d   i m p a c t   o n   t h e   s t r u c t u r e   o f   f i r m s   a n d   h a v e   a l t e r e d   t h e   d e c i s i o n - m a k i n g   p r o c e s s .   I n   t h e   n e w   e c o n o m i c   a n d   s o c i a l   e n v i r o n m e n t ,   t h e   u n d e r s t a n d i n g   o f   t h e   d e v e l o p m e n t s   a n d   t r a n s f o r m a t i o n s   u n d e r g o n e   b y   I C T s   w i t h   t h e   a d v a n c e m e n t   o f   s o c i a l   n e t w o r k s   a n d   W e b   3 . 0   t e c h n o l o g y   i s   v i t a l   b e c a u s e   o f   t h e   i n f l u e n c e   o f   r e c e n t   i n n o v a t i o n s   i n   t h e   c o m p e t i t i v e n e s s   o f   o r g a n i z a t i o n s .   T h e   a i m   o f   t h i s   p a p e r   i s   t o   a c h i e v e   a n   i n - d e p t h   u n d e r s t a n d i n g   o f   t h e   n e w   e n v i r o n m e n t   t h a t   h a s   e m e r g e d   w i t h   t h e s e   d e v e l o p m e n t s .   D e s i g n / m e t h o d o l o g y / a p p r o a c h   -   T h e   s t u d y   f o c u s e s   o n   t h e   u s e   o f   s o c i a l   n e t w o r k s   a n d   t h e   c o n c e p t i o n   o f   t h e   c o r r e s p o n d i n g   n e w   b u s i n e s s   m o d e l s ,   h i g h l i g h t i n g   t h e   i m p o r t a n c e   o f   c o m m u n i t y   m a n a g e r s   a n d   c r o w d s o u r c i n g   p r o c e s s e s .   F i n d i n g s   -   T h e   p a p e r   e x p l o r e s   t h e   p o s s i b l e   s o u r c e s   o f   c o m p e t i t i v e   a d v a n t a g e s   o p e n   t o   o r g a n i z a t i o n s   i n   t h e   l i g h t   o f   r e c e n t   i n n o v a t i o n s ,   a n d   h i g h l i g h t s   t h e   d e v e l o p m e n t s   t h a t   t h e y   s h o u l d   i m p l e m e n t   t o   i m p r o v e   t h e   d e c i s i o n   m a n a g e m e n t   p r o c e s s   a n d   e x p l o i t   n e w   s i t u a t i o n s .   P r a c t i c a l   i m p l i c a t i o n s   -   T h e   p a p e r   a n a l y z e s   t h e   i m p a c t   o f   s o c i a l   n e t w o r k s   a n d   W e b   3 . 0   t e c h n o l o g y   i n   t h e   m a n a g e m e n t   a n d   m a r k e t i n g   o f   o r g a n i z a t i o n s ,   h i g h l i g h t i n g   c e r t a i n   m e c h a n i s m s   t o   i m p r o v e   c o m p e t i t i v e   a d v a n t a g e s   f o r   o r g a n i z a t i o n s .   O r i g i n a l i t y / v a l u e   -   T h e   i m p a c t   o f   s o c i a l   n e t w o r k s   a n d   W e b   3 . 0   t e c h n o l o g y   o n   o r g a n i z a t i o n s   h a s   n o t   b e e n   a n a l y z e d   i n   t h e   l i t e r a t u r e .   T h e   p a p e r   a l s o   h i g h l i g h t s   t h e   i m p o r t a n c e   o f   c o m m u n i t y   m a n a g e r s   a n d   c r o w d s o u r c i n g   p r o c e s s e s   i n   c o p i n g   w i t h   t h e   n e w   e n v i r o n m e n t . 	 [ G a r r i g o s - S i m o n ,   F e r n a n d o   J . ;   B a r b e r a   R i b e r a ,   T e r e s a ]   U n i v   P o l i t e c n   V a l e n c i a ,   D e p t   B u s i n e s s   O r g ,   E - 4 6 0 7 1   V a l e n c i a ,   S p a i n ;   [ L a p i e d r a   A l c a m i ,   R a f a e l ]   U n i v   J a u m e   1 ,   D e p t   M a n a g e m e n t   &   M k t ,   C a s t e l l o n   d e   L a   P l a n a ,   S p a i n 	 G a r r i g o s - S i m o n ,   F J   ( r e p r i n t   a u t h o r ) ,   U n i v   P o l i t e c n   V a l e n c i a ,   D e p t   B u s i n e s s   O r g ,   E - 4 6 0 7 1   V a l e n c i a ,   S p a i n . 	 f g a r r i g o s @ d o e . u p v . e s 	 L a p i e d r a ,   R a f a e l   / L - 7 1 5 3 - 2 0 1 4 	 L a p i e d r a ,   R a f a e l   / 0 0 0 0 - 0 0 0 1 - 5 7 3 9 - 2 4 7 X 	 	 	 A n t e z a n a   E ,   2 0 0 9 ,   B R I E F   B I O I N F O R M ,   V 1 0 ,   P 3 9 2 ,   D O I   1 0 . 1 0 9 3 / b i b / b b p 0 2 4 ;   A r n o n e   L . ,   2 0 0 9 ,   J   C U S T O M E R   B E H A V ,   V 8 ,   P 5 ;   B e r n e r s - L e e   T . ,   2 0 0 1 ,   S C I   A M ,   V 2 8 4 ,   P 3 5 ;   B o y d   D .   M . ,   2 0 0 7 ,   J   C O M P U T - M E D I A T   C O M M ,   V 1 3 ,   P 2 1 0 ,   D O I   [ 1 0 . 1 1 1 1 / j . 1 0 8 3 - 6 1 0 1 . 2 0 0 7 . 0 0 3 9 3 . x ,   D O I   1 0 . 1 1 1 1 / J . 1 0 8 3 - 6 1 0 1 . 2 0 0 7 . 0 0 3 9 3 . X ] ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B u r t   R S ,   2 0 0 0 ,   O R G A N   S C I ,   V 1 1 ,   P 1 2 3 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 1 . 2 . 1 2 3 . 1 2 5 0 6 ;   C a r o   F . ,   2 0 0 9 ,   O P E R   R E S ,   V 5 8 ,   P 2 5 7 ;   C h i u   C M ,   2 0 0 6 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 2 ,   P 1 8 7 2 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 6 . 0 4 . 0 0 1 ;   C h u i   M . ,   2 0 0 9 ,   M C K I N S E Y   B U S I N E S S   T E ,   V 1 6 ,   P 2 ;   C o r n e y   J o n a t h a n   R ,   2 0 0 9 ,   I n t e r n a t i o n a l   J o u r n a l   o f   I n n o v a t i o n   a n d   S u s t a i n a b l e   D e v e l o p m e n t ,   V 4 ,   D O I   1 0 . 1 5 0 4 / I J I S D . 2 0 0 9 . 0 3 3 0 8 3 ;   D ' A n g e l o   B . ,   2 0 1 0 ,   P   7 5   A N N   C O N V   A S S   B U ;   F e i g e n b a u m   L ,   2 0 0 7 ,   S C I   A M ,   V 2 9 7 ,   P 9 0 ;   F e r d o w s   K . ,   2 0 0 4 ,   H a r v a r d   B u s i n e s s   R e v i e w ,   V 8 2 ;   F u c h s   C h r i s t i a n ,   2 0 1 0 ,   F u t u r e   I n t e r n e t ,   V 2 ,   D O I   1 0 . 3 3 9 0 / f i 2 0 1 0 0 4 1 ;   G a r r i g o s   F . ,   2 0 1 0 ,   S O C I A L   C O M P U T I N G   C O N ,   V I I I ,   P 1 6 7 4 ;   G a r r i g o s   F . ,   2 0 1 1 ,   C O M P E T I T I V E N E S S   P S Y C ;   G e i g e r   D . ,   2 0 1 1 ,   P   1 7   A M   C   I N F   S Y S T   A ,   P 1 ;   H e n d l e r   J ,   2 0 0 9 ,   C O M P U T E R ,   V 4 2 ,   P 1 1 1 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 9 . 3 0 ;   H o w e   J . ,   2 0 0 6 ,   C R O W D S O U R C I N G   D E F I N I ;   H s u   M H ,   2 0 0 7 ,   I N T   J   H U M - C O M P U T   S T ,   V 6 5 ,   P 1 5 3 ,   D O I   1 0 . 1 0 1 6 / j . i j h c s . 2 0 0 6 . 0 9 . 0 0 3 ;   J A R I L L O   J C ,   1 9 8 8 ,   S T R A T E G I C   M A N A G E   J ,   V 9 ,   P 3 1 ,   D O I   1 0 . 1 0 0 2 / s m j . 4 2 5 0 0 9 0 1 0 4 ;   K a l p i c   B . ,   2 0 0 6 ,   J o u r n a l   o f   K n o w l e d g e   M a n a g e m e n t ,   V 1 0 ,   D O I   1 0 . 1 1 0 8 / 1 3 6 7 3 2 7 0 6 1 0 6 7 0 8 4 9 ;   K l e e m a n n   F . ,   2 0 0 8 ,   S C I   T E C H N O L O G Y   I N N O V ,   V 4 ,   P 5 ;   K o d a m a   M ,   2 0 0 5 ,   T E C H N O V A T I O N ,   V 2 5 ,   P 8 9 5 ,   D O I   1 0 . 1 0 1 6 / j . t e c h n o v a t i o n . 2 0 0 4 . 0 2 . 0 1 6 ;   L i n   F R ,   2 0 0 6 ,   I N F O R M   P R O C E S S   M A N A G ,   V 4 2 ,   P 5 5 1 ,   D O I   1 0 . 1 0 1 6 / j . i p m . 2 0 0 5 . 0 3 . 0 2 6 ;   L i n   F R ,   2 0 0 8 ,   C O M P U T   E D U C ,   V 5 0 ,   P 7 4 2 ,   D O I   1 0 . 1 0 1 6 / i . c o m p e d u . 2 0 0 6 . 0 7 . 0 0 9 ;   M i c h l m a y r   M a r t i n ,   2 0 0 9 ,   U P G R A D E :   T h e   E u r o p e a n   J o u r n a l   f o r   t h e   I n f o r m a t i c s   P r o f e s s i o n a l ,   V 1 0 ;   M o o r   A . ,   2 0 0 7 ,   I N F O R M   S Y S T ,   V 3 2 ,   P 2 2 3 ;   P e p p a r d   J . ,   2 0 0 6 ,   E u r o p e a n   M a n a g e m e n t   J o u r n a l ,   V 2 4 ,   D O I   1 0 . 1 0 1 6 / j . e m j . 2 0 0 6 . 0 3 . 0 0 3 ;   P R A H A L A D   C K ,   1 9 9 0 ,   H A R V A R D   B U S   R E V ,   V 6 8 ,   P 7 9 ;   R a n d e r e e   E . ,   2 0 0 6 ,   J o u r n a l   o f   K n o w l e d g e   M a n a g e m e n t ,   V 1 0 ,   D O I   1 0 . 1 1 0 8 / 1 3 6 7 3 2 7 0 6 1 0 6 7 9 4 3 5 ;   R h e i n g o l d   H o w a r d ,   1 9 9 3 ,   V I R T U A L   C O M M U N I T Y ;   R o h r b e c k   R ,   2 0 1 0 ,   R & D   M A N A G E ,   V 4 0 ,   P 1 6 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 1 0 . 0 0 6 0 1 . x ;   S h a d b o l t   N ,   2 0 0 6 ,   I E E E   I N T E L L   S Y S T ,   V 2 1 ,   P 9 6 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 0 6 . 6 2 ;   S h i f f m a n   D . ,   2 0 0 8 ,   A G E   E N G A G E   R E I N V E N T I ;   S u l l   D . ,   2 0 0 8 ,   B U S I N E S S   S T R A T E G Y   R E ,   V 1 9 ,   P 4 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 6 1 6 . 2 0 0 8 . 0 0 5 2 7 . x ;   T e o   T S H ,   2 0 0 4 ,   I N F O R M   M A N A G E - A M S T E R ,   V 4 1 ,   P 4 5 7 ,   D O I   1 0 . 1 0 1 6 / S 0 3 7 8 - 7 2 0 6 ( 0 3 ) 0 0 0 8 4 - 3 ;   v a n   Z y l   A S ,   2 0 0 9 ,   E L E C T R O N   L I B R ,   V 2 7 ,   P 9 0 6 ,   D O I   1 0 . 1 1 0 8 / 0 2 6 4 0 4 7 0 9 1 1 0 0 4 0 2 0 ;   V o s s   G . ,   2 0 1 0 ,   P S Y C H O L   E V E R Y D A Y   A C T ,   V 3 ,   P 2 ;   W i r t z   B W ,   2 0 1 0 ,   L O N G   R A N G E   P L A N N ,   V 4 3 ,   P 2 7 2 ,   D O I   1 0 . 1 0 1 6 / j . l r p . 2 0 1 0 . 0 1 . 0 0 5 ;   Y o o n   E J ,   2 0 1 1 ,   J   O R G   C O M P   E L E C T   C O M ,   V 2 1 ,   P 3 6 8 ,   D O I   1 0 . 1 0 8 0 / 1 0 9 1 9 3 9 2 . 2 0 1 1 . 6 1 4 5 5 7 	 4 1 	 2 	 3 	 E M E R A L D   G R O U P   P U B L I S H I N G   L I M I T E D 	 B I N G L E Y 	 H O W A R D   H O U S E ,   W A G O N   L A N E ,   B I N G L E Y   B D 1 6   1 W A ,   W   Y O R K S H I R E ,   E N G L A N D 	 0 0 2 5 - 1 7 4 7 	 	 	 M A N A G E   D E C I S 	 M a n a g .   D e c i s . 	 	 2 0 1 2 	 5 0 	 1 0 	 	 	 	 	 1 8 8 0 	 1 8 9 0 	 	 1 0 . 1 1 0 8 / 0 0 2 5 1 7 4 1 2 1 1 2 7 9 6 5 7 	 	 1 1 	 B u s i n e s s ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 0 4 6 N S 	 W O S : 0 0 0 3 1 1 7 7 2 3 0 0 0 1 0 	 	 
 B 	 R u p p e r t ,   E ;   S a v a g e ,   M 	 	 A d k i n s ,   L ;   L u r y ,   C 	 	 R u p p e r t ,   E v e l y n ;   S a v a g e ,   M i k e 	 	 	 T r a n s a c t i o n a l   p o l i t i c s 	 M E A S U R E   A N D   V A L U E 	 S o c i o l o g i c a l   R e v i e w   M o n o g r a p h s 	 	 E n g l i s h 	 A r t i c l e ;   B o o k   C h a p t e r 	 	 	 	 	 	 d i g i t a l   d a t a ;   M P   e x p e n s e s ;   t r a n s a c t i o n a l   p o l i t i c s ;   v i s u a l i z a t i o n ;   W e b   2 . 0 	 S U R V E I L L A N C E 	 I n   s p r i n g   2 0 0 9 ,   r e v e l a t i o n s   o v e r   t h e   e x p e n s e   c l a i m s   o f   B r i t i s h   M P s   l e d   t o   o n e   o f   t h e   m o s t   d a m a g i n g   s c a n d a l s   a f f e c t i n g   t h e   l e g i t i m a c y   o f   p a r l i a m e n t a r y   d e m o c r a c y   i n   r e c e n t   h i s t o r y .   T h i s   a r t i c l e   e x p l o r e s   h o w   t h i s   i n c i d e n t   r e v e a l s   t h e   c a p a c i t y   o f   W e b   2 . 0   d e v i c e s   a n d   t r a n s a c t i o n a l   d a t a   t o   t r a n s f o r m   p o l i t i c s .   I t   r e f l e c t s ,   g r a p h i c a l l y ,   t h e   p o l i t i c a l   p o w e r   o f   i d e n t i f y i n g   a n d   k n o w i n g   p e o p l e   o n   t h e   b a s i s   o f   t h e i r   t r a n s a c t i o n s ,   o n   w h a t   t h e y   d o   r a t h e r   t h a n   w h a t   t h e y   s a y .   I t   a l s o   s h o w s   i n   p r a c t i c e   h o w   W e b   2 . 0   d e v i c e s   s u c h   a s   C r o w d s o u r c i n g ,   G o o g l e   D o c s ,   m a s h - u p s   a n d   v i s u a l i z a t i o n   s o f t w a r e   c a n   b e   u s e d   t o   m o b i l i z e   d a t a   f o r   c o l l e c t i v e   a n d   p o p u l a r   p r o j e c t s .   B a s i c   a n a l y t i c   t o o l s   f r e e l y   a v a i l a b l e   o n   t h e   W e b   e n a b l e   p e o p l e   t o   a c c e s s ,   d i g i t i z e   a n d   a n a l y s e   d a t a   a n d   d o   t h e i r   o w n   a n a l y s e s   a n d   r e p r e s e n t a t i o n s   o f   p h e n o m e n a .   W e   e x a m i n e   m e d i a   a n d   p o p u l a r   m o b i l i z a t i o n s   o f   t r a n s a c t i o n a l   d a t a   u s i n g   t h e   s p e c i f i c   e x a m p l e   o f   t h e   M P s '   e x p e n s e s   s c a n d a l   a n d   r e l a t e   t h i s   t o   l a r g e r   c u r r e n t s   i n   o n l i n e   g o v e r n m e n t   d a t a   a n d   d e v i c e s   f o r   p u b l i c   s c r u t i n y   w h i c h   g i v e   r i s e   t o   a   n e w   p o l i t i c s   o f   m e a s u r e m e n t .   W e   a r g u e   t h a t   t h i s   p o l i t i c s   o f   m e a s u r e m e n t   i n v o l v e s   t h e   i n t r o d u c t i o n   o f   n e w   v i s u a l   d e v i c e s   b a s e d   o n   t h e   m a n i p u l a t i o n   o f   h u g e   d a t a b a s e s   i n t o   s i m p l i f i e d   v i s u a l   a r r a y s ;   t h e   r e - o r i e n t a t i o n   o f   a c c o u n t s   o f   t h e   s o c i a l   f r o m   e l i c i t e d   a t t i t u d e s   a n d   v i e w s   t o   t r a n s a c t i o n s   a n d   p r a c t i c e s ;   a n d ,   t h e   i n s p e c t i o n   o f   i n d i v i d u a l s   a r r a y e d   i n   r e l a t i o n   t o   o t h e r   i n d i v i d u a l s   w i t h i n   w h o l e   ( s u b )   p o p u l a t i o n s .   I t   i s   a l s o   a   p o l i t i c s   t h a t   m o b i l i z e s   n e w   i n f o r m a t i o n a l   g a t e k e e p e r s   a n d   o r g a n i z e r s   i n   t h e   m a k i n g   a n d   a n a l y s i s   o f   t r a n s a c t i o n a l   d a t a   a n d   c h a l l e n g e s   d o m i n a n t   o r   e x p e r t   f o r m s   o f   a n a l y s i s   a n d   r e p r e s e n t a t i o n . 	 [ S a v a g e ,   M i k e ]   U n i v   Y o r k ,   Y o r k   E u r o p e a n   C t r   C u l t u r a l   E x p l o r a t i o n ,   Y o r k   Y O 1 0   5 D D ,   N   Y o r k s h i r e ,   E n g l a n d 	 	 e . r u p p e r t @ o p e n . a c . u k ;   m i k e . s a v a g e @ y o r k . a c . u k 	 	 	 	 	 A m o o r e   L ,   2 0 0 6 ,   P O L I T   G E O G R ,   V 2 5 ,   P 3 3 6 ,   D O I   1 0 . 1 0 1 6 / j . p o l g e o . 2 0 0 6 . 0 2 . 0 0 1 ;   B a u m a n   Z y g m u n t ,   1 9 8 7 ,   L E G I S L A T O R S   I N T E R P R E ;   C r o m p t o n   R ,   2 0 0 8 ,   S O C I O L O G Y ,   V 4 2 ,   P 1 2 1 8 ,   D O I   1 0 . 1 1 7 7 / 0 0 3 8 0 3 8 5 0 8 0 9 6 9 4 2 ;   D e n n i s   K ,   2 0 0 8 ,   S O C I O L   R E V ,   V 5 6 ,   P 3 4 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 5 4 X . 2 0 0 8 . 0 0 7 9 3 . x ;   F i l l o u x   F . ,   2 0 0 9 ,   M O N D A Y   N O T E   M E D I A   T E ;   G l a d w e l l   M ,   2 0 0 8 ,   O U T L I E R S   S T O R Y   S U C C E ;   G l o v e r   J . ,   2 0 1 0 ,   G U A R D I A N                 0 3 2 0 ;   H a l f o r d   S ,   2 0 1 0 ,   I N F O R M   C O M M U N   S O C ,   V 1 3 ,   P 9 3 7 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 X . 2 0 1 0 . 4 9 9 9 5 6 ;   H o w e s   A . ,   2 0 0 9 ,   I N F O R M   R E V O L U T I O N ;   L a n i e r   J . ,   2 0 0 6 ,   E D G E   3   C U L T U R E ;   L a s h   S . ,   2 0 0 2 ,   C R I T I Q U E   I N F O R M ;   L a t o u r   B . ,   2 0 1 0 ,   S O C I A L   G A B R I E L   T A R D E ;   L a w   J ,   2 0 0 4 ,   E C O N   S O C ,   V 3 3 ,   P 3 9 0 ,   D O I   1 0 . 1 0 8 0 / 0 3 0 8 5 1 4 0 4 2 0 0 0 2 2 5 7 1 6 ;   L a w r e n c e   J . ,   2 0 0 9 ,   E L E C T I N G   O U R   M A S T E R S ;   M a n n   S ,   1 9 9 8 ,   L E O N A R D O ,   V 3 1 ,   P 9 3 ,   D O I   1 0 . 2 3 0 7 / 1 5 7 6 5 1 1 ;   M o l   A n n e m a r i e ,   2 0 0 2 ,   B O D Y   M U L T I P L E   O N T O L O ;   O s b o r n e   T ,   1 9 9 9 ,   B R I T   J   S O C I O L ,   V 5 0 ,   P 3 6 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 8 - 4 4 4 6 . 1 9 9 9 . 0 0 3 6 7 . x ;   P u t n a m   R . D . ,   2 0 0 0 ,   B O W L I N G   A L O N E   C O L L A P ;   R h e i n g o l d   H o w a r d ,   2 0 0 2 ,   S M A R T   M O B S   N E X T   S O C I ;   R O S E   N ,   1 9 9 1 ,   A C C O U N T   O R G   S O C ,   V 1 6 ,   P 6 7 3 ,   D O I   1 0 . 1 0 1 6 / 0 3 6 1 - 3 6 8 2 ( 9 1 ) 9 0 0 1 9 - B ;   R u p p e r t   E ,   2 0 1 1 ,   S O C I O L O G Y ,   V 4 5 ,   P 2 1 8 ,   D O I   1 0 . 1 1 7 7 / 0 0 3 8 0 3 8 5 1 0 3 9 4 0 2 7 ;   S a v a g e   M ,   2 0 0 9 ,   E U R   J   S O C   T H E O R Y ,   V 1 2 ,   P 1 5 5 ,   D O I   1 0 . 1 1 7 7 / 1 3 6 8 4 3 1 0 0 8 0 9 9 6 5 0 ;   S a v a g e   M ,   2 0 0 7 ,   S O C I O L O G Y ,   V 4 1 ,   P 8 8 5 ,   D O I   1 0 . 1 1 7 7 / 0 0 3 8 0 3 8 5 0 7 0 8 0 4 4 3 ;   S a v a g e   M . ,   2 0 1 0 ,   I D E N T I T I E S   S O C I A L   C H ;   S t e i n b e r g   T . ,   2 0 0 7 ,   P O W E R   I N F O R M ;   T h o m p s o n   N . ,   2 0 0 9 ,   W I R E D                       0 6 1 8 ;   T h r i f t   N . ,   2 0 0 5 ,   K N O W I N G   C A P I T A L I S M ;   U p r i c h a r d   E ,   2 0 0 8 ,   S O C I O L   R E V ,   V 5 6 ,   P 6 0 6 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 5 4 X . 2 0 0 8 . 0 0 8 0 7 . x ;   V e r n o n   J a m e s ,   1 9 9 3 ,   P O L I T I C S   P E O P L E   S T U D ;   W e b b e r   R . ,   2 0 0 8 ,   S O C I O L O G Y ,   V 4 3 ,   P 1 6 9 ;   W i n n e t t   R . ,   2 0 0 9 ,   N O   E X P E N S E S   S P A R E D   I 	 3 1 	 4 	 4 	 W I L E Y - B L A C K W E L L 	 M A L D E N 	 C O M M E R C E   P L A C E ,   3 5 0   M A I N   S T R E E T ,   M A L D E N   0 2 1 4 8 ,   M A   U S A 	 	 	 9 7 8 - 1 - 4 4 4 3 - 3 9 5 8 - 1 	 S O C I O L   R E V   M O N O G R 	 	 	 2 0 1 2 	 	 	 	 	 	 	 7 3 	 9 2 	 	 	 	 2 0 	 S o c i o l o g y 	 S o c i o l o g y 	 B B Z 2 5 	 W O S : 0 0 0 3 0 9 1 4 3 9 0 0 0 0 6 	 	 
 J 	 D o l m a y a ,   J M 	 	 	 	 D o l m a y a ,   J u l i e   M c D o n o u g h 	 	 	 A n a l y z i n g   t h e   C r o w d s o u r c i n g   M o d e l   a n d   I t s   I m p a c t   o n   P u b l i c   P e r c e p t i o n s   o f   T r a n s l a t i o n 	 T R A N S L A T O R 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c e d   t r a n s l a t i o n ;   C o m m u n i t y   t r a n s l a t i o n ;   U s e r - g e n e r a t e d   t r a n s l a t i o n ;   O n l i n e   c o l l a b o r a t i o n ;   T r a n s l a t o r   s t a t u s ;   W i k i p e d i a ;   N o n - p r o f e s s i o n a l   t r a n s l a t i o n ;   V o l u n t e e r   t r a n s l a t o r s 	 S O C I O L O G Y 	 T h i s   p a p e r   d r a w s   o n   t h e   r e s u l t s   o f   a n   o n l i n e   s u r v e y   o f   W i k i p e d i a   v o l u n t e e r   t r a n s l a t o r s   t o   e x p l o r e ,   f r o m   a   s o c i o l o g i c a l   p e r s p e c t i v e ,   h o w   p a r t i c i p a n t s   i n   c r o w d s o u r c e d   t r a n s l a t i o n   i n i t i a t i v e s   p e r c e i v e   t r a n s l a t i o n .   T h i s   p e r c e p t i o n   i s   e x a m i n e d   f r o m   a   n u m b e r   o f   p e r s p e c t i v e s ,   i n c l u d i n g   t h e   p a r t i c i p a n t s '   p r o f i l e s ,   m o t i v a t i o n s   a n d   i d i o s y n c r a s i e s   v i s - a - v i s   t h o s e   o f   i n d i v i d u a l s   i n v o l v e d   i n   o t h e r   c o l l a b o r a t i v e   s o c i a l   p h e n o m e n a .   F i r s t l y ,   r e s p o n d e n t s   a r e   g r o u p e d   o n   t h e   b a s i s   o f   t h e i r   t r a i n i n g   b a c k g r o u n d ,   t h e i r   c u r r e n t   p r o f e s s i o n a l   s t a t u s   a n d   t h e i r   f o r m e r   o c c u p a t i o n   t o   c o m p a r e   h o w   t r a n s l a t i o n   i s   p e r c e i v e d   b y   v o l u n t e e r s   w h o   d o   a n d   t h o s e   w h o   d o   n o t   w o r k   i n   t h e   t r a n s l a t i o n   i n d u s t r y .   T o   f u r t h e r   u n d e r s t a n d   t h e   r a n g e   o f   r e s p o n d e n t s   ' p e r c e p t i o n s   o f   t r a n s l a t i o n ,   t h e   c r o w d s o u r c e d   t r a n s l a t i o n   i n i t i a t i v e s   t h e y   p a r t i c i p a t e   i n   a r e   d i v i d e d   i n t o   t h r e e   t y p e s :   p r o d u c t - d r i v e n   ( l o c a l i z a t i o n / t r a n s l a t i o n   o f   f r e e / o p e n - s o u r c e   s o f t w a r e   p r o j e c t s ) ,   c a u s e - d r i v e n   ( n o t - f o r - p r o f i t   i n i t i a t i v e s   w i t h   a n   a c t i v i s t   f o c u s ) ,   a n d   o u t s o u r c i n g - d r i v e n   ( i n i t i a t i v e s   l a u n c h e d   b y   f o r - p r o f i t   c o m p a n i e s ) .   A   c o m p a r i s o n   b e t w e e n   t h e   r e s u l t s   o f   t h i s   s u r v e y   a n d   t w o   o t h e r s   f o c u s i n g   o n   t h e   m o t i v a t i o n s   a n d   p r o f i l e s   o f   f r e e / o p e n - s o u r c e   s o f t w a r e   d e v e l o p e r s   s e e k s   t o   i d e n t i f y   d i s t i n c t i v e   f e a t u r e s   o f   p a r t i c i p a t o r y   t r a n s l a t i o n   p r a c t i c e s .   T h e   f i n a l   p a r t   o f   t h i s   a r t i c l e   d i s c u s s e s   h o w   p a r t i c i p a n t s   i n   a   c r o w d s o u r c e d   t r a n s l a t i o n   i n i t i a t i v e   v i e w   t r a n s l a t i o n   a n d   h o w   t h e   l a t t e r   i s   d e p i c t e d   b y   t h e   o r g a n i z a t i o n s   b e h i n d   s u c h   c o l l a b o r a t i v e   p r o j e c t s . 	 Y o r k   U n i v ,   S c h   T r a n s l a t ,   T o r o n t o ,   O N   M 4 N   3 M 6 ,   C a n a d a 	 D o l m a y a ,   J M   ( r e p r i n t   a u t h o r ) ,   Y o r k   U n i v ,   S c h   T r a n s l a t ,   G l e n d o n   C a m p u s , 2 2 7 5   B a y v i e w   A v e ,   T o r o n t o ,   O N   M 4 N   3 M 6 ,   C a n a d a . 	 j u l i e @ m c d o n o u g h - d o l m a y a . c a 	 M c D o n o u g h   D o l m a y a ,   J u l i e / B - 8 3 0 0 - 2 0 1 2 	 	 	 	 B a e r   N a o m i ,   2 0 1 0 ,   T R A N S L O R I A L   J   N O   C A L ;   B o e r i   J u l i e ,   2 0 0 7 ,   T R A N S L A T I O N   I N T E R P R E ,   P 7 ;   B o u r d i e u   P i e r r e ,   1 9 7 1 ,   A N N   S O C I O L O G I Q U E ,   V 2 2 ,   P 4 9 ;   B r u n s   A x e l ,   2 0 0 8 ,   B L O G S   W I K I P E D I A   2   L I ;   C h e s t e r m a n   A ,   2 0 0 6 ,   B E N J A M I N   T R A N S L   L I B ,   V 6 8 ,   P 9 ;   C h e s t e r m a n   A ,   2 0 0 7 ,   B E N J A M I N   T R A N S L   L I B ,   V 7 4 ,   P 1 7 1 ;   C H E S T E R M A N   A n d r e w ,   2 0 0 1 ,   T R A N S L A T O R ,   V 7 ,   P 1 3 9 ;   C r o n i n   M i c h a e l ,   2 0 1 0 ,   R E V   T R A D U M A T I C A ,   V 8 ;   D e p a l m a   D o n a l d   A . ,   2 0 0 8 ,   T R A N S L A T I O N   P E O P L E   U ;   D o d d   S e a n   M i c h a e l ,   2 0 1 1 ,   T R A N S L O R I A L   J   N   0 1 0 1 ;   G a m b i e r   Y ,   2 0 0 6 ,   B E N J A M I N   T R A N S L   L I B ,   V 6 8 ,   P 2 9 ;   G h o s h   R . A . ,   2 0 0 5 ,   P E R S P E C T I V E S   F R E E   O P ,   P 2 3 ;   G l o t t   R u e d i g e r ,   2 0 1 0 ,   A N A L   W I K I P I D I A   S U R V E ;   G u y o n   A n d r e ,   2 0 1 0 ,   A C T U A L I T E   L A N G A G I E R E ,   V 7 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   K e l l y   N a t a l y ,   2 0 0 9 ,   G L O B A L   W A T C H T O W E R ;   L a k h a n i   K .   R . ,   2 0 0 5 ,   P E R S P E C T I V E S   F R E E   O P ,   P 3 ;   M a l c o l m   R a c h e l ,   2 0 1 0 ,   I T I   B                         J A N ,   P 6 ;   O ' H a g a n   M ,   2 0 0 8 ,   T R A N S L A T O R   I N T E R P R E T ,   P 1 5 8 ;   O ' H a g a n   M i n a k o ,   2 0 0 9 ,   J   I N T   L O C A L I S A T I O N ,   V 1 ,   P 9 4 ;   P e r r i n o   S ,   2 0 0 9 ,   J   S P E C I A L I S E D   T R A N S L ,   V 1 2 ,   P 5 5 ;   R a y   R ,   2 0 1 1 ,   C R O W D S O U R C E D   T R A N S L A ;   R a y   R e b e c c a ,   2 0 0 9 ,   C R O W D S O U R C I N G   C R O W D ;   R o b e r t s   L .   D . ,   2 0 0 7 ,   H D B   R E S   E L E C T   S U R V E Y ,   P 1 9 ;   S e g u i n o t   C a n d a c e ,   2 0 0 8 ,   T R A N S L A T O R   I N T E R P R E T ,   P 1 ;   S t a v r i n i d i s   S e b a s t i e n ,   2 0 1 0 ,   C I R C U I T ,   V 1 0 8 ,   P 2 6 	 2 7 	 1 	 1 	 R O U T L E D G E   J O U R N A L S ,   T A Y L O R   &   F R A N C I S   L T D 	 A B I N G D O N 	 4   P A R K   S Q U A R E ,   M I L T O N   P A R K ,   A B I N G D O N   O X 1 4   4 R N ,   O X F O R D S H I R E ,   E N G L A N D 	 1 3 5 5 - 6 5 0 9 	 1 7 5 7 - 0 4 1 7 	 	 T R A N S L A T O R 	 T r a n s l a t o r 	 	 2 0 1 2 	 1 8 	 2 	 	 	 S I 	 	 1 6 7 	 1 9 1 	 	 	 	 2 5 	 C o m m u n i c a t i o n ;   L i n g u i s t i c s ;   L a n g u a g e   &   L i n g u i s t i c s 	 C o m m u n i c a t i o n ;   L i n g u i s t i c s 	 0 3 6 I D 	 W O S : 0 0 0 3 1 1 0 1 8 7 0 0 0 0 2 	 	 
 J 	 D w y e r ,   T 	 	 	 	 D w y e r ,   T e s s a 	 	 	 F a n s u b   D r e a m i n g   o n   V i K i   " D o n ' t   J u s t   W a t c h   B u t   H e l p   W h e n   Y o u   A r e   F r e e " 	 T R A N S L A T O R 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 A m a t e u r   t r a n s l a t i o n ;   A u d i o v i s u a l   t r a n s l a t i o n ;   C r o w d s o u r c i n g ;   F a n s u b b i n g ;   F a n   t r a n s l a t i o n ;   K - D r a m a s ;   P l a y f u l   K i s s ;   V i K i 	 T R A N S L A T I O N ;   G L O B A L I Z A T I O N ;   P I R A C Y ;   A N I M E 	 F a n   s u b t i t l i n g ,   o r   ' f a n s u b b i n g ' ,   i s   a   h e t e r o g e n e o u s   a n d   r a p i d l y   g r o w i n g   f i e l d   o f   a m a t e u r   t r a n s l a t i o n   e x h i b i t i n g   a   n u m b e r   o f   t r a i t s   t h a t   h a v e   s o   f a r   b e e n   o v e r l o o k e d   b y   s c h o l a r s   o f   a u d i o v i s u a l   t r a n s l a t i o n .   C u r r e n t   r e s e a r c h   o n   f a n s u b b i n g   i s   b r o a d e n e d   b y   e x a m i n i n g   t h i s   p h e n o m e n o n   b e y o n d   t h e   s t r i c t u r e s   o f   a n i m e   s u b - c u l t u r e   a l o n e ,   d r a w i n g   o n   t h e   c o u n t e r   e x a m p l e   o f   I n t e r n e t   s t a r t - u p   c o m p a n y   V i K i   a n d   e x p l o r i n g   t h e   g a p s   i n   m a i n s t r e a m   s u b t i t l i n g   t h a t   f a n s u b b i n g   b o t h   e x p o s e s   a n d   f i l l s .   T h e   t e a m   o f   v o l u n t e e r   t r a n s l a t o r s   w o r k i n g   f o r   V i K i   r e - a n i m a t e s   n o t i o n s   o f   g l o b a l   d i v e r s i t y   b y   c a p i t a l i z i n g   o n   t h e   a f f o r d a n c e s   o f   n e w   t e c h n o l o g i e s   a n d   c o l l e c t i v e   i n t e l l i g e n c e   t o   b r e a k   d o w n   t h e   n a t i o n a l   a n d   l i n g u i s t i c   h i e r a r c h i e s   t h a t   d o m i n a t e   c o n t e m p o r a r y   m e d i a   a n d   p r o f e s s i o n a l   a u d i o v i s u a l   t r a n s l a t i o n .   D e s p i t e   a   l a r g e l y   c o n s e r v a t i v e   ' l o o k   a n d   f e e l '   a n d   s i g n s   o f   i n c r e a s i n g   c o m m e r c i a l i z a t i o n ,   V i K i ' s   f a n s u b b i n g   m o d e l   m a k e s   a n   i m p o r t a n t   c o n t r i b u t i o n   t o   t h e   i n t e r n a t i o n a l i z a t i o n   o f   a u d i o v i s u a l   t r a n s l a t i o n   p r a c t i c e s ,   b r i n g i n g   p r o g r a m s   f r o m   s m a l l - l a n g u a g e   c o m m u n i t i e s   t o   d i v e r s e   a u d i e n c e s   a c r o s s   t h e   g l o b e .   T h e   p a p e r - f u r t h e r   c o n s i d e r s   t h e   e x t e n t   t o   w h i c h   t h e   l e g a l i z a t i o n   o f   V i K i ' s   f a n s u b b i n g   a c t i v i t y   e m p o w e r s   f a n s   t o   b r i n g   a b o u t   r e a l   c h a n g e   i n   t h e   m e d i a   m a r k e t p l a c e . 	 U n i v   M e l b o u r n e ,   S c h   C u l t u r e   &   C o m m u n ,   M e l b o u r n e ,   V i c   3 0 1 0 ,   A u s t r a l i a 	 D w y e r ,   T   ( r e p r i n t   a u t h o r ) ,   U n i v   M e l b o u r n e ,   S c h   C u l t u r e   &   C o m m u n ,   M e l b o u r n e ,   V i c   3 0 1 0 ,   A u s t r a l i a . 	 t e s s a @ l o w e r c a s e . c o m . a u 	 	 	 	 	 [ A n o n y m o u s ] ,   2 0 0 4 ,   L O S T ;   [ A n o n y m o u s ] ,   2 0 1 0 ,   P L A Y F   K I S S ;   A p p a d u r a i   A . ,   1 9 9 0 ,   P U B L I C   C U L T U R E ,   V 2 ,   P 1 ;   B a r r a   L ,   2 0 0 9 ,   I N T   J   C U L T U R A L   S T U D ,   V 1 2 ,   P 5 0 9 ,   D O I   1 0 . 1 1 7 7 / 1 3 6 7 8 7 7 9 0 9 3 3 7 8 5 9 ;   B o g u c k i   L ,   2 0 0 9 ,   A U D I O V I S U A L   T R A N S L A T ,   P 4 9 ;   C a f f r e y   C . ,   2 0 0 9 ,   T H E S I S   D U B L I N   C I T Y   U ;   C i n t a s   J .   D . ,   2 0 0 3 ,   T R A N S L A T I O N   T O D A Y   T R ,   P 1 9 2 ;   C I N T A S   J D ,   2 0 0 6 ,   J O S T R A N S   J   S P E C I A L I S ,   V 6 ,   P 3 7 ;   C u b b i s o n   L . ,   2 0 0 5 ,   V E L V E T   L I G H T   T R A P ,   V 5 6 ,   P 4 5 ,   D O I   1 0 . 1 3 5 3 / v l t . 2 0 0 6 . 0 0 0 4 ;   D e l e u z e   G i l l e s ,   1 9 7 2 ,   A N T I O E D I P U S   C A P I T A L I ;   D e n i s o n   R ,   2 0 1 1 ,   I N T   J   C U L T U R A L   S T U D ,   V 1 4 ,   P 4 4 9 ,   D O I   1 0 . 1 1 7 7 / 1 3 6 7 8 7 7 9 1 0 3 9 4 5 6 5 ;   C i n t a s   J D ,   2 0 0 8 ,   A U D I O V I S U A L   T R A N S L A T I O N :   L A N G U A G E   T R A N S F E R   O N   S C R E E N ,   P 1 ,   D O I   1 0 . 1 0 5 7 / 9 7 8 0 2 3 0 2 3 4 5 8 1 ;   D i a z   C i n t a s   J o r g e ,   2 0 0 5 ,   M U T R A   2 0 0 5 ,   P 1 ;   D w y e r   T e s s a ,   2 0 1 2 ,   W O R L D S   I M A G E S   P E R F O R ,   P 1 9 4 ;   F e r n a n d e z   C o s t a l e s   A l b e r t o ,   2 0 1 1 ,   T R A L O G Y ,   V 4 ;   F l u f f ,   2 0 0 9 ,   W A L L S   T L ;   G a r c i a   I g n a c i o ,   2 0 1 0 ,   R E V   T R A D U M A T I C A ,   P 8 ;   G o n z a l e z   L P ,   2 0 0 6 ,   P E R S P E C T   S T U D   T R A N S L ,   V 1 4 ,   P 2 6 0 ;   G o n z a l e z   L u i s   P e r e z ,   2 0 0 7 ,   L I N G   A N T V E R P   N E W   S E R ,   V 6 ,   P 6 7 ;   G o t t l i e b   H e n r i k ,   2 0 0 4 ,   N O R D I C   J   E N G L I S H   S T U ,   V 3 ,   P 2 1 9 ;   G o v i l   N i t i n ,   2 0 0 5 ,   C O N T E S T E D   C O M M O N S   T R ,   P 4 0 ;   H a t c h e r   J .   S . ,   2 0 0 5 ,   S C R I P T   E D ,   V 2 ,   P 5 1 4 ;   H a y a o   M i y a z a k i ,   1 9 8 6 ,   W A R R I O R S   W I N D ;   H e a l e y   J o n ,   2 0 1 0 ,   L O S   A N G E L E S   T I M E S ;   H e l l e k s o n   K a r e n ,   2 0 0 9 ,   M E D I A   C O M M O N S       0 5 0 8 ;   H e r m a n s   T ,   2 0 0 3 ,   B   S C H   O R I E N T   A F R   S T ,   V 6 6 ,   P 3 8 0 ;   H o v a g h i m i a n   R a z m i g ,   2 0 1 1 ,   M I P B L O G                   0 5 2 3 ;   H u   B r i a n ,   2 0 0 6 ,   M E D I A S C A P E ;   H u   B r i a n ,   2 0 1 0 ,   V E L V E T   L I G H T   T R A P ,   V 6 6 ,   P 3 6 ;   I w a b u c h i   K ,   2 0 0 2 ,   R E C E N T E R I N G   G L O B A L I Z ;   J a c k s o n   P . ,   2 0 0 1 ,   L O R D   R I N G S   F E L L O W S H I ;   J e n k i n s   H e n r i ,   2 0 0 6 ,   C O N V E R G E N C E   C U L T U R E ;   K a f k a   P e t e r ,   2 0 1 0 ,   T H I N G S   D I G I T A L     1 2 0 8 ;   K a r a m i t r o u g l o u   F o t i o s ,   1 9 9 8 ,   T R A N S L A T I O N   J ,   V 2 ;   K a y a h a r a   M ,   2 0 0 5 ,   J O S T R A N S   J   S P E C I A L I S ,   V 3 ,   P 6 4 ;   K i m   T a c k - w h a n ,   2 0 1 0 ,   K O R E A   J O O N G A N G     1 2 2 4 ;   L a c y   S a r a h ,   2 0 1 0 ,   T E C H C R U N C H             1 2 0 8 ;   L e o n a r d   S ,   2 0 0 5 ,   I N T   J   C U L T U R A L   S T U D ,   V 8 ,   P 2 8 1 ,   D O I   1 0 . 1 1 7 7 / 1 3 6 7 8 7 7 9 0 5 0 5 5 6 7 9 ;   L e s s i g   L . ,   2 0 0 4 ,   F R E E   C U L T U R E   B I G   M E D ;   L e v i   A ,   2 0 0 6 ,   C I N E M A   A N I M E ,   P 4 3 ;   L i   X i a o c h a n g ,   2 0 0 9 ,   C A N A R Y T R A P             0 6 0 4 ;   M o o n   J i w o n ,   2 0 0 8 ,   V I I K I I   S T O R Y         0 3 2 8 ;   N O R N E S   A b e   M . ,   1 9 9 9 ,   F I L M   Q ,   V 5 2 ,   P 1 7 ,   D O I   1 0 . 1 5 2 5 / f q . 1 9 9 9 . 5 2 . 3 . 0 4 a 0 0 0 3 0 ;   N o r n e s   A b e   M a r k ,   2 0 0 7 ,   C I N E M A   B A B E L   T R A N S L A ;   O ' H a g a n   M ,   2 0 0 8 ,   T R A N S L A T O R   I N T E R P R E T ,   P 1 5 8 ;   O r t a b a s i   M ,   2 0 0 6 ,   P E R S P E C T   S T U D   T R A N S L ,   V 1 4 ,   P 2 7 8 ;   P E R E Z   G O N Z A L E Z   L u i s ,   2 0 1 0 ,   T E X T   C O N T E X T   E S S A Y S ,   P 2 5 9 ;   P I R ,   2 0 0 9 ,   C A R T   K I D S               0 1 1 5 ;   R a o   L e e n a ,   2 0 1 1 ,   T E C H C R U N C H             0 1 2 1 ;   S a t o s h i   K o n ,   2 0 0 1 ,   M I L L E N I U M   A C T R E S S   S E ;   S c o b l e   R o b e r t ,   2 0 1 0 ,   S C O B L E I Z E R             1 2 0 9 ;   S u s a m - S a r a j e v a   S ,   2 0 1 0 ,   T R A N S L   S T U D ,   V 3 ,   P 2 3 1 ,   D O I   1 0 . 1 0 8 0 / 1 4 7 8 1 7 0 1 0 0 3 6 4 7 4 8 3 ;   T y m o c z k o   M ,   2 0 0 5 ,   M E T A ,   V 5 0 ,   P 1 0 8 2 ;   T y m o c z k o   M ,   2 0 0 9 ,   T R A N S L A T O R ,   V 1 5 ,   P 4 0 1 ;   U p b i n   B r u c e ,   2 0 1 0 ,   F O R B E S ;   U r i c a r u   I o a n a ,   2 0 0 9 ,   V E L V E T   L I G H T   T R A P ,   V 6 3 ,   P 4 5 ;   V e n u t i   L . ,   1 9 9 2 ,   R E T H I N K I N G   T R A N S L A T I ,   P 1 ;   V e n u t i   L a w r e n c e ,   1 9 9 5 ,   T R A N S L A T O R S   I N V I S I B I ;   V i i K i i ,   2 0 1 1 ,   V I K I                         0 2 0 9 ;   V i i K i i ,   2 0 1 1 ,   V I K I   N E W   P O L I C Y ;   V i i K i i ,   2 0 1 1 ,   A B U S E R   P O L I C Y ;   V i i K i i ,   2 0 1 1 ,   F E A T   C O M   J U L   A U G ;   V i i K i i ,   V I I K   S T O R ;   W a n g   S ,   2 0 0 3 ,   C I N E M A   J ,   V 4 3 ,   P 2 5 ,   D O I   1 0 . 1 3 5 3 / c j . 2 0 0 3 . 0 0 2 7 	 6 4 	 1 	 1 	 S T   J E R O M E   P U B L I S H I N G 	 M A N C H E S T E R 	 2   M A P L E   R O A D ,   W E S T ,   B R O O K L A N D S ,   M A N C H E S T E R ,   M 2 3   9 H H ,   E N G L A N D 	 1 3 5 5 - 6 5 0 9 	 	 	 T R A N S L A T O R 	 T r a n s l a t o r 	 	 2 0 1 2 	 1 8 	 2 	 	 	 S I 	 	 2 1 7 	 2 4 3 	 	 	 	 2 7 	 C o m m u n i c a t i o n ;   L i n g u i s t i c s ;   L a n g u a g e   &   L i n g u i s t i c s 	 C o m m u n i c a t i o n ;   L i n g u i s t i c s 	 0 3 6 I D 	 W O S : 0 0 0 3 1 1 0 1 8 7 0 0 0 0 4 	 	 
 J 	 G a r c i a ,   I 	 	 	 	 G a r c i a ,   I g n a c i o 	 	 	 C r o w d s o u r c i n g :   W h y   t h e   P o w e r   o f   t h e   C r o w d   i s   D r i v i n g   t h e   F u t u r e   o f   B u s i n e s s 	 T R A N S L A T O R 	 	 	 E n g l i s h 	 B o o k   R e v i e w 	 	 	 	 	 	 	 	 	 [ G a r c i a ,   I g n a c i o ]   U n i v   W e s t e r n   S y d n e y ,   S c h   H u m a n i t i e s   &   C o m m u n   A r t s   B a n k s t o w n ,   P e n r i t h ,   N S W   2 7 5 1 ,   A u s t r a l i a 	 G a r c i a ,   I   ( r e p r i n t   a u t h o r ) ,   U n i v   W e s t e r n   S y d n e y ,   S c h   H u m a n i t i e s   &   C o m m u n   A r t s   B a n k s t o w n ,   L o c k e d   B a g   1 7 9 7 ,   P e n r i t h ,   N S W   2 7 5 1 ,   A u s t r a l i a . 	 I . G a r c i a @ u w s . e d u . a u 	 	 	 	 	 B e n k l e r   Y . ,   2 0 0 6 ,   W E A L T H   N E T W O R K S   S O C I ;   B r a n d   J a s o n ,   2 0 1 1 ,   C R O W D S O U R C I N G   H D B   E V ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   K e l l y   N . ,   2 0 0 9 ,   F R E E L A N C E   T R A N S L A T O R ;   L e v i n e   R . ,   2 0 0 0 ,   C L U E T R A I N   M A N I F E S T O ;   L i b e r t   B a r r y ,   2 0 1 0 ,   9   R U L E S   S U C C E S S F U L   C ;   L i b e r t   B a r r y ,   2 0 0 7 ,   W E   A R E   S M A R T E R   M E   C R ;   R o e b u c k   K e v i n ,   2 0 1 1 ,   C R O W D S O U R C I N G   H I G H   I ;   S h e r m a n   A . ,   2 0 1 1 ,   C O M P L E T E   I D I O T S   G U I D ;   S H I R K Y   C L A Y ,   2 0 0 8 ,   H E R E   C O M E S   E V E R Y B O D Y ;   S l o a n e   P . ,   2 0 1 1 ,   G U I D E   O P E N   I N N O V A T I O ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   T a p s c o t t   D o n ,   2 0 0 5 ,   W I K I N O M I C S   M A S S   C O L L 	 1 4 	 0 	 0 	 S T   J E R O M E   P U B L I S H I N G 	 M A N C H E S T E R 	 2   M A P L E   R O A D ,   W E S T ,   B R O O K L A N D S ,   M A N C H E S T E R ,   M 2 3   9 H H ,   E N G L A N D 	 1 3 5 5 - 6 5 0 9 	 	 	 T R A N S L A T O R 	 T r a n s l a t o r 	 	 2 0 1 2 	 1 8 	 2 	 	 	 S I 	 	 3 7 3 	 3 7 7 	 	 	 	 5 	 C o m m u n i c a t i o n ;   L i n g u i s t i c s ;   L a n g u a g e   &   L i n g u i s t i c s 	 C o m m u n i c a t i o n ;   L i n g u i s t i c s 	 0 3 6 I D 	 W O S : 0 0 0 3 1 1 0 1 8 7 0 0 0 1 1 	 	 
 S 	 L i ,   W C ;   S e s h i a ,   S A ;   J h a ,   S 	 	 	 I E E E 	 L i ,   W e n c h a o ;   S e s h i a ,   S a n j i t   A . ;   J h a ,   S o m e s h 	 	 	 C r o w d M i n e :   T o w a r d s   C r o w d s o u r c e d   H u m a n - A s s i s t e d   V e r i f i c a t i o n 	 2 0 1 2   4 9 T H   A C M / E D A C / I E E E   D E S I G N   A U T O M A T I O N   C O N F E R E N C E   ( D A C ) 	 D e s i g n   A u t o m a t i o n   C o n f e r e n c e   D A C 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 4 9 t h   A C M / E D A C / I E E E   D e s i g n   A u t o m a t i o n   C o n f e r e n c e   ( D A C ) 	 J U N   0 3 - 0 7 ,   2 0 1 2 	 S a n   F r a n c i s c o ,   C A 	 I E E E ,   A C M ,   E D A C 	 	 S p e c i f i c a t i o n ;   v e r i f i c a t i o n ;   c r o w d s o u r c i n g ;   h u m a n   c o m p u t a t i o n 	 	 W e   p r o p o s e   t h e   u s e   o f   c r o w d s o u r c i n g   a n d   h u m a n   c o m p u t a t i o n   t o   h e l p   s o l v e   d i f f i c u l t   p r o b l e m s   i n   v e r i f i c a t i o n   a n d   d e b u g g i n g   t h a t   c a n   b e n e f i t   f r o m   h u m a n   i n s i g h t .   A s   a   s p e c i f i c   s c e n a r i o ,   w e   e x p l a i n   h o w   n o n - e x p e r t   h u m a n s   c a n   a s s i s t   i n   t h e   v e r i f i c a t i o n   p r o c e s s   b y   f i n d i n g   p a t t e r n s   i n   p o r t i o n s   o f   s i m u l a t i o n   o r   e x e c u t i o n   t r a c e s   w h i c h   a r e   r e p r e s e n t e d   a s   i m a g e s .   S u c h   p a t t e r n s   c a n   b e   u s e d   i n   a   v a r i e t y   o f   w a y s ,   i n c l u d i n g   a s s e r t i o n - b a s e d   v e r i f i c a t i o n ,   i m p r o v i n g   c o v e r a g e ,   b u g   l o c a l i z a t i o n ,   a n d   e r r o r   e x p l a n a t i o n .   S e v e r a l   r e l a t e d   i s s u e s   a r e   d i s c u s s e d ,   i n c l u d i n g   p r i v a c y   a n d   i n c e n t i v e   m e c h a n i s m s . 	 [ L i ,   W e n c h a o ;   S e s h i a ,   S a n j i t   A . ]   U n i v   C a l i f   B e r k e l e y ,   B e r k e l e y ,   C A   9 4 7 2 0   U S A 	 L i ,   W C   ( r e p r i n t   a u t h o r ) ,   U n i v   C a l i f   B e r k e l e y ,   B e r k e l e y ,   C A   9 4 7 2 0   U S A . 	 w e n c h a o l @ e e c s . b e r k e l e y . e d u ;   s s e s h i a @ e e c s . b e r k e l e y . e d u ;   j h a @ c s . w i s c . e d u 	 	 	 	 	 D e O r i o   A ,   2 0 0 9 ,   D E S   A U T   C O N ,   P 6 2 1 ;   E r n s t   M D ,   2 0 0 7 ,   S C I   C O M P U T   P R O G R A M ,   V 6 9 ,   P 3 5 ,   D O I   1 0 . 1 0 1 6 / j . s c i c o . 2 0 0 7 . 0 1 . 0 1 5 ;   H o w e   J . ,   C R O W D S O U R C I N G   A   D E F I ;   L i   W . ,   2 0 1 0 ,   P R O C E E D I N G S   O F   T H E   D ,   P 7 5 5 ,   D O I   1 0 . 1 1 4 5 / 1 8 3 7 2 7 4 . 1 8 3 7 4 6 6 ;   L i t t l e   G . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 5 7 ,   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 4 0 ;   Q u i n n   A .   J . ,   2 0 1 1 ,   A C M   C O N F E R E N C E   O N   H U ;   S c h i l l e r   T .   W . ,   2 0 1 0 ,   W O R K S H O P   O N   T H E   F U T U ,   P 3 2 5 ;   S H A M I R   A ,   1 9 7 9 ,   C O M M U N   A C M ,   V 2 2 ,   P 6 1 2 ,   D O I   1 0 . 1 1 4 5 / 3 5 9 1 6 8 . 3 5 9 1 7 6 ;   v o n   A h n   L . ,   2 0 0 5 ,   T H E S I S 	 9 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 0 7 3 8 - 1 0 0 X 	 	 9 7 8 - 1 - 4 5 0 3 - 1 1 9 9 - 1 	 D E S   A U T   C O N 	 	 	 2 0 1 2 	 	 	 	 	 	 	 1 2 5 0 	 1 2 5 1 	 	 	 	 2 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 E n g i n e e r i n g 	 B B Z 8 5 	 W O S : 0 0 0 3 0 9 2 5 6 8 0 0 1 8 4 	 	 
 J 	 W h i t e h i l l ,   J ;   M o v e l l a n ,   J 	 	 	 I E E E 	 W h i t e h i l l ,   J a c o b ;   M o v e l l a n ,   J a v i e r 	 	 	 D i s c r i m i n a t e l y   D e c r e a s i n g   D i s c r i m i n a b i l i t y   w i t h   L e a r n e d   I m a g e   F i l t e r s 	 2 0 1 2   I E E E   C O N F E R E N C E   O N   C O M P U T E R   V I S I O N   A N D   P A T T E R N   R E C O G N I T I O N   ( C V P R ) 	 I E E E   C o n f e r e n c e   o n   C o m p u t e r   V i s i o n   a n d   P a t t e r n   R e c o g n i t i o n 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   C o n f e r e n c e   o n   C o m p u t e r   V i s i o n   a n d   P a t t e r n   R e c o g n i t i o n   ( C V P R ) 	 J U N   1 6 - 2 1 ,   2 0 1 2 	 P r o v i d e n c e ,   R I 	 I E E E 	 	 	 	 I n   m a c h i n e   l e a r n i n g   a n d   c o m p u t e r   v i s i o n ,   i n p u t   s i g n a l s   a r e   o f t e n   f i l t e r e d   t o   i n c r e a s e   d a t a   d i s c r i m i n a b i l i t y .   F o r   e x a m p l e ,   p r e p r o c e s s i n g   f a c e   i m a g e s   w i t h   G a b o r   b a n d - p a s s   f i l t e r s   i s   k n o w n   t o   i m p r o v e   p e r f o r m a n c e   i n   e x p r e s s i o n   r e c o g n i t i o n   t a s k s   [ 1 ] .   S o m e t i m e s ,   h o w e v e r ,   o n e   m a y   w i s h   t o   p u r p o s e l y   d e c r e a s e   d i s c r i m i n a b i l i t y   o f   o n e   c l a s s i f i c a t i o n   t a s k   ( a   " d i s t r a c t o r "   t a s k ) ,   w h i l e   s i m u l t a n e o u s l y   p r e s e r v i n g   i n f o r m a t i o n   r e l e v a n t   t o   a n o t h e r   t a s k   ( t h e   t a r g e t   t a s k ) :   F o r   e x a m p l e ,   d u e   t o   p r i v a c y   c o n c e r n s ,   i t   m a y   b e   i m p o r t a n t   t o   m a s k   t h e   i d e n t i t y   o f   p e r s o n s   c o n t a i n e d   i n   f a c e   i m a g e s   b e f o r e   s u b m i t t i n g   t h e m   t o   a   c r o w d s o u r c i n g   s i t e   ( e . g . ,   M e c h a n i c a l   T u r k )   w h e n   l a b e l i n g   t h e m   f o r   c e r t a i n   f a c i a l   a t t r i b u t e s .   S u p p r e s s i n g   d i s c r i m i n a b i l i t y   i n   d i s t r a c t o r   t a s k s   m a y   a l s o   b e   n e e d e d   t o   i m p r o v e   i n t e r - d a t a s e t   g e n e r a l i z a t i o n :   t r a i n i n g   d a t a s e t s   m a y   s o m e t i m e s   c o n t a i n   s p u r i o u s   c o r r e l a t i o n s   b e t w e e n   a   t a r g e t   a t t r i b u t e   ( e . g . ,   f a c i a l   e x p r e s s i o n )   a n d   a   d i s t r a c t o r   a t t r i b u t e   ( e . g . ,   g e n d e r ) .   W e   m i g h t   i m p r o v e   g e n e r a l i z a t i o n   t o   n e w   d a t a s e t s   b y   s u p p r e s s i n g   t h e   s i g n a l   r e l a t e d   t o   t h e   d i s t r a c t o r   t a s k   i n   t h e   t r a i n i n g   d a t a s e t .   T h i s   c a n   b e   s e e n   a s   a   s p e c i a l   f o r m   o f   s u p e r v i s e d   r e g u l a r i z a t i o n .   I n   t h i s   p a p e r   w e   p r e s e n t   a n   a p p r o a c h   t o   a u t o m a t i c a l l y   l e a r n i n g   p r e p r o c e s s i n g   f i l t e r s   t h a t   s u p p r e s s   d i s c r i m i n a b i l i t y   i n   d i s t r a c t o r   t a s k s   w h i l e   p r e s e r v i n g   i t   i n   t a r g e t   t a s k s .   W e   p r e s e n t   p r o m i s i n g   r e s u l t s   i n   s i m u l a t e d   i m a g e   c l a s s i f i c a t i o n   p r o b l e m s   a n d   i n   a   r e a l i s t i c   e x p r e s s i o n   r e c o g n i t i o n   p r o b l e m . 	 [ W h i t e h i l l ,   J a c o b ;   M o v e l l a n ,   J a v i e r ]   U n i v   C a l i f   S a n   D i e g o ,   M a c h i n e   P e r c e p t   L a b ,   S a n   D i e g o ,   C A   9 2 1 0 3   U S A 	 W h i t e h i l l ,   J   ( r e p r i n t   a u t h o r ) ,   U n i v   C a l i f   S a n   D i e g o ,   M a c h i n e   P e r c e p t   L a b ,   S a n   D i e g o ,   C A   9 2 1 0 3   U S A . 	 j a k e @ m p l a b . u c s d . e d u ;   m o v e l l a n @ m p l a b . u c s d . e d u 	 	 	 	 	 A s h r a f   A . ,   2 0 1 0 ,   P A T T E R N   A N A L   M A C H I N E ;   B e l l   T . ,   1 9 9 7 ,   V I S I O N   R E S ;   B i r d w e l l   J . ,   1 9 9 0 ,   C   D E C   C O N T R ;   B i s h o p   C .   M . ,   2 0 0 6 ,   P A T T E R N   R E C O G N I T I O N ;   F i s h e r   R . ,   1 9 3 6 ,   A N N   E U G E N I C S ;   G r o s s   R . ,   2 0 0 6 ,   C V P R ;   G r o s s   R . ,   2 0 0 5 ,   W O R K S H   P R I V   E N H   T E C H ;   L e e   H . ,   2 0 0 9 ,   I C M L ;   L u c e y   P . ,   2 0 1 0 ,   C V P R   W O R K S H   H U M   C O M M ;   M O V E L L A N   J .   R . ,   T U T O R I A L   G A B O R   F I L T E ;   N e w t o n   E . ,   2 0 0 5 ,   I E E E   T   K N O W L E D G E   D A T ;   P a n   S .   J . ,   2 0 1 0 ,   I E E E   T   K N O W L E D G E   D A T ;   S h i m o d a i r a   H . ,   2 0 0 0 ,   J   S T A T   P L A N N I N G   I N F E ;   W e i n b e r g e r   K . ,   2 0 0 6 ,   N E U R A L   I N F O R M   P R O C E S ;   Z h u   M . ,   2 0 0 6 ,   P A T T E R N   A N A L   M A C H I N E 	 1 5 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 0 6 3 - 6 9 1 9 	 	 9 7 8 - 1 - 4 6 7 3 - 1 2 2 8 - 8 	 P R O C   C V P R   I E E E 	 	 	 2 0 1 2 	 	 	 	 	 	 	 2 4 8 8 	 2 4 9 5 	 	 	 	 8 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B B Z 3 7 	 W O S : 0 0 0 3 0 9 1 6 6 2 0 2 0 8 2 	 	 
 J 	 A r m s t r o n g ,   A W ;   C h e e n e y ,   S ;   W u ,   J ;   H a r s k a m p ,   C T ;   S c h u p p ,   C W 	 	 	 	 A r m s t r o n g ,   A p r i l   W . ;   C h e e n e y ,   S a f i a ;   W u ,   J u l i e ;   H a r s k a m p ,   C a i t l i n   T . ;   S c h u p p ,   C l a y t o n   W . 	 	 	 H a r n e s s i n g   t h e   P o w e r   o f   C r o w d s   C r o w d s o u r c i n g   a s   a   N o v e l   R e s e a r c h   M e t h o d   f o r   E v a l u a t i o n   o f   A c n e   T r e a t m e n t s 	 A M E R I C A N   J O U R N A L   O F   C L I N I C A L   D E R M A T O L O G Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 M O D E R A T E   A C N E ;   D O U B L E - B L I N D ;   B E N Z O Y L   P E R O X I D E ;   S A L I C Y L I C - A C I D ;   C L I N D A M Y C I N   P H O S P H A T E ;   E T H I N Y L   E S T R A D I O L ;   O R A L   T E T R A C Y C L I N E ;   V U L G A R I S ;   E F F I C A C Y ;   T H E R A P Y 	 B a c k g r o u n d :   C r o w d s o u r c i n g   i s   a   n o v e l   p r o c e s s   o f   d a t a   c o l l e c t i o n   t h a t   c a n   p r o v i d e   i n s i g h t   i n t o   t h e   e f f e c t i v e n e s s   o f   a c n e   t r e a t m e n t s   i n   r e a l - w o r l d   s e t t i n g s .   L i t t l e   i s   k n o w n   r e g a r d i n g   t h e   f e a s i b i l i t y   o f   c r o w d s o u r c i n g   a s   a   m e a n s   o f   c o l l e c t i n g   d e r m a t o l o g y   r e s e a r c h   d a t a ,   t h e   q u a l i t y   o f   c o l l e c t e d   d a t a ,   a n d   h o w   t h e   d a t a   c o m p a r e   t o   t h e   p u b l i s h e d   l i t e r a t u r e .   O b j e c t i v e :   T h e   o b j e c t i v e   o f   t h i s   a n a l y s i s   i s   t o   c o m p a r e   a c n e   d a t a   c o l l e c t e d   f r o m   a   m e d i c a l   c r o w d s o u r c i n g   s i t e   w i t h   h i g h - q u a l i t y   c o n t r o l l e d   s t u d i e s   f r o m   p e e r - r e v i e w e d   m e d i c a l   l i t e r a t u r e .   M e t h o d s :   C r o w d s o u r c e d   d a t a   w a s   c o l l e c t e d   f r o m   6 6 2   o n l i n e   a c n e   p a t i e n t s .   O n l i n e   p a t i e n t s   r e p o r t e d   d a t a   i n   a   L i k e r t - t y p e   f o r m a t   t o   c h a r a c t e r i z e   t h e i r   s y m p t o m   s e v e r i t y   ( 7 4 0   t o t a l   r e s p o n s e s )   a n d   t h e i r   t r e a t m e n t   o u t c o m e s   ( 9 5 8   t o t a l   r e s p o n s e s ) .   T h e   c r o w d s o u r c e d   d a t a   w e r e   c o m p a r e d   w i t h   m e t a - a n a l y s e s   a n d   r e v i e w s   o n   a c n e   t r e a t m e n t   f r o m   A u g u s t   2 0 ,   2 0 1 0   t o   A u g u s t   2 0 ,   2 0 1 1 .   R e s u l t s :   W e   c o m p a r e d   t o p i c a l ,   o r a l   s y s t e m i c ,   a l t e r n a t i v e ,   p h o t o t h e r a p y ,   a n d   p h y s i c a l   a c n e   t r e a t m e n t s   o f   c r o w d s o u r c e d   d a t a   t o   p u b l i s h e d   l i t e r a t u r e .   W e   f o c u s e d   o n   t o p i c a l   t r e t i n o i n   d u e   t o   t h e   l a r g e   n u m b e r   o f   o n l i n e   p a t i e n t   r e s p o n s e s .   W h i l e   a p p r o x i m a t e l y   8 0 %   o f   t r e t i n o i n   u s e r s   o b s e r v e d   c l i n i c a l   i m p r o v e m e n t   a f t e r   a   1 2 - w e e k   t r e a t m e n t   p e r i o d   i n   c l i n i c a l   t r i a l s ,   4 6 %   o f   o n l i n e   u s e r s   r e p o r t e d   i m p r o v e m e n t   i n   a n   u n s p e c i f i e d   t i m e   p e r i o d .   F o r   m o s t   t o p i c a l   t r e a t m e n t s ,   m e d i c a t i o n   w i t h   h i g h   e f f i c a c y   i n   c l i n i c a l   t r i a l s   d i d   n o t   p r o d u c e   h i g h   e f f e c t i v e n e s s   r a t i n g s   b a s e d   o n   t h e   c r o w d s o u r c e d   o n l i n e   d a t a .   C o n c l u s i o n :   W h i l e   l i m i t a t i o n s   e x i s t   w i t h   t h e   c u r r e n t   m e t h o d s   o f   c r o w d s o u r c e d   d a t a   c o l l e c t i o n ,   w i t h   s t a n d a r d i z a t i o n   o f   d a t a   c o l l e c t i o n   a n d   u s e   o f   v a l i d a t e d   i n s t r u m e n t s ,   c r o w d s o u r c i n g   w i l l   p r o v i d e   a n   i m p o r t a n t   a n d   v a l u a b l e   p l a t f o r m   f o r   c o l l e c t i n g   h i g h - v o l u m e   p a t i e n t   d a t a   i n   r e a l - w o r l d   s e t t i n g s . 	 [ A r m s t r o n g ,   A p r i l   W . ]   U n i v   C a l i f   D a v i s   H l t h   S y s t ,   D e r m a t o l   C l i n   R e s   U n i t ,   D e p t   D e r m a t o l ,   S a c r a m e n t o ,   C A   9 5 8 1 6   U S A ;   [ C h e e n e y ,   S a f i a ]   U n i v   A r i z o n a ,   T u c s o n ,   A Z   U S A 	 A r m s t r o n g ,   A W   ( r e p r i n t   a u t h o r ) ,   U n i v   C a l i f   D a v i s   H l t h   S y s t ,   D e r m a t o l   C l i n   R e s   U n i t ,   D e p t   D e r m a t o l ,   3 3 0 1   C   S t , S u i t e   1 4 0 0 ,   S a c r a m e n t o ,   C A   9 5 8 1 6   U S A . 	 a p r i l a r m s t r o n g @ p o s t . h a r v a r d . e d u 	 	 	 	 	 A d a m s   S A ,   2 0 1 1 ,   S O C   S C I   M E D ,   V 7 2 ,   P 1 0 6 9 ,   D O I   1 0 . 1 0 1 6 / j . s o c s c i m e d . 2 0 1 1 . 0 2 . 0 0 1 ;   A r o w o j o l u   A O ,   2 0 0 9 ,   C O C H R A N E   D B   S Y S T   R E V ,   D O I   1 0 . 1 0 0 2 / 1 4 6 5 1 8 5 8 . C D 0 0 4 4 2 5 . p u b 4 ;   B E C K E R   L E ,   1 9 8 1 ,   A R C H   D E R M A T O L ,   V 1 1 7 ,   P 4 8 2 ,   D O I   1 0 . 1 0 0 1 / a r c h d e r m . 1 1 7 . 8 . 4 8 2 ;   B e h r e n d   T S ,   2 0 1 1 ,   B E H A V   R E S   M E T H O D S ,   V 4 3 ,   P 8 0 0 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 0 8 1 - 0 ;   B L A N E Y   D J ,   1 9 7 6 ,   A R C H   D E R M A T O L ,   V 1 1 2 ,   P 9 7 1 ,   D O I   1 0 . 1 0 0 1 / a r c h d e r m . 1 1 2 . 7 . 9 7 1 ;   B o w e   W P ,   2 0 1 0 ,   J   A M   A C A D   D E R M A T O L ,   V 6 3 ,   P 1 2 4 ,   D O I   1 0 . 1 0 1 6 / j . j a a d . 2 0 0 9 . 0 7 . 0 4 3 ;   B r a a t h e n   L   R ,   1 9 8 4 ,   S c a n d   J   I n f e c t   D i s   S u p p l ,   V 4 3 ,   P 7 1 ;   B r a d l e y   J C ,   2 0 0 9 ,   J   C H E M I N F O R M A T I C S ,   V 1 ,   D O I   1 0 . 1 1 8 6 / 1 7 5 8 - 2 9 4 6 - 1 - 9 ;   C h u   A ,   1 9 9 7 ,   B R I T   J   D E R M A T O L ,   V 1 3 6 ,   P 2 3 5 ;   C o l l i e r   C N ,   2 0 0 8 ,   J   A M   A C A D   D E R M A T O L ,   V 5 8 ,   P 5 6 ,   D O I   1 0 . 1 0 1 6 / j . j a a d . 2 0 0 7 . 0 6 . 0 4 5 ;   C u n l i f f e   W J ,   1 9 9 8 ,   B R I T   J   D E R M A T O L ,   V 1 3 9 ,   P 4 8 ;   D o s h i   A ,   1 9 9 7 ,   I N T   J   D E R M A T O L ,   V 3 6 ,   P 4 1 6 ,   D O I   1 0 . 1 0 4 6 / j . 1 3 6 5 - 4 3 6 2 . 1 9 9 7 . 0 0 0 9 9 . x ;   E j i o g u   N ,   2 0 1 1 ,   G E R O N T O L O G I S T ,   V 5 1 ,   p S 3 3 ,   D O I   1 0 . 1 0 9 3 / g e r o n t / g n r 0 2 7 ;   E k i n s   S ,   2 0 1 0 ,   P H A R M   R E S - D O R D R ,   V 2 7 ,   P 3 9 3 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 9 5 - 0 1 0 - 0 0 5 9 - 0 ;   E n s h a i e h   S ,   2 0 0 7 ,   I N D I A N   J   D E R M A T O L   V E ,   V 7 3 ,   P 2 2 ;   H a i d e r   A ,   2 0 0 4 ,   J A M A - J   A M   M E D   A S S O C ,   V 2 9 2 ,   P 7 2 6 ,   D O I   1 0 . 1 0 0 1 / j a m a . 2 9 2 . 6 . 7 2 6 ;   H o n g c h a r u   W ,   2 0 0 0 ,   J   I N V E S T   D E R M A T O L ,   V 1 1 5 ,   P 1 8 3 ,   D O I   1 0 . 1 0 4 6 / j . 1 5 2 3 - 1 7 4 7 . 2 0 0 0 . 0 0 0 4 6 . x ;   H o r o w i t z   C R ,   2 0 0 9 ,   A M   J   P R E V   M E D ,   V 3 7 ,   p S 1 9 5 ,   D O I   1 0 . 1 0 1 6 / j . a m e p r e . 2 0 0 9 . 0 8 . 0 0 6 ;   H s u   P ,   2 0 1 1 ,   P O S T G R A D   M E D ,   V 1 2 3 ,   P 1 5 3 ,   D O I   1 0 . 3 8 1 0 / p g m . 2 0 1 1 . 0 5 . 2 2 9 4 ;   I m a h i y e r o b o - I p   J I ,   2 0 1 1 ,   C U R R   O P I N   P E D I A T R ,   V 2 3 ,   P 1 2 1 ,   D O I   1 0 . 1 0 9 7 / M O P . 0 b 0 1 3 e 3 2 8 3 4 2 5 4 5 7 ;   J o h n s t o n   S C ,   2 0 0 9 ,   A N N   N E U R O L ,   V 6 5 ,   p A 7 ,   D O I   [ 1 0 . 1 0 0 2 / a n a . 2 1 7 3 5 ,   1 0 . 1 0 0 2 / a n a . 2 1 7 9 1 ] ;   K i m   R a n d i e   H ,   2 0 1 1 ,   D e r m a t o l   O n l i n e   J ,   V 1 7 ,   P 2 ;   K o k a n d i   A . ,   2 0 1 0 ,   D E R M A T O L   R E S   P R A C T ,   D O I   D O I   1 0 . 1 1 5 5 / 2 0 1 0 / 4 1 0 8 0 9 ;   K r a f t   J ,   2 0 1 1 ,   C A N   M E D   A S S O C   J ,   V 1 8 3 ,   p E 4 3 0 ,   D O I   1 0 . 1 5 0 3 / c m a j . 0 9 0 3 7 4 ;   L E S H E R   J L ,   1 9 8 5 ,   J   A M   A C A D   D E R M A T O L ,   V 1 2 ,   P 5 2 6 ,   D O I   1 0 . 1 0 1 6 / S 0 1 9 0 - 9 6 2 2 ( 8 5 ) 7 0 0 7 4 - 6 ;   L e y d e n   J ,   2 0 0 2 ,   J   A M   A C A D   D E R M A T O L ,   V 4 7 ,   P 3 9 9 ,   D O I   1 0 . 1 0 6 7 / m j d . 2 0 0 2 . 1 2 2 1 9 2 ;   L e y d e n   J a m e s   J ,   2 0 0 2 ,   C u t i s ,   V 6 9 ,   P 1 2 ;   L o o k i n g b i l l   D P ,   1 9 9 7 ,   J   A M   A C A D   D E R M A T O L ,   V 3 7 ,   P 5 9 0 ,   D O I   1 0 . 1 0 1 6 / S 0 1 9 0 - 9 6 2 2 ( 9 7 ) 7 0 1 7 7 - 4 ;   L u c k y   A W ,   1 9 9 7 ,   J   A M   A C A D   D E R M A T O L ,   V 3 7 ,   P 7 4 6 ,   D O I   1 0 . 1 0 1 6 / S 0 1 9 0 - 9 6 2 2 ( 9 7 ) 7 0 1 1 2 - 9 ;   L u c k y   A W ,   1 9 9 8 ,   J   A M   A C A D   D E R M A T O L ,   V 3 8 ,   p S 2 4 ,   D O I   1 0 . 1 0 1 6 / S 0 1 9 0 - 9 6 2 2 ( 9 8 ) 7 0 1 4 2 - 2 ;   M I L L S   O H ,   1 9 8 6 ,   I N T   J   D E R M A T O L ,   V 2 5 ,   P 6 6 4 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 4 3 6 2 . 1 9 8 6 . t b 0 4 5 3 4 . x ;   N i l F r o u s h z a d e h   M A ,   2 0 0 9 ,   I N D I A N   J   D E R M A T O L   V E ,   V 7 5 ,   P 2 7 9 ,   D O I   1 0 . 4 1 0 3 / 0 3 7 8 - 6 3 2 3 . 5 1 2 4 7 ;   N o r m a n   T C ,   2 0 1 1 ,   S C I   T R A N S L   M E D ,   V 3 ,   D O I   1 0 . 1 1 2 6 / s c i t r a n s l m e d . 3 0 0 2 6 7 8 ;   P E C K   G L ,   1 9 8 2 ,   J   A M   A C A D   D E R M A T O L ,   V 6 ,   P 7 3 5 ,   D O I   1 0 . 1 0 1 6 / S 0 1 9 0 - 9 6 2 2 ( 8 2 ) 7 0 0 6 3 - 5 ;   P l e w i g   G ,   2 0 0 9 ,   C O N T R A C E P T I O N ,   V 8 0 ,   P 2 5 ,   D O I   1 0 . 1 0 1 6 / j . c o n t r a c e p t i o n . 2 0 0 9 . 0 2 . 0 1 6 ;   P l e w i g   G ,   2 0 0 6 ,   E U R   J   D E R M A T O L ,   V 1 6 ,   P 4 8 ;   P r a i n s a c k   B ,   2 0 1 0 ,   P H A R M A C O G E N O M I C S ,   V 1 1 ,   P 6 5 1 ,   D O I   [ 1 0 . 2 2 1 7 / p g s . 1 0 . 3 3 ,   1 0 . 2 2 1 7 / P G S . 1 0 . 3 3 ] ;   R a p a p o r t   M ,   1 9 8 2 ,   C U T I S ,   V 3 0 ,   P 3 0 ;   R a p a p o r t   M ,   1 9 8 2 ,   C U T I S ,   V 3 0 ,   P 3 2 ;   R A P A P O R T   M ,   1 9 8 2 ,   C U T I S ,   V 3 0 ,   P 1 2 2 ;   R e u t e r   J ,   2 0 1 0 ,   A M   J   C L I N   D E R M A T O L ,   V 1 1 ,   P 2 4 7 ,   D O I   1 0 . 2 1 6 5 / 1 1 5 3 3 2 2 0 - 0 0 0 0 0 0 0 0 0 - 0 0 0 0 0 ;   S c h m i d t   L ,   2 0 1 0 ,   S A N   F R A N C   C A   C R O W D C O ;   S c o b l e   R o b e r t ,   2 0 0 6 ,   N A K E D   C O N V E R S A T I O N S ;   S e i d l e r   E M ,   2 0 1 0 ,   J   A M   A C A D   D E R M A T O L ,   V 6 3 ,   P 5 2 ,   D O I   1 0 . 1 0 1 6 / j . j a a d . 2 0 0 9 . 0 7 . 0 5 2 ;   S k i d m o r e   R ,   2 0 0 3 ,   A R C H   D E R M A T O L ,   V 1 3 9 ,   P 4 5 9 ,   D O I   1 0 . 1 0 0 1 / a r c h d e r m . 1 3 9 . 4 . 4 5 9 ;   S t e r n   R S ,   1 9 9 6 ,   A R C H   D E R M A T O L ,   V 1 3 2 ,   P 7 7 6 ,   D O I   1 0 . 1 0 0 1 / a r c h d e r m . 1 3 2 . 7 . 7 7 6 ;   S t r a u s s   J S ,   2 0 0 1 ,   J   A M   A C A D   D E R M A T O L ,   V 4 5 ,   P 1 8 7 ,   D O I   1 0 . 1 0 6 7 / m j d . 2 0 0 1 . 1 1 5 9 6 5 ;   T h u r z o   A ,   2 0 1 0 ,   B R A T I S L   M E D   J ,   V 1 1 1 ,   P 1 6 8 ;   T o u i t o u   E ,   2 0 0 8 ,   J   E U R   A C A D   D E R M A T O L ,   V 2 2 ,   P 6 2 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 8 - 3 0 8 3 . 2 0 0 7 . 0 2 3 9 8 . x ;   W h i t l a   P . ,   2 0 0 9 ,   C O N T   M A N A G E M E N T   R E S ,   V 5 ,   P 1 5 ;   Z a h r a d n i k   H P ,   1 9 9 8 ,   C O N T R A C E P T I O N ,   V 5 7 ,   P 1 0 3 ,   D O I   1 0 . 1 0 1 6 / S 0 0 1 0 - 7 8 2 4 ( 9 8 ) 0 0 0 0 8 - 0 	 5 1 	 4 	 4 	 A D I S   I N T   L T D 	 A U C K L A N D 	 4 1   C E N T O R I A N   D R ,   P R I V A T E   B A G   6 5 9 0 1 ,   M A I R A N G I   B A Y ,   A U C K L A N D   1 3 1 1 ,   N E W   Z E A L A N D 	 1 1 7 5 - 0 5 6 1 	 	 	 A M   J   C L I N   D E R M A T O L 	 A m .   J .   C l i n .   D e r m a t o l . 	 	 2 0 1 2 	 1 3 	 6 	 	 	 	 	 4 0 5 	 4 1 6 	 	 	 	 1 2 	 D e r m a t o l o g y 	 D e r m a t o l o g y 	 0 3 3 R I 	 W O S : 0 0 0 3 1 0 8 1 8 1 0 0 0 0 6 	 2 3 0 3 9 2 5 7 	 
 S 	 M o r e r a ,   A ;   A o u a d ,   L ;   C o l l i n s ,   J J 	 	 D a n i e l ,   F ;   B a r k a o u i ,   K ;   D u s t d a r ,   S 	 	 M o r e r a ,   A r a m ;   A o u a d ,   L a m i n e ;   C o l l i n s ,   J .   J . 	 	 	 A s s e s s i n g   S u p p o r t   f o r   C o m m u n i t y   W o r k f l o w s   i n   L o c a l i s a t i o n 	 B U S I N E S S   P R O C E S S   M A N A G E M E N T   W O R K S H O P S ,   P T   I 	 L e c t u r e   N o t e s   i n   B u s i n e s s   I n f o r m a t i o n   P r o c e s s i n g 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 9 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   B u s i n e s s   P r o c e s s   M a n a g e m e n t   ( B P M   2 0 1 1 ) 	 A U G   2 9 ,   2 0 1 1 	 C l e r m o n t   F e r r a n d ,   F R A N C E 	 	 	 c r o w d s o u r c i n g ;   w o r k f l o w s ;   w o r k f l o w   p a t t e r n s ;   l o c a l i z a t i o n ;   a u t o m a t i o n 	 	 T h i s   p a p e r   i d e n t i f i e s   a   s e t   o f   w o r k f l o w   p a t t e r n s   n e c e s s a r y   t o   s u p p o r t   c o m m u n i t y - o r i e n t e d   l o c a l i s a t i o n .   W o r k f l o w   p a t t e r n   d i s c o v e r y   i s   b a s e d   o n   u s e   c a s e   a n a l y s i s   o f   f i v e   c o m m u n i t y   t r a n s l a t i o n   t o o l s ,   a n d   m o d e l l e d   u s i n g   t h e   Y e t   A n o t h e r   W o r k f l o w   L a n g u a g e   ( Y A W L )   n o t a t i o n .   A n   a n a l y s i s   i s   p r e s e n t e d   o f   t h e   s u p p o r t   f o r   t h e s e   b a s e l i n e   p a t t e r n s   i n   t w o   m a i n s t r e a m   e n t e r p r i s e - o r i e n t e d   T r a n s l a t i o n   M a n a g e m e n t   S y s t e m s   ( T M S )   -   G l o b a l S i g h t   a n d   W o r l d S e r v e r .   A   g a p   i s   i d e n t i f i e d   w i t h   r e s p e c t   t o   t h e   e m e r g i n g   n e e d   f o r   c o m m u n i t y - o r i e n t e d   w o r k f l o w s   a n d   t h e i r   p o t e n t i a l   s u p p o r t   i n   m a i n s t r e a m   e n t e r p r i s e   l o c a l i s a t i o n   a r c h i t e c t u r e s . 	 [ M o r e r a ,   A r a m ;   A o u a d ,   L a m i n e ;   C o l l i n s ,   J .   J . ]   U n i v   L i m e r i c k ,   L o c a l i s a t   R e s   C t r ,   C N G L ,   D e p t   C o m p   S c i   &   I n f o r m a t   S y s t ,   L i m e r i c k ,   I r e l a n d 	 M o r e r a ,   A   ( r e p r i n t   a u t h o r ) ,   U n i v   L i m e r i c k ,   L o c a l i s a t   R e s   C t r ,   C N G L ,   D e p t   C o m p   S c i   &   I n f o r m a t   S y s t ,   L i m e r i c k ,   I r e l a n d . 	 a r a m . m o r e r a - m e s a @ u l . i e ;   l a m i n e . a o u a d @ u l . i e ;   j . j . c o l l i n s @ u l . i e 	 	 	 	 	 C o c k b u r n   A . ,   2 0 0 1 ,   W R I T I N G   E F F E C T I V E   U S ;   D a l v i t   L . ,   2 0 0 8 ,   S A T N A C   2 0 0 8 ;   G h a z n a w i   S . ,   2 0 1 0 ,   G L O B A L S I G H T   L S P S   E L I ;   L o m m e l   A . ,   2 0 0 3 ,   L O C A L I Z A T I O N   I N D   P R I ;   L o s s e   K . ,   2 0 0 8 ,   L R C   1 3   L O C A L I S A T I O N 4 ;   M a c k e n z i e   A . ,   2 0 0 6 ,   I N T   S O F T W A R E   U N I V E R S ;   R a y   R ,   2 0 1 1 ,   C R O W D S O U R C E D   T R A N S L A ;   R i c k a r d   J . ,   2 0 0 9 ,   L R C   1 4   L O C   C L O U D   C   L ;   R i n s c h e   A . ,   2 0 0 9 ,   S T U D Y   S I Z E   L A N G U A G E ;   R u s s e l l   N . ,   2 0 0 7 ,   B P M 0 7 0 5 ;   R u s s e l l   N . ,   2 0 0 6 ,   B P M 0 6 2 2 ;   S a r g e n t   B . ,   2 0 0 7 ,   M U L T I L I N G U A L ,   V 1 8 ,   P 8 3 ;   S a r g e n t   B . ,   2 0 0 8 ,   T R A N S L A T I O N   M A N A G E M E ;   S c h a e l e r   R . ,   2 0 0 8 ,   C O M M U N I C A T I O N   K E Y   G L ;   v a n   G e n a b i t h   J o s e f ,   2 0 0 9 ,   L o c a l i s a t i o n   F o c u s ,   V 8 ;   V a n   d e r   A a l s t   W M P ,   2 0 0 3 ,   D I S T R I B   P A R A L L E L   D A T ,   V 1 4 ,   P 5 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 2 2 8 8 3 7 2 7 2 0 9 ;   V a s h e e   K . ,   2 0 0 9 ,   L R C   1 4   L O C   C L O U D   C   L ;   W u n d e r l i c h   M . ,   2 0 1 1 ,   O U R   G L O B A L S I G H T   M I G R 	 1 8 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 1 8 6 5 - 1 3 4 8 	 	 9 7 8 - 3 - 6 4 2 - 2 8 1 0 7 - 5 	 L E C T   N O T E S   B U S   I N F   P 	 	 	 2 0 1 2 	 9 9 	 	 	 	 	 	 1 9 5 	 2 0 6 	 	 	 	 1 2 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 B C L 4 9 	 W O S : 0 0 0 3 1 0 5 5 8 4 0 0 0 2 0 	 	 
 J 	 M u n d a y ,   J 	 	 	 	 M u n d a y ,   J e r e m y 	 	 	 N e w   d i r e c t i o n s   i n   d i s c o u r s e   a n a l y s i s   f o r   t r a n s l a t i o n :   a   s t u d y   o f   d e c i s i o n - m a k i n g   i n   c r o w d s o u r c e d   s u b t i t l e s   o f   O b a m a ' s   2 0 1 2   S t a t e   o f   t h e   U n i o n   s p e e c h 	 L A N G U A G E   A N D   I N T E R C U L T U R A L   C O M M U N I C A T I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 d i s c o u r s e   a n a l y s i s ;   a p p r a i s a l   t h e o r y ;   t r a n s l a t i o n ;   d e c i s i o n - m a k i n g ;   s u b t i t l e s ;   c r o w d s o u r c i n g ;   O b a m a ;   S t a t e   o f   t h e   U n i o n 	 	 T h i s   a r t i c l e   a p p r o a c h e s   t r a n s l a t i o n   t h r o u g h   t h e   a p p l i c a t i o n   o f   t h e   m o d e l   o f   s y s t e m i c   f u n c t i o n a l   l i n g u i s t i c s .   M o r e   s p e c i f i c a l l y ,   i t   e x p l o r e s   t h e   u s e   o f   t h e   p o t e n t i a l   o f   a p p r a i s a l   t h e o r y   o f   e v a l u a t i o n   ( M a r t i n ,   J . R . ,   &   W h i t e ,   P .   R .   R . ,   T h e   L a n g u a g e   o f   E v a l u a t i o n :   A p p r a i s a l   i n   E n g l i s h .   L o n d o n :   P a l g r a v e ,   2 0 0 5 ) ,   c e n t r i n g   o n   t h e   r e a l i z a t i o n   o f   i n t e r p e r s o n a l   m e a n i n g ,   f o r   t h e   u n c o v e r i n g   o f   t r a n s l a t o r   d e c i s i o n - m a k i n g .   T h e   a n a l y s i s   i s   a p p l i e d   t o   a   c a s e   s t u d y   o f   t w o   o f   P r e s i d e n t   O b a m a ' s   s p e e c h e s ,   i n c l u d i n g   t h e   s u b t i t l e s   o f   P r e s i d e n t   O b a m a ' s   S t a t e   o f   t h e   U n i o n   s p e e c h   o f   2 5   J a n u a r y   2 0 1 2 .   T h e s e   s u b t i t l e s   w e r e   c r o w d s o u r c e d   b y   A m a r a / U n i v e r s a l   S u b t i t l e s   i n   c o l l a b o r a t i o n   w i t h   t h e   P u b l i c   B r o a d c a s t i n g   S e r v i c e   i n t o   2 5   l a n g u a g e s   a n d   t h e y   p r o v i d e   a n   i l l u m i n a t i n g   c a n v a s   f o r   t h e   a n a l y s i s   o f   n e w   m o d e s   o f   c o m m u n i c a t i o n   a f f e c t i n g   t h e   p h e n o m e n o n   o f   t r a n s l a t i o n . 	 U n i v   L e e d s ,   S c h   M o d e r n   L a n g u a g e s   &   C u l t u r e s ,   L e e d s   L S 2   9 J T ,   W   Y o r k s h i r e ,   E n g l a n d 	 M u n d a y ,   J   ( r e p r i n t   a u t h o r ) ,   U n i v   L e e d s ,   S c h   M o d e r n   L a n g u a g e s   &   C u l t u r e s ,   L e e d s   L S 2   9 J T ,   W   Y o r k s h i r e ,   E n g l a n d . 	 J . M u n d a y @ l e e d s . a c . u k 	 	 	 	 	 A m a r a ,   2 0 1 2 ,   W A T C H   O B A M A   D E L I V E R ;   [ A n o n y m o u s ] ,   1 9 9 5 ,   C O L L I N S   C O B U I L D   D I C T ;   B e d n a r e k   M ,   2 0 0 6 ,   E V A L U A T I O N   M E D I A   D I S ;   B e l l   R .   T . ,   1 9 9 1 ,   T R A N S L A T I O N   T R A N S L A T ;   C o f f i n   C ,   2 0 0 6 ,   H I S T   D I S C O U R S E   L A N G U ;   C o n r a d   S . ,   2 0 0 0 ,   E V A L U A T I O N   T E X T   A U T H ,   P 5 6 ;   D e s i l e t s   A ,   2 0 1 1 ,   L I N G   A N T V E R P   N E W   S E R ,   V 1 0 ,   P 2 7 ;   E d w a r d s   M . ,   1 9 9 7 ,   T R A N S L A T I N G   S E N S I T I V ,   P 5 7 ;   E n g l e b r e t s o n   R o b e r t ,   2 0 0 7 ,   S T A N C E T A K I N G   D I S C O U R ;   H a l l i d a y   M .   A .   K ,   1 9 9 4 ,   I N T R O   F U N C T I O N A L   G R A ;   H a r t l e y   A . ,   2 0 0 4 ,   P   L R E C   2 0 0 4 ,   P 8 3 3 ;   H a t i m   B ,   1 9 9 7 ,   T R A N S L A T O R   C O M M U N I C A ;   H a t i m   B a s i l ,   1 9 9 0 ,   D I S C O U R S E   T R A N S L A T O R ;   H o u s e   J . ,   1 9 9 7 ,   T R A N S L A T I O N   Q U A L I T Y ;   H O U S E   J u l i a n e ,   1 9 8 1 ,   M O D E L   T R A N S L A T I O N   Q U ;   H u n s t o n   S . ,   2 0 0 0 ,   E V A L U A T I O N   T E X T   A U T H ;   J i m e n e z - C r e s p o   M A ,   2 0 1 1 ,   L I N G   A N T V E R P   N E W   S E R ,   V 1 0 ,   P 1 3 1 ;   K a l t e n b a c h e r   M . ,   2 0 0 6 ,   S Y S T E M   C O R P U S   E X P L O R ,   P 2 6 9 ;   L a w l e r   R ,   2 0 1 2 ,   C R U N C H                     0 5 1 0 ;   L e i v a   B u r o t t o   C ,   2 0 1 2 ,   A N D E S B E A T               0 1 2 4 ;   M a r t i n   J .   R . ,   2 0 0 0 ,   E V A L U A T I O N   T E X T   A U T H ,   P 1 4 2 ;   M a r t i n   J a m e s   R . ,   2 0 0 5 ,   L A N G U A G E   E V A L U A T I O N ;   M U N D A Y   J ,   2 0 1 2 ,   E V A L U A T I O N   T R A N S L A T I ;   M u n d a y   J . ,   2 0 1 0 ,   T E X T   C O N T E X T   F E S T S C H ,   P 7 7 ;   M u n d a y   J . ,   2 0 0 9 ,   S Y N A P S ,   V < I T > 2 3 < / I T > ,   P 1 5 ;   M u n d a y   J ,   2 0 0 7 ,   T R A N S L A T I O N   I N T E R V E N ;   O ' H a g a n   M . ,   2 0 1 1 ,   L I N G U I S T I C A   A N T V E R P I ,   V 1 0 / 2 0 1 1 ;   O ' H a g a n   M . ,   2 0 1 1 ,   L I N G   A N T V E R P   N E W   S E R ,   V < I T > 1 0 < / I T > ,   P 1 2 ;   O b a m a   P r e s i d e n t   B a r a c k ,   2 0 1 2 ,   C O M M U N I C A T I O N ;   P e r r i n o   S . ,   2 0 0 9 ,   J   S P E C I A L I Z E D   T R A N S L ,   V < I T > 1 2 < / I T > ;   P y m   A n t h o n y ,   2 0 1 1 ,   T R A N S L A T I O N   R E S   P R O J ,   P 7 5 ;   S e c a r a   A ,   2 0 1 1 ,   L I N G   A N T V E R P   N E W   S E R ,   V 1 0 ,   P 1 5 3 ;   T e i c h   E l k e ,   2 0 0 3 ,   C R O S S   L I N G U I S T I C   V A R ;   T e n o r e   M . J . ,   2 0 1 2 ,   P O Y N T O R                   0 1 2 5 ;   T o u r y   G . ,   1 9 9 5 ,   D E S C R I P T I V E   T R A N S L A T ;   W i l l i a m s   G . F . ,   2 0 0 9 ,   B B C ;   Y a l l o p   C . ,   2 0 0 1 ,   E X P L O R I N G   T R A N S L A T I O 	 3 7 	 0 	 0 	 R O U T L E D G E   J O U R N A L S ,   T A Y L O R   &   F R A N C I S   L T D 	 A B I N G D O N 	 4   P A R K   S Q U A R E ,   M I L T O N   P A R K ,   A B I N G D O N   O X 1 4   4 R N ,   O X F O R D S H I R E ,   E N G L A N D 	 1 4 7 0 - 8 4 7 7 	 	 	 L A N G   I N T E R C U L T   C O M M 	 L a n g .   I n t e r c u l t .   C o m m u n . 	 	 2 0 1 2 	 1 2 	 4 	 	 	 S I 	 	 3 2 1 	 3 3 4 	 	 1 0 . 1 0 8 0 / 1 4 7 0 8 4 7 7 . 2 0 1 2 . 7 2 2 0 9 9 	 	 1 4 	 L i n g u i s t i c s ;   L a n g u a g e   &   L i n g u i s t i c s 	 L i n g u i s t i c s 	 0 3 0 Z I 	 W O S : 0 0 0 3 1 0 6 0 8 3 0 0 0 0 4 	 	 
 S 	 N a g ,   S ;   H e f f a n ,   I ;   S a e n z - O t e r o ,   A ;   L y d o n ,   M 	 	 	 I E E E 	 N a g ,   S r e e j a ;   H e f f a n ,   I r a ;   S a e n z - O t e r o ,   A l v a r ;   L y d o n ,   M i k e 	 	 	 S P H E R E S   Z e r o   R o b o t i c s   S o f t w a r e   D e v e l o p m e n t :   L e s s o n s   o n   C r o w d s o u r c i n g   a n d   C o l l a b o r a t i v e   C o m p e t i t i o n 	 2 0 1 2   I E E E   A E R O S P A C E   C O N F E R E N C E 	 I E E E   A e r o s p a c e   C o n f e r e n c e   P r o c e e d i n g s 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   A e r o s p a c e   C o n f e r e n c e 	 M A R   0 3 - 1 0 ,   2 0 1 2 	 B i g   S k y ,   M T 	 I E E E ,   A I A A ,   P h m s o c ,   A E S S 	 	 	 	 C r o w d s o u r c i n g   i s   t h e   a r t   o f   c o n s t r u c t i v e l y   o r g a n i z i n g   c r o w d s   o f   p e o p l e   t o   w o r k   t o w a r d   a   c o m m o n   o b j e c t i v e .   C o l l a b o r a t i v e   c o m p e t i t i o n   i s   a   s p e c i f i c   k i n d   o f   c r o w d s o u r c i n g   t h a t   c a n   b e   u s e d   f o r   p r o b l e m s   t h a t   r e q u i r e   a   c o l l a b o r a t i v e   o r   c o o p e r a t i v e   e f f o r t   t o   b e   s u c c e s s f u l ,   b u t   a l s o   u s e   c o m p e t i t i o n   a s   a   m o t i v a t o r   f o r   p a r t i c i p a t i o n   o r   p e r f o r m a n c e .   T h e   D A R P A   I n S P I R E   p r o g r a m   i s   u s i n g   c r o w d s o u r c i n g   t o   d e v e l o p   s p a c e f l i g h t   s o f t w a r e   f o r   s m a l l   s a t e l l i t e s   u n d e r   a   s u b - p r o g r a m   c a l l e d   S P H E R E S   Z e r o   R o b o t i c s   -   a   s p a c e   r o b o t i c s   p r o g r a m m i n g   c o m p e t i t i o n .   T h e   r o b o t s   a r e   m i n i a t u r e   s a t e l l i t e s ,   c a l l e d   S P H E R E S ,   t h a t   o p e r a t e   i n s i d e   t h e   I n t e r n a t i o n a l   S p a c e   S t a t i o n   ( I S S ) .   T h e   i d e a   i s   t o   a l l o w   t h o u s a n d s   o f   a m a t e u r   p a r t i c i p a n t s   t o   p r o g r a m   u s i n g   t h e   S P H E R E S   s i m u l a t o r   a n d   e v e n t u a l l y   t e s t   t h e i r   a l g o r i t h m s   i n   m i c r o g r a v i t y .   T h e   e n t i r e   s o f t w a r e   f r a m e w o r k   f o r   t h e   p r o g r a m ,   t o   p r o v i d e   t h e   a b i l i t y   f o r   t h o u s a n d s   t o   c o l l a b o r a t i v e l y   u s e   t h e   S P H E R E S   s i m u l a t o r   a n d   c r e a t e   a l g o r i t h m s ,   i s   a l s o   b u i l t   b y   c r o w d s o u r c i n g .   T h i s   p a p e r   d e s c r i b e s   t h e   p r o c e s s   o f   b u i l d i n g   t h e   s o f t w a r e   f r a m e w o r k   f o r   c r o w d s o u r c i n g   S P H E R E S   d e v e l o p m e n t   i n   c o l l a b o r a t i o n   w i t h   a   c o m m e r c i a l   c r o w d s o u r c i n g   c o m p a n y   c a l l e d   T o p C o d e r .   I t   d i s c u s s e s   t h e   a p p l i c a b i l i t y   o f   c r o w d s o u r c i n g   a n d   c o l l a b o r a t i v e   c o m p e t i t i o n   i n   t h e   d e s i g n   o f   t h e   Z e r o   R o b o t i c s   s o f t w a r e   i n f r a s t r u c t u r e ,   m e t r i c s   o f   s u c c e s s   a n d   a c h i e v e m e n t   o f   o b j e c t i v e s . 	 [ N a g ,   S r e e j a ]   M I T ,   S S L ,   C a m b r i d g e ,   M A   0 2 1 3 9   U S A 	 N a g ,   S   ( r e p r i n t   a u t h o r ) ,   M I T ,   S S L ,   7 7   M a s s a c h u s e t t s   A v e ,   C a m b r i d g e ,   M A   0 2 1 3 9   U S A . 	 s r e e j a _ n @ m i t . e d u ;   I H e f f a n @ t o p c o d e r . c o m ;   a l v a r s o @ m i t . e d u ;   M L y d o n @ t o p c o d e r . c o m 	 	 	 	 	 A f t a l i o n   F . ,   2 0 0 5 ,   H I S T   I N T   C H E M   I N D   E A ,   P 1 1 ;   E n r i g h t   J . ,   2 0 0 4 ,   2 0 0 4   I E E E   A E R   C   B I G ;   F o r d   J . ,   2 0 1 1 ,   C O M M U N I C A T I O N ;   H o w e   J . ,   2 0 0 6 ,   C R O W D S O U R C I N G   D E F I N I ;   K l e e m a n n   F . ,   S C I   T E C H N O L O G Y   I N N O V ,   V 4 ,   P 5 ;   L i n d b u r g h   C . A . ,   1 9 5 3 ,   S P I R I T   L O U I S ;   M c K i n s e y   &   C o ,   2 0 0 9 ,   W I N N   I S ;   M e l c h o i r   A . ,   2 0 0 5 ,   M O R E   R O B O T S   E V A L U A T I ;   N a g   S . ,   2 0 1 1 ,   I N T   A S T R   C   C A P   T O W N ;   O f f i c e   o f   t h e   P r e s s   S e c r e t a r y ,   2 0 0 9 ,   O B   L A Y S   O U T   S T R A T   A M ;   O r s z a g   P .   R . ,   2 0 0 9 ,   M E M O R A N D U M   H E A D S   E X E ;   R a n a d e   G .   V . ,   2 0 1 2 ,   2 0 1 2   C O L L   I N T   U N P U B ;   S a e n z - O t e r o   A l v a r ,   2 0 0 5 ,   T H E S I S   M I T ;   S a e n z - O t e r o   A l v a r ,   2 0 1 0 ,   P   I E E E   A E R   C   B I G   S K Y ;   S o b e l   D ,   1 9 9 5 ,   L O N G I T U D E   T R U E   S T O R Y ;   W o o l n o u g h   B . ,   1 9 9 4 ,   E F F E C T I V E   S C I   T E A C H I 	 1 6 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 0 9 5 - 3 2 3 X 	 	 9 7 8 - 1 - 4 5 7 7 - 0 5 5 7 - 1 	 A E R O S P   C O N F   P R O C 	 	 	 2 0 1 2 	 	 	 	 	 	 	 	 	 	 	 	 1 7 	 E n g i n e e r i n g ,   A e r o s p a c e 	 E n g i n e e r i n g 	 B B Z 1 2 	 W O S : 0 0 0 3 0 9 1 0 5 3 0 4 0 8 1 	 	 
 B 	 S m i t h ,   R 	 	 	 I E E E 	 S m i t h ,   R o s s 	 	 	 P r o d u c t i v i t y   G a m e s   t o   I n c r e a s e   O r g a n i z a t i o n a l   T r u s t   H o w   G a m i n g   a n d   F u n   i n   t h e   W o r k p l a c e   c a n   d e v e l o p   a   C u l t u r e   o f   T r u s t   a n d   I n n o v a t i o n 	 2 0 1 2   I E E E   I N T E R N A T I O N A L   G A M E S   I N N O V A T I O N   C O N F E R E N C E   ( I G I C ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 4 t h   I E E E   I n t e r n a t i o n a l   G a m e s   I n n o v a t i o n   C o n f e r e n c e   ( I G I C ) 	 S E P   0 7 - 0 9 ,   2 0 1 2 	 R o c h e s t e r ,   N Y 	 I E E E ,   I E E E   C o n s u m e r   E l e c t   S o c ,   I n t e r a c t   G a m e s   M e d i a ,   I n t   C t r   H i s t   E l e c t   G a m e s ,   I E E E   R o c h e s t e r   S e c t 	 	 t r u s t ;   p r o d u c t i v i t y   g a m e ;   c r e a t i v i t y ;   i n n o v a t i o n 	 	 O u r   w o r l d   i s   c h a n g i n g .   G l o b a l ,   s o c i a l ,   t e c h n o l o g i c a l ,   a n d   d e m o g r a p h i c   s h i f t s   a l t e r   t h e   c o m p e t i t i v e   l a n d s c a p e   f o r   b u s i n e s s e s   a c r o s s   t h e   g l o b e .   T h e   i m p a c t   o n   o r g a n i z a t i o n a l   b e h a v i o r   i s   s i g n i f i c a n t .   C r e a t i v i t y   a n d   i n n o v a t i o n   a r e   p a r a m o u n t   -   k e y s t o n e s   f o r   2 1 s t   c e n t u r y   c o m p e t i t i v e   r e l e v a n c e .   T h e   s p e e d   o f   b u s i n e s s   a n d   t h e   p r e s s u r e s   o f   c o m p e t i t i o n   r e q u i r e   u n p r e c e d e n t e d   a g i l i t y .   A t   a n   o r g a n i z a t i o n a l   l e v e l ,   e m p l o y e e s   a r e   p u l l e d   i n   e v e r y   d i r e c t i o n ,   a s k e d   t o   p e r f o r m   u n r e a l   a c t s ,   a n d   p r e s s u r e d   f o r   n e w   i d e a s   a t   a   l e v e l   w e l l   b e y o n d   t h e   g r e a t e s t   m i n d s   i n   h i s t o r y .   Y e t ,   h i g h   u n e m p l o y m e n t   l e v e l s ,   g l o b a l i z a t i o n ,   o f f s h o r i n g ,   o u t s o u r c i n g ,   c o n t r a c t   w o r k ,   c r o w d s o u r c i n g   a n d   a   b u r g e o n i n g   p o p u l a t i o n   m e a n   u n c e r t a i n t y   a n d   i n s e c u r i t y   f o r   e v e r y o n e .   A   l a c k   o f   t r u s t   a n d   u n c e r t a i n t y   a r o u n d   j o b   s e c u r i t y   i n h i b i t   c r e a t i v e   u n d e r t a k i n g s   b y   e m p l o y e e s .   H o w   d o   w e   p a r t n e r   t o   f o s t e r   c r e a t i v i t y   w h i l e   m a i n t a i n i n g   a   c o m p e t i t i v e   e d g e ?   T h e   a n s w e r   i s   t r u s t ,   a n d   p r o d u c t i v e   g a m e   p l a y   a n d   f u n   c a n   s t r e n g t h e n   t r u s t - b u i l d i n g   b e h a v i o r s .   S o ,   w h a t   i s   a   g o o d   w a y   t o   i n c r e a s e   g l o b a l   c o m p e t i t i v e n e s s ?   P r o d u c t i v i t y   g a m e s   a n d   f u n   a t   w o r k   -   b u i l d i n g   t r u s t   a n d   s p a r k i n g   c r e a t i v i t y ! 	 M i c r o s o f t   C o r p ,   R e d m o n d ,   W A   9 8 0 5 2   U S A 	 S m i t h ,   R   ( r e p r i n t   a u t h o r ) ,   M i c r o s o f t   C o r p ,   R e d m o n d ,   W A   9 8 0 5 2   U S A . 	 r o s s s @ m i c r o s o f t . c o m 	 	 	 	 	 [ A n o n y m o u s ] ,   S T A N F O R D   E N C Y   P H I L O S ;   C h a r l e s   H . G r e e n ,   T R U S T E D   A D V I S O R   F I E L ,   P 7 ;   D r u c k e r   P e t e r ,   L A N D M A R K S   T O M O R R O W ,   P 1 2 0 ;   F l o r i d a   R i c h a r d ,   R I S E   C R E A T I V E   C L A S S ,   P 9 ;   F u k u y a m a   F r a n c i s ,   T R U S T   S O C I A L   V I R T U E S ,   P 2 7 ;   G o r d o n   G w e n ,   2 0 0 4 ,   T R I C Y C L E   M A G A Z I N   S U M ;   J o h n   F . H e l l i w e l l ,   2 0 0 8 ,   W E L L   B E I N G   T R U S T   W O R ;   L u d e n s   H o m o ,   H U I Z I N G A ,   P 1 1 ;   L u d e n s   H o m o ,   H U I Z I N G A ,   P 1 0 ;   P i n k   D a n i e l   H . ,   D R I V E ,   P 3 1 ;   S e n g e   P e t e r ,   L E S S   L E A D   C   1 9 9 6 ;   S o l o m o n ,   B U I L D I N G   T R U S T ,   P 9 ;   S u t t o n - S m i t h   B r i a n ,   A M B I G U I T Y   P L A Y ,   P 1 8 5 	 1 3 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 6 7 3 - 1 3 5 7 - 5 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 8 9 	 9 4 	 	 	 	 6 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B C K 1 1 	 W O S : 0 0 0 3 1 0 3 6 9 6 0 0 0 3 0 	 	 
 J 	 Z h a n g ,   Y ;   v a n   d e r   S c h a a r ,   M 	 	 	 I E E E 	 Z h a n g ,   Y u ;   v a n   d e r   S c h a a r ,   M i h a e l a 	 	 	 R e p u t a t i o n - b a s e d   I n c e n t i v e   P r o t o c o l s   i n   C r o w d s o u r c i n g   A p p l i c a t i o n s 	 2 0 1 2   P R O C E E D I N G S   I E E E   I N F O C O M 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   I N F O C O M   C o n f e r e n c e 	 M A R   2 5 - 3 0 ,   2 0 1 2 	 O r l a n d o ,   F L 	 I E E E 	 	 	 	 C r o w d s o u r c i n g   w e b s i t e s   ( e . g .   Y a h o o !   A n s w e r s ,   A m a z o n   M e c h a n i c a l   T u r k ,   a n d   e t c . )   e m e r g e d   i n   r e c e n t   y e a r s   t h a t   a l l o w   r e q u e s t e r s   f r o m   a l l   a r o u n d   t h e   w o r l d   t o   p o s t   t a s k s   a n d   s e e k   h e l p   f r o m   a n   e q u a l l y   g l o b a l   p o o l   o f   w o r k e r s .   H o w e v e r ,   i n t r i n s i c   i n c e n t i v e   p r o b l e m s   r e s i d e   i n   c r o w d s o u r c i n g   a p p l i c a t i o n s   a s   w o r k e r s   a n d   r e q u e s t e r   a r e   s e l f i s h   a n d   a i m   t o   s t r a t e g i c a l l y   m a x i m i z e   t h e i r   o w n   b e n e f i t .   I n   t h i s   p a p e r ,   w e   p r o p o s e   t o   p r o v i d e   i n c e n t i v e s   f o r   w o r k e r s   t o   e x e r t   e f f o r t   u s i n g   a   n o v e l   g a m e - t h e o r e t i c   m o d e l   b a s e d   o n   r e p e a t e d   g a m e s .   A s   t h e r e   i s   a l w a y s   a   g a p   i n   t h e   s o c i a l   w e l f a r e   b e t w e e n   t h e   n o n - c o o p e r a t i v e   e q u i l i b r i a   e m e r g i n g   w h e n   w o r k e r s   p u r s u e   t h e i r   s e l f - i n t e r e s t s   a n d   t h e   d e s i r a b l e   P a r e t o   e f f i c i e n t   o u t c o m e ,   w e   p r o p o s e   a   n o v e l   c l a s s   o f   i n c e n t i v e   p r o t o c o l s   b a s e d   o n   s o c i a l   n o r m s   w h i c h   i n t e g r a t e s   r e p u t a t i o n   m e c h a n i s m s   i n t o   t h e   e x i s t i n g   p r i c i n g   s c h e m e s   c u r r e n t l y   i m p l e m e n t e d   o n   c r o w d s o u r c i n g   w e b s i t e s ,   i n   o r d e r   t o   i m p r o v e   t h e   p e r f o r m a n c e   o f   t h e   n o n c o o p e r a t i v e   e q u i l i b r i a   e m e r g i n g   i n   s u c h   a p p l i c a t i o n s .   W e   f i r s t   f o r m u l a t e   t h e   e x c h a n g e s   o n   a   c r o w d s o u r c i n g   w e b s i t e   a s   a   t w o - s i d e d   m a r k e t   w h e r e   r e q u e s t e r s   a n d   w o r k e r s   a r e   m a t c h e d   a n d   p l a y   g i f t - g i v i n g   g a m e s   r e p e a t e d l y .   S u b s e q u e n t l y ,   w e   s t u d y   t h e   p r o t o c o l   d e s i g n e r ' s   p r o b l e m   o f   f i n d i n g   a n   o p t i m a l   a n d   s u s t a i n a b l e   ( e q u i l i b r i u m )   p r o t o c o l   w h i c h   a c h i e v e s   t h e   h i g h e s t   s o c i a l   w e l f a r e   f o r   t h a t   w e b s i t e .   W e   p r o v e   t h a t   t h e   p r o p o s e d   i n c e n t i v e s   p r o t o c o l   c a n   m a k e   t h e   w e b s i t e   o p e r a t e   c l o s e   t o   P a r e t o   e f f i c i e n c y .   M o r e o v e r ,   w e   a l s o   e x a m i n e   a n   a l t e r n a t i v e   s c e n a r i o ,   w h e r e   t h e   p r o t o c o l   d e s i g n e r   a i m s   a t   m a x i m i z i n g   t h e   r e v e n u e   o f   t h e   w e b s i t e   a n d   e v a l u a t e   t h e   p e r f o r m a n c e   o f   t h e   o p t i m a l   p r o t o c o l . 	 [ Z h a n g ,   Y u ;   v a n   d e r   S c h a a r ,   M i h a e l a ]   U n i v   C a l i f   L o s   A n g e l e s ,   D e p t   E l e c t   E n g n ,   L o s   A n g e l e s ,   C A   9 0 0 9 5   U S A 	 Z h a n g ,   Y   ( r e p r i n t   a u t h o r ) ,   U n i v   C a l i f   L o s   A n g e l e s ,   D e p t   E l e c t   E n g n ,   L o s   A n g e l e s ,   C A   9 0 0 9 5   U S A . 	 y u z h a n g @ u c l a . e d u ;   m i h a e l a @ e e . u c l a . e d u 	 	 	 	 	 A a s m a n   J . ,   2 0 0 9 ,   I N T   C   C O M P   S C I   E N G ,   V 4 ,   P 5 4 6 ;   A d a m i c   L . ,   2 0 0 8 ,   P   1 7   I N T   C   W O R L D   W I D ;   C h e n   Y ,   2 0 1 0 ,   J   P U B L I C   E C O N   T H E O R Y ,   V 1 2 ,   P 6 4 1 ;   D i p a l a n t i n o   D . ,   2 0 1 0 ,   P   1 0   A C M   C   E L   C O M M ;   F e l d m a n   M . ,   2 0 0 4 ,   W O R K S H   P R A C T   T H E O R   I ;   G u o   S . ,   2 0 0 9 ,   M O B I C O M ;   H o r t o n   J J ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 4 8 4 ,   P 5 1 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 7 5 7 2 - 5 _ 4 5 ;   H o w e   J . ,   2 0 0 9 ,   C R O W D S O U R C I N G   W H Y   P O ;   J a i n   S . ,   2 0 1 0 ,   P   1 0   A C M   C   E L   C O M M ;   J o h n s o n   P ,   2 0 0 1 ,   J   E C O N   T H E O R Y ,   V 1 0 0 ,   P 1 ,   D O I   1 0 . 1 0 0 6 / j e t h . 2 0 0 1 . 2 8 2 3 ;   K A N D O R I   M ,   1 9 9 2 ,   R E V   E C O N   S T U D ,   V 5 9 ,   P 6 3 ,   D O I   1 0 . 2 3 0 7 / 2 2 9 7 9 2 5 ;   K i t t u r   A . ,   2 0 0 8 ,   P   2 6   A N N   S I G C H I   C   H U ;   M a s o n   W . ,   2 0 0 9 ,   A C M   S I G K D D   E X P L O R A T I ,   V 1 1 ;   S i n g e r   Y . ,   P R I C I N G   T A S K S   O N L I N E ;   Y a n g   J . ,   2 0 0 8 ,   P   8   A C M   E L   C O M M ;   Z h a n g   Y . ,   2 0 1 1 ,   I N C E N T I V E   D E S I G N   R E V ;   Z h a n g   Y . ,   2 0 1 1 ,   P   2   I N T   I C S T   C   G A M   T 	 1 7 	 4 	 4 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 6 7 3 - 0 7 7 5 - 8 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 2 1 4 0 	 2 1 4 8 	 	 	 	 9 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 B B Z 8 8 	 W O S : 0 0 0 3 0 9 2 7 9 5 0 2 0 2 4 	 	 
 J 	 C o n n o r s ,   J P ;   L e i ,   S F ;   K e l l y ,   M 	 	 	 	 C o n n o r s ,   J o h n   P a t r i c k ;   L e i ,   S h u f e i ;   K e l l y ,   M a g g i 	 	 	 C i t i z e n   S c i e n c e   i n   t h e   A g e   o f   N e o g e o g r a p h y :   U t i l i z i n g   V o l u n t e e r e d   G e o g r a p h i c   I n f o r m a t i o n   f o r   E n v i r o n m e n t a l   M o n i t o r i n g 	 A N N A L S   O F   T H E   A S S O C I A T I O N   O F   A M E R I C A N   G E O G R A P H E R S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c i t i z e n   s c i e n c e ;   o p e n   s o u r c e ;   p a r t i c i p a t o r y   G I S ;   s u d d e n   o a k   d e a t h ;   v o l u n t e e r e d   g e o g r a p h i c   i n f o r m a t i o n ;   W e b   G I S 	 O P E N   S O U R C E   S O F T W A R E ;   S U D D E N   O A K   D E A T H ;   P U B L I C - P A R T I C I P A T I O N ;   D E C I S I O N - S U P P O R T ;   A D A P T I V E   M A N A G E M E N T ;   D I G I T A L   D I V I D E ;   U N I T E D - S T A T E S ;   W E B   2 . 0 ;   G I S ;   C O M M U N I T Y 	 T h e   i n t e r f a c e   b e t w e e n   n e o g e o g r a p h y   a n d   c i t i z e n   s c i e n c e   h a s   g r e a t   p o t e n t i a l   f o r   e n v i r o n m e n t a l   m o n i t o r i n g ,   b u t   t h i s   n e x u s   h a s   b e e n   e x p l o r e d   l e s s   o f t e n   t h a n   e a c h   s u b j e c t   i n d i v i d u a l l y .   I n   t h i s   a r t i c l e   w e   r e v i e w   t h e   e m e r g i n g   r o l e   o f   v o l u n t e e r e d   g e o g r a p h i c   i n f o r m a t i o n   i n   c i t i z e n   s c i e n c e   a n d   p r e s e n t   a   c a s e   s t u d y   o f   a n   i n t e g r a t e d   t o o l   s e t   t h a t   e n g a g e s   m u l t i p l e   t y p e s   o f   u s e r s   ( f r o m   t a r g e t e d   c i t i z e n - b a s e d   o b s e r v a t i o n   n e t w o r k s ,   e x p e r t - d r i v e n   f o c u s e d   m o n i t o r i n g ,   a n d   o p p o r t u n i s t i c   c r o w d s o u r c i n g   e f f o r t s )   i n   m o n i t o r i n g   a   f o r e s t   d i s e a s e   i n   t h e   w e s t e r n   U n i t e d   S t a t e s .   W e   f i r s t   i n t r o d u c e   t h e   o v e r a l l   c h a l l e n g e   o f   d a t a   c o l l e c t i o n   i n   e n v i r o n m e n t a l   m o n i t o r i n g   p r o j e c t s   a n d   t h e n   d i s c u s s   t h e   l i t e r a t u r e   s u r r o u n d i n g   a n   e m e r g e n t   i n t e g r a t i o n   o f   c i t i z e n   s c i e n c e   a n d   v o l u n t e e r e d   g e o g r a p h i c a l   i n f o r m a t i o n .   W e   n e x t   e x p l o r e   h o w   t h e s e   m e t h o d s   c h a r a c t e r i z e   a n d   u n d e r p i n   k n o w l e d g e   d i s c o v e r y   a n d   h o w   m u l t i m o d a l   i n t e r a c t i o n   i s   s u p p o r t e d   s o   t h a t   a   l a r g e   s p e c t r u m   o f   c o n t r i b u t o r s   c a n   b e   i n c l u d e d .   T h e s e   c o n c e p t s   a r e   s u m m a r i z e d   i n   a   c o n c e p t u a l   m o d e l   t h a t   a r t i c u l a t e s   t h e   i m p o r t a n t   g r a d i e n t s   o f   W e b - b a s e d   e n v i r o n m e n t a l   m o n i t o r i n g :   t h e   u s e r s ,   t h e   i n t e r a c t i o n   b e t w e e n   u s e r s   a n d   d a t a ,   a n d   t h e   t y p e s   o f   i n f o r m a t i o n   g e n e r a t e d .   U s i n g   t h i s   m o d e l ,   w e   c r i t i c a l l y   e x a m i n e   O a k M a p p e r . o r g ,   a   W e b   s i t e   c r e a t e d   b y   t h e   a u t h o r s   t o   c o l l e c t   a n d   d i s t r i b u t e   s p a t i a l   i n f o r m a t i o n   r e l a t e d   t o   t h e   s p r e a d   o f   a   f o r e s t   d i s e a s e ,   a n d   d i s c u s s   m a n y   o f   t h e   c o r e   i s s u e s   a n d   n e w   c h a l l e n g e s   p r e s e n t e d   b y   t h e   i n t e r s e c t i o n   o f   c i t i z e n   s c i e n c e   a n d   v o l u n t e e r e d   g e o g r a p h i c   i n f o r m a t i o n   i n   t h e   c o n t e x t   o f   e n v i r o n m e n t a l   m o n i t o r i n g .   W e   a r g u e   t h a t   e n v i r o n m e n t a l   m o n i t o r i n g   c a n   b e n e f i t   f r o m   t h i s   s y n e r g y :   T h e   i n c r e a s e d   e m p h a s i s   o n   a   d i v e r s i t y   o f   p a r t i c i p a n t s   i n   k n o w l e d g e   p r o d u c t i o n   m i g h t   h e l p   t o   r e d u c e   t h e   g a p s   t h a t   h a v e   i n   t h e   p a s t   d i v i d e d   t h e   p u b l i c ,   r e s e a r c h e r s ,   a n d   p o l i c y m a k e r s   i n   s u c h   e f f o r t s . 	 [ C o n n o r s ,   J o h n   P a t r i c k ]   A r i z o n a   S t a t e   U n i v ,   S c h   G e o g   S c i   &   U r b a n   P l a n n i n g ,   T e m p e ,   A Z   8 5 2 8 7   U S A ;   [ L e i ,   S h u f e i ;   K e l l y ,   M a g g i ]   U n i v   C a l i f   B e r k e l e y ,   D e p t   E n v i r o n m   S c i   P o l i c y   &   M a n a g e m e n t ,   B e r k e l e y ,   C A   9 4 7 2 0   U S A 	 C o n n o r s ,   J P   ( r e p r i n t   a u t h o r ) ,   A r i z o n a   S t a t e   U n i v ,   S c h   G e o g   S c i   &   U r b a n   P l a n n i n g ,   T e m p e ,   A Z   8 5 2 8 7   U S A . 	 j p c o n n 0 1 @ a s u . e d u ;   s h u f e i l e i @ g m a i l . c o m ;   m a g g i @ b e r k e l e y . e d u 	 	 	 	 	 A a n e n s e n   D M ,   2 0 0 9 ,   P L O S   O N E ,   V 4 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 0 6 9 6 8 ;   A n d e r s o n   D P ,   2 0 0 2 ,   C O M M U N   A C M ,   V 4 5 ,   P 5 6 ,   D O I   1 0 . 1 1 4 5 / 5 8 1 5 7 1 . 5 8 1 5 7 3 ;   A n d e r s o n   G . ,   2 0 0 3 ,   T   G I S ,   V 7 ,   P 4 4 7 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 9 6 7 1 . 0 0 1 5 8 ;   A n t o n i o u   V . ,   2 0 1 0 ,   G E O M A T I C A ,   V 6 4 ,   P 9 9 ;   B a   S L ,   2 0 0 1 ,   D E C I S   S U P P O R T   S Y S T ,   V 3 1 ,   P 3 2 3 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 7 - 9 2 3 6 ( 0 0 ) 0 0 1 4 4 - 5 ;   B a i l e y   C ,   2 0 0 6 ,   H E A L T H   P L A C E ,   V 1 2 ,   P 1 5 7 ,   D O I   1 0 . 1 0 1 6 / j . h e a l t h p l a c e . 2 0 0 4 . 1 1 . 0 0 4 ;   B a l r a m   S ,   2 0 0 9 ,   J   E N V I R O N   M A N A G E ,   V 9 0 ,   P 1 9 6 3 ,   D O I   1 0 . 1 0 1 6 / j . j e n v m a n . 2 0 0 8 . 0 7 . 0 1 4 ;   B a n   N .   C . ,   2 0 0 8 ,   C O N S E R V   B I O L ,   V 2 3 ,   P 8 9 9 ;   B e r k e s   F ,   2 0 0 9 ,   J   E N V I R O N   M A N A G E ,   V 9 0 ,   P 1 6 9 2 ,   D O I   1 0 . 1 0 1 6 / j . j e n v m a n . 2 0 0 8 . 1 2 . 0 0 1 ;   B u d h a t h o k i   N . ,   2 0 0 8 ,   G E O J O U R N A L ,   V 7 2 ,   P 1 4 9 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 8 - 9 1 8 9 - X ;   B u d h a t h o k i   N . ,   2 0 1 0 ,   G E O M A T I C A ,   V 6 4 ,   P 1 1 ;   B u t c h e r   G . ,   1 9 9 0 ,   A U D U B O N   C H R I S T M A S   B I ;   C h a k r a b o r t y   J ,   2 0 0 5 ,   P R O F   G E O G R ,   V 5 7 ,   P 3 9 5 ,   D O I   1 0 . 1 1 1 1 / j . 0 0 3 3 - 0 1 2 4 . 2 0 0 5 . 0 0 4 8 6 . x ;   C h e w   C ,   2 0 1 0 ,   P L O S   O N E ,   V 5 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 1 4 1 1 8 ;   C o l e m a n   D .   J . ,   2 0 0 9 ,   I N T   J   S P A T I A L   D A T A   I ,   V 4 ,   P 3 3 2 ;   C o l e m a n   D .   J . ,   2 0 1 0 ,   G E O M A T I C A ,   V 6 4 ,   P 2 0 9 ;   C o m s c o r e ,   2 0 1 0 ,   J U L   2 0 1 0   U S   M O B   S U B S ;   C o o k   S ,   2 0 0 8 ,   H A R V A R D   B U S   R E V ,   V 8 6 ,   P 6 0 ;   C o o p e r   C B ,   2 0 0 7 ,   E C O L   S O C ,   V 1 2 ;   C o u v e t   D ,   2 0 0 8 ,   I N T E R D I S C I P L   S C I   R E V ,   V 3 3 ,   P 9 5 ,   D O I   1 0 . 1 1 7 9 / 0 3 0 8 0 1 8 0 8 X 2 6 0 0 3 1 ;   C r a n d a l l   D . ,   2 0 0 9 ,   P   1 8   I N T   C   W O R L D   W I D ,   P 7 6 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 5 2 6 7 0 9 . 1 5 2 6 8 1 2 ;   C r u t c h e r   M ,   2 0 0 9 ,   G E O F O R U M ,   V 4 0 ,   P 5 2 3 ,   D O I   1 0 . 1 0 1 6 / j . g e o f o r u m . 2 0 0 9 . 0 1 . 0 0 3 ;   C u m m i n g s   J N ,   2 0 0 5 ,   S O C   S T U D   S C I ,   V 3 5 ,   P 7 0 3 ,   D O I   1 0 . 1 1 7 7 / 0 3 0 6 1 2 7 0 5 0 5 5 3 5 ;   C u r r y   M .   R . ,   1 9 9 8 ,   D I G I T A L   P L A C E S   L I V I N ;   D a n i e l s e n   F ,   2 0 0 5 ,   B I O D I V E R S   C O N S E R V ,   V 1 4 ,   P 2 6 3 3 ,   D O I   1 0 . 1 0 0 7 / s 1 0 5 3 1 - 0 0 5 - 8 3 9 2 - z ;   D e l a n e y   D G ,   2 0 0 8 ,   B I O L   I N V A S I O N S ,   V 1 0 ,   P 1 1 7 ,   D O I   1 0 . 1 0 0 7 / s 1 0 5 3 0 - 0 0 7 - 9 1 1 4 - 0 ;   D r a g i c e v i c   S ,   2 0 0 6 ,   C O L L A B O R A T I V E   G E O G R A P H I C   I N F O R M A T I O N   S Y S T E M S ,   P 3 4 1 ;   D r i e d g e r   S M ,   2 0 0 7 ,   I N T   J   H E A L T H   G E O G R ,   V 6 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 6 - 0 7 2 X - 6 - 5 3 ;   D u n n   C E ,   2 0 0 7 ,   P R O G   H U M   G E O G ,   V 3 1 ,   P 6 1 6 ,   D O I   1 0 . 1 1 7 7 / 0 3 0 9 1 3 2 5 0 7 0 8 1 4 9 3 ;   D u n n   C E ,   2 0 0 7 ,   H E A L T H   P L A C E ,   V 1 3 ,   P 6 7 7 ,   D O I   1 0 . 1 0 1 6 / j . h e a l t h p l a c e . 2 0 0 6 . 1 0 . 0 0 3 ;   D y k e s   J . ,   2 0 0 8 ,   P   G I S   R E S   U K   M A N C H   U ,   P 2 5 6 ;   E l w o o d   S ,   2 0 1 0 ,   P R O G   H U M   G E O G ,   V 3 4 ,   P 3 4 9 ,   D O I   1 0 . 1 1 7 7 / 0 3 0 9 1 3 2 5 0 9 3 4 0 7 1 1 ;   E l w o o d   S . ,   2 0 0 7 ,   I N T   J   G E O G R   I N F   S Y S T ,   V 2 2 ,   P 7 1 ;   E l w o o d   S ,   2 0 0 6 ,   P R O F   G E O G R ,   V 5 8 ,   P 1 9 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 2 7 2 . 2 0 0 6 . 0 0 5 2 6 . x ;   E S R I ,   2 0 0 8 ,   A R C G I S   9   3 ;   E v a n s   K ,   2 0 0 6 ,   G U I D E   P A R T I C I P A T O R Y ;   F e r n a n d e z - G i m e n e z   M E ,   2 0 0 8 ,   E C O L   S O C ,   V 1 3 ;   F l a n a g i n   A . ,   2 0 0 8 ,   G E O J O U R N A L ,   V 7 2 ,   P 1 3 7 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 8 - 9 1 8 8 - Y ;   F r i e d l a n d   G e r a l d ,   2 0 1 1 ,   I n t e r n a t i o n a l   J o u r n a l   o f   S e m a n t i c   C o m p u t i n g ,   V 5 ,   D O I   1 0 . 1 1 4 2 / S 1 7 9 3 3 5 1 X 1 1 0 0 1 1 7 1 ;   G h a e m i   P ,   2 0 0 9 ,   C O M P U T   E N V I R O N   U R B A N ,   V 3 3 ,   P 4 8 2 ,   D O I   1 0 . 1 0 1 6 / j . c o m p e n v u r b s y s . 2 0 0 9 . 0 5 . 0 0 2 ;   G i r r e s   J F ,   2 0 1 0 ,   T   G I S ,   V 1 4 ,   P 4 3 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 6 7 1 . 2 0 1 0 . 0 1 2 0 3 . x ;   G o o d c h i l d   M . ,   2 0 0 8 ,   G E O J O U R N A L ,   V 7 2 ,   P 2 3 9 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 8 - 9 1 9 0 - 4 ;   G o o d c h i l d   M .   F . ,   1 9 9 7 ,   C o m p u t e r s ,   E n v i r o n m e n t   a n d   U r b a n   S y s t e m s ,   V 2 1 ,   D O I   1 0 . 1 0 1 6 / S 0 1 9 8 - 9 7 1 5 ( 9 8 ) 0 0 0 0 9 - X ;   G o o d c h i l d   M .   F . ,   2 0 0 9 ,   A S S E R T I O N   A U T H O R I T Y ;   G o o d c h i l d   M F ,   2 0 0 7 ,   A N N   A S S O C   A M   G E O G R ,   V 9 7 ,   P 2 5 0 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 3 0 6 . 2 0 0 7 . 0 0 5 3 4 . x ;   G o o d c h i l d   M . F . ,   2 0 0 7 ,   G E O J O U R N A L ,   V 6 9 ,   P 2 1 1 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 7 - 9 1 1 1 - Y ;   G o u v e i a   C . ,   2 0 0 8 ,   G e o J o u r n a l ,   V 7 2 ,   P 1 8 5 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 0 8 - 0 0 8 - 9 1 8 3 - 3 ;   G r e e n e   S L ,   2 0 0 7 ,   B I O D I V E R S   C O N S E R V ,   V 1 6 ,   P 2 6 1 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 5 3 1 - 0 0 6 - 9 0 6 7 - 0 ;   G u o   Q H ,   2 0 0 5 ,   E C O L   M O D E L ,   V 1 8 2 ,   P 7 5 ,   D O I   1 0 . 1 0 1 6 / j . e c o l m o d e l . 2 0 0 4 . 0 7 . 0 1 2 ;   H a k l a y   M . ,   2 0 0 8 ,   G E O G R A P H Y   C O M P A S S ,   V 2 2 ,   P 2 0 1 1 ;   H a k l a y   M ,   2 0 1 0 ,   C A R T O G R   J ,   V 4 7 ,   P 3 1 5 ,   D O I   1 0 . 1 1 7 9 / 0 0 0 8 7 0 4 1 0 X 1 2 9 1 1 3 0 4 9 5 8 8 2 7 ;   H a k l a y   M ,   2 0 1 0 ,   E N V I R O N   P L A N N   B ,   V 3 7 ,   P 6 8 2 ,   D O I   1 0 . 1 0 6 8 / b 3 5 0 9 7 ;   H a l l   G B ,   2 0 1 0 ,   I N T   J   G E O G R   I N F   S C I ,   V 2 4 ,   P 7 6 1 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 5 8 8 1 0 9 0 3 2 1 3 2 8 8 ;   H a r r i s   T ,   1 9 9 8 ,   C A R T O G R   G E O G R   I N F   S C ,   V 2 5 ,   P 6 7 ,   D O I   1 0 . 1 5 5 9 / 1 5 2 3 0 4 0 9 8 7 8 2 5 9 4 5 8 0 ;   H e e r   J ,   2 0 0 8 ,   I N F O R M   V I S U A L ,   V 7 ,   P 4 9 ,   D O I   1 0 . 1 0 5 7 / p a l g r a v e . i v s . 9 5 0 0 1 6 7 ;   H o l l a n d   M M ,   1 9 9 6 ,   C A N   J   F I S H   A Q U A T   S C I ,   V 5 3 ,   P 4 3 2 ,   D O I   1 0 . 1 1 3 9 / c j f a s - 5 3 - S 1 - 4 3 2 ;   H o w e   J . ,   2 0 0 9 ,   C R O W D S O U R C I N G   W H Y   P O ;   I r w i n   A ,   1 9 9 5 ,   C I T I Z E N   S C I   S T U D Y   P E ;   J a c o b s o n   C ,   2 0 0 9 ,   S O C   N A T U R   R E S O U R ,   V 2 2 ,   P 4 8 4 ,   D O I   1 0 . 1 0 8 0 / 0 8 9 4 1 9 2 0 9 0 2 7 6 2 3 2 1 ;   J a n k o w s k i   P ,   2 0 0 1 ,   A N N   A S S O C   A M   G E O G R ,   V 9 1 ,   P 4 8 ,   D O I   1 0 . 1 1 1 1 / 0 0 0 4 - 5 6 0 8 . 0 0 2 3 3 ;   J e n n i n g s   D B ,   2 0 0 4 ,   P H O T O G R A M M   E N G   R E M   S ,   V 7 0 ,   P 1 2 9 5 ;   K e a r n s   F R ,   2 0 0 3 ,   F R O N T   E C O L   E N V I R O N ,   V 1 ,   P 5 4 1 ,   D O I   1 0 . 2 3 0 7 / 3 8 6 8 1 6 5 ;   K e l l y   M ,   2 0 0 4 ,   P H O T O G R A M M   E N G   R E M   S ,   V 7 0 ,   P 1 0 0 1 ;   K e l l y   M ,   2 0 0 7 ,   C O M P U T   E N V I R O N   U R B A N ,   V 3 1 ,   P 6 8 9 ,   D O I   1 0 . 1 0 1 6 / j . c o m p e n v u r b s y s . 2 0 0 6 . 1 0 . 0 0 2 ;   K e l l y   M . ,   2 0 0 3 ,   C O M P U T E R S   E N V   U R B A N ,   V 2 7 ,   P 5 2 7 ;   K l u z a   D A ,   2 0 0 7 ,   P L A N T   P A T H O L ,   V 5 6 ,   P 5 8 0 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 3 0 5 9 . 2 0 0 7 . 0 1 6 0 2 . x ;   K o u z e s   R T ,   1 9 9 6 ,   C O M P U T E R ,   V 2 9 ,   P 4 0 ,   D O I   1 0 . 1 1 0 9 / 2 . 5 3 2 0 4 4 ;   K u s e l   J . ,   1 9 9 6 ,   S I E R R A   N E V A D A   E C O S Y S ,   V I I ,   P 6 1 1 ;   L a k h a n i   K .   R . ,   2 0 0 5 ,   P E R S P E C T I V E S   F R E E   O P ,   P 3 ;   L a w r e n c e   A . ,   2 0 0 6 ,   E T H I C S   P L A C E   E N V ,   V 9 ,   P 2 7 9 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 6 8 7 9 0 6 0 0 8 9 3 3 1 9 ;   L e p c z y k   C A ,   2 0 0 5 ,   J   A P P L   E C O L ,   V 4 2 ,   P 6 7 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 6 6 4 . 2 0 0 5 . 0 1 0 5 9 . x ;   L o n g u e v i l l e   B .   D . ,   2 0 1 0 ,   G E O M A T I C A ,   V 6 4 ,   P 4 1 ;   L y n a m   T ,   2 0 0 7 ,   E C O L   S O C ,   V 1 2 ;   M a c E a c h r e n   A M ,   2 0 0 4 ,   I E E E   C O M P U T   G R A P H ,   V 2 4 ,   P 1 3 ,   D O I   1 0 . 1 1 0 9 / M C G . 2 0 0 4 . 1 2 5 5 8 0 1 ;   M a g a r e y   R . D . ,   2 0 0 8 ,   P   S U D D   O A K   D E A T H   3   S ,   P 2 6 9 ;   M a r s h   S ,   2 0 0 3 ,   A N N U   R E V   I N F O R M   S C I ,   V 3 7 ,   P 4 6 5 ,   D O I   1 0 . 1 0 0 2 / a r i s . 1 4 4 0 3 7 0 1 1 1 ;   M a s o n   B C ,   2 0 0 6 ,   C O L L A B O R A T I V E   G E O G R A P H I C   I N F O R M A T I O N   S Y S T E M S ,   P 2 6 3 ;   M c C a f f r e y   R a c h e l   E . ,   2 0 0 5 ,   U r b a n   H a b i t a t s ,   V 3 ,   P 7 0 ;   M c P h e r s o n   B A ,   2 0 0 5 ,   F O R E S T   E C O L   M A N A G ,   V 2 1 3 ,   P 7 1 ,   D O I   1 0 . 1 0 1 6 / j . f o r e c o . 2 0 0 5 . 0 3 . 0 4 8 ;   M i l l e r   C .   C . ,   2 0 0 6 ,   C A R T O G R A P H I C A ,   V 4 1 ,   P 1 8 7 ,   D O I   1 0 . 3 1 3 8 / J 0 L 0 - 5 3 0 1 - 2 2 6 2 - N 7 7 9 ;   M i l l e r   H J ,   2 0 1 0 ,   J   R E G I O N A L   S C I ,   V 5 0 ,   P 1 8 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 7 8 7 . 2 0 0 9 . 0 0 6 4 1 . x ;   M o r e h o u s e   B J ,   2 0 0 8 ,   P R O F   G E O G R ,   V 6 0 ,   P 4 9 5 ,   D O I   1 0 . 1 0 8 0 / 0 0 3 3 0 1 2 0 8 0 2 2 1 1 8 3 6 ;   M o r e n o - S a n c h e z   R ,   2 0 0 7 ,   I N T   J   G E O G R   I N F   S C I ,   V 2 1 ,   P 1 1 3 5 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 5 8 8 1 0 7 0 1 3 0 0 1 1 3 ;   N e w m a n   G ,   2 0 1 0 ,   I N T   J   G E O G R   I N F   S C I ,   V 2 4 ,   P 1 8 5 1 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 5 8 8 1 6 . 2 0 1 0 . 4 9 0 5 3 2 ;   N y e r g e s   T ,   2 0 0 6 ,   A N N   A S S O C   A M   G E O G R ,   V 9 6 ,   P 6 9 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 3 0 6 . 2 0 0 6 . 0 0 5 1 2 . x ;   O ' R e i l l y   T . ,   2 0 0 7 ,   C O M M U N I C A T I O N S   S T R A T ,   V 6 5 ,   P 1 7 ;   O b e r m e y e r   N .   J . ,   1 9 9 8 ,   C A R T O G R   G E O G R   I N F   S C ,   V 2 5 ,   P 6 5 ,   D O I   1 0 . 1 5 5 9 / 1 5 2 3 0 4 0 9 8 7 8 2 5 9 4 5 9 9 ;   P a r k e r   B ,   2 0 0 6 ,   P R O F   G E O G R ,   V 5 8 ,   P 4 7 0 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 2 7 2 . 2 0 0 6 . 0 0 5 8 3 . x ;   P a t t e n g i l l - S e m m e n s   C V ,   2 0 0 3 ,   E N V I R O N   M O N I T   A S S E S S ,   V 8 1 ,   P 4 3 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 2 1 3 0 0 3 0 2 2 0 8 ;   P a y n e   C ,   2 0 0 2 ,   I N F O R M   S Y S T   J ,   V 1 2 ,   P 6 1 ,   D O I   1 0 . 1 0 4 6 / j . 1 3 6 5 - 2 5 7 5 . 2 0 0 2 . 0 0 1 1 8 . x ;   P e d e r s e n   B ,   2 0 0 7 ,   E C O L   I N F O R M ,   V 2 ,   P 3 3 ,   D O I   1 0 . 1 0 1 6 / j . e c o i n f . 2 0 0 7 . 0 2 . 0 0 3 ;   P E L U S O   N L ,   1 9 9 5 ,   A N T I P O D E ,   V 2 7 ,   P 3 8 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 3 3 0 . 1 9 9 5 . t b 0 0 2 8 6 . x ;   P e n g   Z R ,   2 0 0 1 ,   E N V I R O N   P L A N N   B ,   V 2 8 ,   P 8 8 9 ,   D O I   1 0 . 1 0 6 8 / b 2 7 5 0 t ;   P i c k l e s   J . ,   1 9 9 5 ,   G R O U N D   T R U T H   S O C I A L ;   P o s e r   K . ,   2 0 1 0 ,   G E O M A T I C A ,   V 6 4 ,   P 1 8 9 ;   R a t t e n b u r y   T . ,   2 0 0 7 ,   P   3 0   A N N   I N T   A C M   S I G ,   P 1 0 3 ,   D O I   1 0 . 1 1 4 5 / 1 2 7 7 7 4 1 . 1 2 7 7 7 6 2 ;   R a t t i   C ,   2 0 0 6 ,   E N V I R O N   P L A N N   B ,   V 3 3 ,   P 7 2 7 ,   D O I   1 0 . 1 0 6 8 / b 3 2 0 4 7 ;   R i n n e r   C ,   2 0 0 8 ,   C O M P U T   E N V I R O N   U R B A N ,   V 3 2 ,   P 3 8 6 ,   D O I   1 0 . 1 0 1 6 / j . c o m p e n v u r b s y s . 2 0 0 8 . 0 8 . 0 0 4 ;   R i z z o   D M ,   2 0 0 3 ,   F R O N T   E C O L   E N V I R O N ,   V 1 ,   P 1 9 7 ,   D O I   1 0 . 1 8 9 0 / 1 5 4 0 - 9 2 9 5 ( 2 0 0 3 ) 0 0 1 [ 0 1 9 7 : S O D E C A ] 2 . 0 . C O ; 2 ;   S c h r o e r   J ,   2 0 0 9 ,   M E D I A   P S Y C H O L ,   V 1 2 ,   P 9 6 ,   D O I   1 0 . 1 0 8 0 / 1 5 2 1 3 2 6 0 8 0 2 6 6 9 4 6 6 ;   S e e g e r   C .   J . ,   2 0 0 8 ,   G e o J o u r n a l ,   V 7 2 ,   P 1 9 9 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 0 8 - 0 0 8 - 9 1 8 4 - 2 ;   S h n e i d e r m a n   B ,   2 0 0 0 ,   C O M M U N   A C M ,   V 4 3 ,   P 5 7 ,   D O I   1 0 . 1 1 4 5 / 3 5 5 1 1 2 . 3 5 5 1 2 4 ;   S i e b e r   R ,   2 0 0 6 ,   A N N   A S S O C   A M   G E O G R ,   V 9 6 ,   P 4 9 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 3 0 6 . 2 0 0 6 . 0 0 7 0 2 . x ;   S i e b e r   R E ,   2 0 0 3 ,   C A N   G E O G R - G E O G R   C A N ,   V 4 7 ,   P 5 0 ,   D O I   1 0 . 1 1 1 1 / 1 5 4 1 - 0 0 6 4 . 0 2 e 1 2 ;   S i m a o   A ,   2 0 0 9 ,   J   E N V I R O N   M A N A G E ,   V 9 0 ,   P 2 0 2 7 ,   D O I   1 0 . 1 0 1 6 / j . j e n v m a n . 2 0 0 7 . 0 8 . 0 3 2 ;   S i s k   T D ,   2 0 0 6 ,   L A N D S C A P E   U R B A N   P L A N ,   V 7 8 ,   P 3 0 0 ,   D O I   1 0 . 1 0 1 6 / j . l a n d u r b p l a n . 2 0 0 5 . 1 0 . 0 0 3 ;   S k u p i n   A . ,   2 0 0 3 ,   C A R T O G R   G E O G R   I N F   S C ,   V 3 0 ,   P 9 9 ,   D O I   1 0 . 1 5 5 9 / 1 5 2 3 0 4 0 0 3 1 0 0 0 1 1 0 8 1 ;   S t e i n i g e r   S ,   2 0 0 9 ,   I N T   J   G E O G R   I N F   S C I ,   V 2 3 ,   P 1 3 4 5 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 5 8 8 1 0 8 0 2 6 3 4 9 5 6 ;   S u l l i v a n   B L ,   2 0 0 9 ,   B I O L   C O N S E R V ,   V 1 4 2 ,   P 2 2 8 2 ,   D O I   1 0 . 1 0 1 6 / j . b i o c o n . 2 0 0 9 . 0 5 . 0 0 6 ;   T r a c y   L e e ,   2 0 0 6 ,   E C O L O G Y   S O C ,   V 1 1 ,   P 1 1 ;   T u f t e   E d w a r d   R . ,   2 0 0 1 ,   V I S U A L   D I S P L A Y   Q U A N T ;   T u l l o c h   D L ,   2 0 0 8 ,   G E O J O U R N A L ,   V 7 2 ,   P 1 6 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 0 8 - 0 0 8 - 9 1 8 5 - 1 ;   T u r n e r   A . ,   2 0 0 6 ,   I N T R O   N E O G E O G R A P H Y ;   v o n   K r o g h   G ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 2 1 7 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 5 0 - 7 ;   W a l k e r   D ,   2 0 0 7 ,   A N N   A S S O C   A M   G E O G R ,   V 9 7 ,   P 4 2 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 3 0 6 . 2 0 0 7 . 0 0 5 4 6 . x ;   W a r d   K a t h l e e n   T . ,   2 0 0 7 ,   U r b a n   F o r e s t r y   &   U r b a n   G r e e n i n g ,   V 6 ,   P 1 5 ,   D O I   1 0 . 1 0 1 6 / j . u f u g . 2 0 0 6 . 1 1 . 0 0 2 ;   W a r f   B . ,   2 0 1 0 ,   A N N   G I S ,   V 1 6 ,   P 1 9 7 ,   D O I   1 0 . 1 0 8 0 / 1 9 4 7 5 6 8 3 . 2 0 1 0 . 5 3 9 9 8 5 ;   W a t s o n   A J ,   2 0 0 8 ,   D I A B E T E S   C A R E ,   V 3 1 ,   P 4 3 3 ,   D O I   1 0 . 2 3 3 7 / d c 0 7 - 1 6 6 7 ;   W e i n e r   D ,   2 0 0 3 ,   J   U R B A N   R E G I O N A L   I N F ,   V 1 5 ,   P 6 1 ;   W U L F   W A ,   1 9 9 3 ,   S C I E N C E ,   V 2 6 1 ,   P 8 5 4 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 8 3 4 6 4 3 8 ;   Z o o k   M . ,   2 0 1 0 ,   W o r l d   M e d i c a l   a n d   H e a l t h   P o l i c y ,   V 2 ,   P 7 ,   D O I   1 0 . 2 2 0 2 / 1 9 4 8 - 4 6 8 2 . 1 0 6 9 	 1 2 1 	 3 	 3 	 R O U T L E D G E   J O U R N A L S ,   T A Y L O R   &   F R A N C I S   L T D 	 A B I N G D O N 	 4   P A R K   S Q U A R E ,   M I L T O N   P A R K ,   A B I N G D O N   O X 1 4   4 R N ,   O X F O R D S H I R E ,   E N G L A N D 	 0 0 0 4 - 5 6 0 8 	 	 	 A N N   A S S O C   A M   G E O G R 	 A n n .   A s s o c .   A m .   G e o g r . 	 	 2 0 1 2 	 1 0 2 	 6 	 	 	 	 	 1 2 6 7 	 1 2 8 9 	 	 1 0 . 1 0 8 0 / 0 0 0 4 5 6 0 8 . 2 0 1 1 . 6 2 7 0 5 8 	 	 2 3 	 G e o g r a p h y 	 G e o g r a p h y 	 0 1 7 P O 	 W O S : 0 0 0 3 0 9 6 0 2 9 0 0 0 0 3 	 	 
 J 	 K o r p e l a ,   E J 	 	 J e a n l o z ,   R 	 	 K o r p e l a ,   E r i c   J . 	 	 	 S E T I @ h o m e ,   B O I N C ,   a n d   V o l u n t e e r   D i s t r i b u t e d   C o m p u t i n g 	 A N N U A L   R E V I E W   O F   E A R T H   A N D   P L A N E T A R Y   S C I E N C E S ,   V O L   4 0 	 A n n u a l   R e v i e w   o f   E a r t h   a n d   P l a n e t a r y   S c i e n c e s 	 	 E n g l i s h 	 R e v i e w ;   B o o k   C h a p t e r 	 	 	 	 	 	 h i g h - p e r f o r m a n c e   c o m p u t i n g ;   p u b l i c   p a r t i c i p a t i o n   i n   s c i e n c e ;   c i t i z e n   s c i e n c e ;   g r i d   c o m p u t i n g ;   c r o w d s o u r c i n g 	 S Y S T E M S 	 V o l u n t e e r   c o m p u t i n g ,   a l s o   k n o w n   a s   p u b l i c - r e s o u r c e   c o m p u t i n g ,   i s   a   f o r m   o f   d i s t r i b u t e d   c o m p u t i n g   t h a t   r e l i e s   o n   m e m b e r s   o f   t h e   p u b l i c   d o n a t i n g   t h e   p r o c e s s i n g   p o w e r ,   I n t e r n e t   c o n n e c t i o n ,   a n d   s t o r a g e   c a p a b i l i t i e s   o f   t h e i r   h o m e   c o m p u t e r s .   P r o j e c t s   t h a t   u t i l i z e   t h i s   m o d e   o f   d i s t r i b u t e d   c o m p u t a t i o n   c a n   p o t e n t i a l l y   a c c e s s   m i l l i o n s   o f   I n t e r n e t - a t t a c h e d   c e n t r a l   p r o c e s s i n g   u n i t s   ( C P U s )   t h a t   p r o v i d e   P F L O P S   ( t h o u s a n d s   o f   t r i l l i o n s   o f   f l o a t i n g - p o i n t   o p e r a t i o n s   p e r   s e c o n d )   o f   p r o c e s s i n g   p o w e r .   I n   a d d i t i o n ,   t h e s e   p r o j e c t s   c a n   a c c e s s   t h e   t a l e n t s   o f   t h e   v o l u n t e e r s   t h e m s e l v e s .   P r o j e c t s   s p a n   a   w i d e   v a r i e t y   o f   d o m a i n s   i n c l u d i n g   a s t r o n o m y ,   b i o c h e m i s t r y ,   c l i m a t o l o g y ,   p h y s i c s ,   a n d   m a t h e m a t i c s .   T h i s   r e v i e w   p r o v i d e s   a n   i n t r o d u c t i o n   t o   v o l u n t e e r   c o m p u t i n g   a n d   s o m e   o f   t h e   d i f f i c u l t i e s   i n v o l v e d   i n   i t s   i m p l e m e n t a t i o n .   I   d e s c r i b e   t h e   d o m i n a n t   i n f r a s t r u c t u r e   f o r   v o l u n t e e r   c o m p u t i n g   i n   s o m e   d e p t h   a n d   p r o v i d e   d e s c r i p t i o n s   o f   a   s m a l l   n u m b e r   o f   p r o j e c t s   a s   a n   i l l u s t r a t i o n   o f   t h e   v a r i e t y   o f   p r o j e c t s   t h a t   c a n   b e   u n d e r t a k e n . 	 U n i v   C a l i f   B e r k e l e y ,   S p a c e   S c i   L a b ,   B e r k e l e y ,   C A   9 4 7 2 0   U S A 	 K o r p e l a ,   E J   ( r e p r i n t   a u t h o r ) ,   U n i v   C a l i f   B e r k e l e y ,   S p a c e   S c i   L a b ,   B e r k e l e y ,   C A   9 4 7 2 0   U S A . 	 k o r p e l a @ s s l . b e r k e l e y . e d u 	 	 	 	 	 A n d e r s o n   D .   P . ,   2 0 0 4 ,   P r o c e e d i n g s .   F i f t h   I E E E / A C M   I n t e r n a t i o n a l   W o r k s h o p   o n   G r i d   C o m p u t i n g ;   A n d e r s o n   D .   P . ,   2 0 0 6 ,   P   6   I E E E   I N T   S   C L U S T ,   P 7 3 ;   A n d e r s o n   D P ,   2 0 0 5 ,   P   I E E E   C   E   S C I   G R I D ,   P 2 0 3 ;   A z z e d i n   F . ,   2 0 0 4 ,   P r o c e e d i n g s .   1 8 t h   I n t e r n a t i o n a l   P a r a l l e l   a n d   D i s t r i b u t e d   P r o c e s s i n g   S y m p o s i u m ;   B e b e r g   A .   L . ,   2 0 0 9 ,   P   2 3   I E E E   I N T   S   P A R ,   P 1 ,   D O I   D O I   1 0 . 1 1 0 9 / I P D P S . 2 0 0 9 . 5 1 6 0 9 2 2 ;   B o r l a n d   J . ,   2 0 0 2 ,   S T E A L T H   P 2 P   N E T W O R K ;   B r o w n   M R ,   1 9 9 6 ,   I N T   W O R L D   W I D   W E B   C ;   C h i e n   A ,   2 0 0 3 ,   J   P A R A L L E L   D I S T R   C O M ,   V 6 3 ,   P 5 9 7 ,   D O I   1 0 . 1 0 1 6 / S 0 7 4 3 - 7 3 1 5 ( 0 3 ) 0 0 0 0 6 - 6 ;   E s t r a d a   T ,   2 0 0 6 ,   P   I E E E   I N T   C   E   S C I   G ,   P 8 8 ;   H a r b a u g h   S ,   1 9 8 4 ,   A D A   L E T T ,   V 4 ,   P 2 3 ;   K o r p e l a   E ,   2 0 0 1 ,   C O M P U T   S C I   E N G ,   V 3 ,   P 7 8 ,   D O I   1 0 . 1 1 0 9 / 5 9 9 2 . 8 9 5 1 9 1 ;   K o r p e l a   E J ,   2 0 1 1 ,   S E A R C H I N G   E X T R A T E R R E ,   P 1 8 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 3 1 9 6 - 7 _ 1 1 ;   L a t t n e r   C ,   2 0 0 5 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 6 0 2 ,   P 1 5 ,   D O I   1 0 . 1 0 0 7 / 1 1 5 3 2 3 7 8 _ 2 ;   L i f e h a c k e r ,   2 0 0 9 ,   D I G S B   J O I N S   D A R K   S I D ;   L i t z k o w   M .   J . ,   1 9 8 7 ,   P r o c e e d i n g s   o f   t h e   S u m m e r   1 9 8 7   U S E N I X   C o n f e r e n c e ;   M E T C A L F E   R M ,   1 9 7 6 ,   C O M M U N   A C M ,   V 1 9 ,   P 3 9 5 ,   D O I   1 0 . 1 1 4 5 / 3 6 0 2 4 8 . 3 6 0 2 5 3 ;   N o v   O d e d ,   2 0 1 0 ,   P   1 9   I N T   C   W O R L D   W I D ,   P 7 4 1 ,   D O I   1 0 . 1 1 4 5 / 1 7 7 2 6 9 0 . 1 7 7 2 7 6 6 ;   O r a m   A . ,   2 0 0 1 ,   P E E R   T O   P E E R   H A R N E S S ;   P l u r a   P r o c e s s ,   2 0 0 9 ,   P L U R   A C T   W O R K S   L A Y M ;   R o b e r t s   L . ,   1 9 8 6 ,   P   A C M   C   H I S T   P E R S   W O ,   P 5 1 ,   D O I   1 0 . 1 1 4 5 / 1 2 1 7 8 . 1 2 1 8 2 ;   R o d r i g u e s   R ,   2 0 1 0 ,   C O M M U N   A C M ,   V 5 3 ,   P 7 2 ,   D O I   1 0 . 1 1 4 5 / 1 8 3 1 4 0 7 . 1 8 3 1 4 2 7 ;   S a r m e n t a   L .   F .   G . ,   2 0 0 2 ,   P r o c e e d i n g s   C C G R I D   2 0 0 2 .   2 n d   I E E E / A C M   I n t e r n a t i o n a l   S y m p o s i u m   o n   C l u s t e r   C o m p u t i n g   a n d   t h e   G r i d ,   D O I   1 0 . 1 1 0 9 / C C G R I D . 2 0 0 2 . 1 0 1 7 1 8 2 ;   S a r m e n t a   L F G ,   2 0 0 2 ,   F U T U R E   G E N E R   C O M P   S Y ,   V 1 8 ,   P 5 6 1 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 7 - 7 3 9 X ( 0 1 ) 0 0 0 7 7 - 2 ;   S c h u l z   S ,   2 0 0 8 ,   F U T U R E   G E N E R   C O M P   S Y ,   V 2 4 ,   P 3 5 4 ,   D O I   1 0 . 1 0 1 6 / j . f u t u r e . 2 0 0 7 . 0 6 . 0 0 5 ;   S t a i n f o r t h   D . ,   2 0 0 2 ,   P r o c e e d i n g s   o f   t h e   1 4 t h   I A S T E D   I n t e r n a t i o n a l   C o n f e r e n c e   P a r a l l e l   a n d   D i s t r i b u t e d   C o m p u t i n g   a n d   S y s t e m s ;   S t a i n f o r t h   D A ,   2 0 0 5 ,   N A T U R E ,   V 4 3 3 ,   P 4 0 3 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 3 3 0 1 ;   T a u f e r   M ,   2 0 0 5 ,   P   I E E E   I N T   P A R A L L   D I ,   P 1 1 9 ;   V e n k a t   J . ,   2 0 0 2 ,   P r o c e e d i n g s   S e c o n d   I n t e r n a t i o n a l   C o n f e r e n c e   o n   P e e r - t o - P e e r   C o m p u t i n g   ( P 2 P   2 0 0 2 ) ,   D O I   1 0 . 1 1 0 9 / P T P . 2 0 0 2 . 1 0 4 6 2 8 9 ;   W E I C K E R   R P ,   1 9 8 4 ,   C O M M U N   A C M ,   V 2 7 ,   P 1 0 1 3 ,   D O I   1 0 . 1 1 4 5 / 3 5 8 2 7 4 . 3 5 8 2 8 3 ;   Y u r k e w y c h   M . ,   2 0 0 5 ,   P   C C S ,   P 2 8 0 ,   D O I   1 0 . 1 1 4 5 / 1 1 0 2 1 2 0 . 1 1 0 2 1 5 7 	 3 0 	 6 	 6 	 A N N U A L   R E V I E W S 	 P A L O   A L T O 	 4 1 3 9   E L   C A M I N O   W A Y ,   P O   B O X   1 0 1 3 9 ,   P A L O   A L T O ,   C A   9 4 3 0 3 - 0 8 9 7   U S A 	 0 0 8 4 - 6 5 9 7 	 	 9 7 8 - 0 - 8 2 4 3 - 2 0 4 0 - 9 	 A N N U   R E V   E A R T H   P L   S C 	 A n n u .   R e v .   E a r t h   P l a n e t .   S c i . 	 	 2 0 1 2 	 4 0 	 	 	 	 	 	 6 9 	 8 7 	 	 1 0 . 1 1 4 6 / a n n u r e v - e a r t h - 0 4 0 8 0 9 - 1 5 2 3 4 8 	 	 1 9 	 A s t r o n o m y   &   A s t r o p h y s i c s ;   G e o s c i e n c e s ,   M u l t i d i s c i p l i n a r y 	 A s t r o n o m y   &   A s t r o p h y s i c s ;   G e o l o g y 	 B B R 2 6 	 W O S : 0 0 0 3 0 7 9 6 1 5 0 0 0 0 5 	 	 
 B 	 F i r e s t o n e ,   J ;   H a d d e r s ,   H 	 	 G a s c o ,   M 	 	 F i r e s t o n e ,   J o e ;   H a d d e r s ,   H e n k 	 	 	 R e - I n v e n t i n g   D e m o c r a c y   W i t h   a   C o m p l e x   A d a p t i v e   P o l i t i c a l   C r o w d s o u r c i n g   P l a t f o r m :   T h e   I n t e r a c t i v e   V o t e r   C h o i c e   S y s t e m 	 P R O C E E D I N G S   O F   T H E   1 2 T H   E U R O P E A N   C O N F E R E N C E   O N   E G O V E R N M E N T ,   V O L S   1   A N D   2 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 2 t h   E u r o p e a n   C o n f e r e n c e   o n   e G o v e r n m e n t   ( E C E G ) 	 J U N   1 4 - 1 5 ,   2 0 1 2 	 B a r c e l o n a ,   S P A I N 	 	 E S A D E ,   I n s t   P u b l   G o v e r n a n c e   &   M a n a g e m e n t 	 e D e m o c r a c y ;   e P a r t i c i p a t i o n ;   I V C S ;   c r o w d s o u r c i n g ;   s o c i a l   n e t w o r k s ;   c o m p l e x   a d a p t i v e   s y s t e m s 	 	 C o n t i n u i n g   f a i l u r e   o f   t h e   m a j o r   U .   S   p o l i t i c a l   p a r t i e s   t o   r e s p o n d   t o   t h e   e l e c t o r a t e ' s   d e m a n d s ,   h a s   f i n a l l y   b r o u g h t   a n g r y   A m e r i c a n s   i n t o   t h e   s t r e e t s .   T h e   O c c u p y   W a l l   S t r e e t   ( O W S )   m o v e m e n t   e x p r e s s e s   t h e   d i s s a t i s f a c t i o n   o f   m o s t   p e o p l e   w i t h   t h e   s t a t u s   q u o :   a   f a l l e n   s y s t e m ,   c l o s e d   p r o c e s s e s   a n d   p a t t e r n s ,   i t s   p o l i c i e s ,   a n d   t h e   i n f l u e n c e   o f   s p e c i a l   c o r p o r a t e   i n t e r e s t s .   P e o p l e   a r e   s t a r t i n g   t o   s e l f - o r g a n i z e ,   a n d   f o r m   n e w   r e l a t i o n s h i p s   i n   g r o u p s   a n d   n e t w o r k s   t o   r e i n v e n t   a   m o r e   o p e n ,   i n t e r a c t i v e ,   d e l i b e r a t i v e   d e m o c r a c y .   T w o   m a i n   c r i t i q u e s   c a n   b e   h e a r d :   w h a t   a r e   t h e   d e m a n d s   a n d   w h o   a r e   t h e   l e a d e r s ?   W h a t   k i n d   o f   s o l u t i o n s   d o e s   e P a r t i c i p a t i o n   h a v e   t o   p r o v i d e   t o   s u p p o r t   t h i s   r e i n v e n t i o n   o f   d e m o c r a c y ,   a n d   i t s   a g e n d a - s e t t i n g   a n d   e l e c t i o n   o f   r e p r e s e n t a t i v e   c a n d i d a t e s ,   u s i n g   s o c i a l   m e d i a ,   s o c i a l   n e t w o r k s ,   p o l i t i c a l   c r o w d s o u r c i n g   e t c .   T h i s   m o v e m e n t   h a s   a l l   t h e   e l e m e n t s   o f   a   C o m p l e x   A d a p t i v e   S y s t e m   ( C A S )   i n   a c t i o n   ( s e l f - o r g a n i z a t i o n ,   e m e r g e n c e ,   r e l a t i o n s h i p s   e t c . )   B u t   h o w   c a n   w e   d i s - i n t e r m e d i a t e   a n d   d e m o c r a t i z e   t h e   o l d   l e g a c y   p a r t i e s   a n d   t h e   s p e c i a l   c o r p o r a t e   i n t e r e s t s   g i v e n   t h e   e x i s t i n g   s y s t e m   a n d   i t s   r u l e s ?   W h a t   r o l e   h a s   e P a r t i c i p a t i o n   t o   p l a y   i n   s o l v i n g   t h e s e   p r o b l e m s ?   W h a t   d o e s   a   n e w   p o l i t i c a l   c o m p l e x   a d a p t i v e   p o l i t i c a l   c r o w d s o u r c i n g   p l a t f o r m   l o o k   l i k e ?   I n   t h i s   t h e o r e t i c a l   p a p e r   w e   e x p l o r e   t h e   i m p l i c a t i o n s   o f   C A S   t h e o r y   a n d   c o n c e p t s   f o r   t h e   r e - v i s i o n i n g   o f   e P a r t i c i p a t i o n   a s   a   s u b s y s t e m   o f   e D e m o c r a c y .   W e   o f f e r   a   C A S   f r a m e w o r k   a n d   t h e   f u n c t i o n a l   r e q u i r e m e n t s   f o r   a   n e w   c o m p l e x   a d a p t i v e   p o l i t i c a l   c r o w d s o u r c i n g   p l a t f o r m   a n d   i t s   t o o l s .   N e x t   w e   d e s c r i b e   t h e   c a s e   o f   t h e   I n t e r a c t i v e   V o t e r   C h o i c e   S y s t e m   ( I V C S )   a n d   i t s   a s s o c i a t e d   w e b   p l a t f o r m ,   w h e r e   a   s o l u t i o n   i s   b e i n g   d e v e l o p e d   t h a t   w e   b e l i e v e   w i l l   m e e t   t h e s e   f u n c t i o n a l   r e q u i r e m e n t s .   W e   a d v o c a t e   t h e   u s e   o f   t h i s   p l a t f o r m / t o o l ,   s i n c e   i t   w i l l   e m p o w e r   v o t e r - c o n t r o l l e d ,   s e l f - o r g a n i z i n g   v o t i n g   b l o c s   a n d   e l e c t o r a l   c o a l i t i o n s   t o   d i s - i n t e r m e d i a t e   a n d   d e m o c r a t i z e   p o l i t i c a l   p a r t i e s ,   c o l l e c t i v e l y   s e t   l e g i s l a t i v e   a g e n d a s ,   a n d   e l e c t   l a w m a k e r s   t h e y   c a n   h o l d   a c c o u n t a b l e   f o r   e n a c t i n g   t h e   a g e n d a s .   T h i s   t e c h n o l o g y   w i l l   o v e r c o m e   t h e   e x i s t i n g   i m p e d i m e n t s   t o   p o p u l a r   c o n t r o l   o f   g o v e r n m e n t s   b y   e n a b l i n g   t h e   v o t e r s   o f   a n y   c o u n t r y   t o   c o m b i n e   t h e   c o l l e c t i v e   i n t e l l i g e n c e   o f   t h e i r   e l e c t o r a t e   w i t h   t h e   l a r g e - s c a l e   c o l l e c t i v e   a c t i o n   p o w e r   o f   t h e   i n t e r n e t   t o   e n s u r e   t h a t   t h e i r   n a t i o n   i s   g o v e r n e d   b y   a n d   f o r   t h e   p e o p l e . 	 [ F i r e s t o n e ,   J o e ]   K n o w l e d g e   M a n a g e m e n t   C o n s o r t i u m   I n t ,   A l e x a n d r i a ,   V A   U S A 	 	 e i s a i @ c o m c a s t . n e t ;   h e n k . h a d d e r s @ h o m e . n l 	 	 	 	 	 [ A n o n y m o u s ] ,   2 0 1 2 ,   C B S   N E W S   N E W   Y O R K   T I ;   B o r d i e r   N . ,   2 0 1 1 ,   C O R R E N T E W I R E ;   C a m p b e l l   D T ,   1 9 7 4 ,   P H I L O S   K   P O P P E R ;   F i r e s t o n e   J . ,   2 0 0 9 ,   P R O B L E M   S O L V I N G   P A T T ;   F i r e s t o n e   J . ,   2 0 0 3 ,   E X C E R P T   1   O P E N   E N T E R ;   H o l l a n d   J .   H . ,   1 9 9 5 ,   H I D D E N   O R D E R ;   H o l l d o b l e r   B . ,   1 9 9 0 ,   A N T S ;   L a n g t o n   C . ,   1 9 9 2 ,   S A N T E   F E   I   S T U D I E S   S ,   V 1 0 ;   M i c h e l s   R o b e r t o ,   1 9 4 9 ,   P O L I T I C A L   P A R T I E S   S O ;   P o p p e r   K . ,   1 9 4 5 ,   O P E N   S O C   I T S   E N E M I E S ,   V 2 ;   P o p p e r   K .   R . ,   1 9 4 5 ,   O P E N   S O C   I T S   E N E M I E S ,   V 1 ;   R I T T E L   H W J ,   1 9 7 3 ,   P O L I C Y   S C I ,   V 4 ,   P 1 5 5 ,   D O I   1 0 . 1 0 0 7 / B F 0 1 4 0 5 7 3 0 ;   T h e   P e w   R e s e a r c h   C e n t e r   f o r   t h e   P e o p l e   a n d   t h e   P r e s s ,   2 0 1 0 ,   D I S T R U S T   D I S C O N T E N T 	 1 3 	 0 	 0 	 A C A D     C O N F E R E N C E S   L T D 	 N R   R E A D I N G 	 C U R T I S   F A R M ,   K I D M O R E   E N D ,   N R   R E A D I N G ,   R G 4   9 A Y ,   E N G L A N D 	 	 	 9 7 8 - 1 - 9 0 8 2 7 2 - 4 2 - 3 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 2 1 9 	 2 2 6 	 	 	 	 8 	 P o l i t i c a l   S c i e n c e ;   P u b l i c   A d m i n i s t r a t i o n 	 G o v e r n m e n t   &   L a w ;   P u b l i c   A d m i n i s t r a t i o n 	 B B U 6 6 	 W O S : 0 0 0 3 0 8 2 3 9 0 0 0 0 2 5 	 	 
 J 	 K e i m e l ,   C ;   H a b i g t ,   J ;   H o r c h ,   C ;   D i e p o l d ,   K 	 	 D o m a n s k i ,   M ;   G r a j e k ,   T ;   K a r w o w s k i ,   D ;   S t a s i n s k i ,   R 	 	 K e i m e l ,   C h r i s t i a n ;   H a b i g t ,   J u l i a n ;   H o r c h ,   C l e m e n s ;   D i e p o l d ,   K l a u s 	 	 	 Q u a l i t y C r o w d   -   A   F r a m e w o r k   f o r   C r o w d - b a s e d   Q u a l i t y   E v a l u a t i o n 	 2 0 1 2   P I C T U R E   C O D I N G   S Y M P O S I U M   ( P C S ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 2 9 t h   P i c t u r e   C o d i n g   S y m p o s i u m   ( P C S ) 	 M A Y   0 7 - 0 9 ,   2 0 1 2 	 K r a k o w ,   P O L A N D 	 P o z n a n   U n i v   T e c h n o l ,   C h a i r   M u l t i m e d i a   T e l e c o m m u n   &   M i c r o e l e c t ,   P T E T i S   P o l i s h   S o c   T h e o r e t   &   A p p l   E l e c t   E n g n ,   P o z n a n   S e c t ,   P o l i s h   A c a d   S c i ,   E l e c t   &   T e l e c o m m u n   C o m m ,   S i g n a l s ,   C i r c u i t s   &   E l e c t   S y s t   S e c t 	 	 	 	 V i d e o   q u a l i t y   a s s e s s m e n t   w i t h   s u b j e c t i v e   t e s t i n g   i s   b o t h   t i m e   c o n s u m i n g   a n d   e x p e n s i v e .   A n   i n t e r e s t i n g   n e w   a p p r o a c h   t o   t r a d i t i o n a l   t e s t i n g   i s   t h e   s o - c a l l e d   c r o w d s o u r c i n g ,   m o v i n g   t h e   t e s t i n g   e f f o r t   i n t o   t h e   i n t e r n e t .   W e   t h e r e f o r e   p r o p o s e   i n   t h i s   c o n t r i b u t i o n   t h e   Q u a l i t y C r o w d   f r a m e w o r k   t o   e f f o r t l e s s l y   p e r f o r m   s u b j e c t i v e   q u a l i t y   a s s e s s m e n t   w i t h   c r o w d s o u r c i n g .   Q u a l i t y C r o w d   a l l o w s   c o d e c   i n d e p e n d e n t   q u a l i t y   a s s e s s m e n t   w i t h   a   s i m p l e   w e b   i n t e r f a c e ,   u s a b l e   w i t h   c o m m o n   w e b   b r o w s e r s .   W e   c o m p a r e d   t h e   r e s u l t s   f r o m   a n   o n l i n e   s u b j e c t i v e   t e s t   u s i n g   t h i s   f r a m e w o r k   w i t h   t h e   r e s u l t s   f r o m   a   t e s t   i n   a   s t a n d a r d i z e d   e n v i r o n m e n t .   T h i s   c o m p a r i s o n   s h o w s   t h a t   Q u a l i t y C r o w d   d e l i v e r s   e q u i v a l e n t   r e s u l t s   w i t h i n   t h e   a c c e p t a b l e   i n t e r - l a b   c o r r e l a t i o n .   W h i l e   w e   o n l y   c o n s i d e r   v i d e o   q u a l i t y   i n   t h i s   c o n t r i b u t i o n ,   Q u a l i t y C r o w d   c a n   a l s o   b e   u s e d   f o r   m u l t i m o d a l   q u a l i t y   a s s e s s m e n t . 	 [ K e i m e l ,   C h r i s t i a n ;   H a b i g t ,   J u l i a n ;   H o r c h ,   C l e m e n s ;   D i e p o l d ,   K l a u s ]   T e c h   U n i v   M u n i c h ,   I n s t   D a t a   P r o c ,   D - 8 0 3 3 3   M u n i c h ,   G e r m a n y 	 K e i m e l ,   C   ( r e p r i n t   a u t h o r ) ,   T e c h   U n i v   M u n i c h ,   I n s t   D a t a   P r o c ,   A r c i s s t r   2 1 ,   D - 8 0 3 3 3   M u n i c h ,   G e r m a n y . 	 c h r i s t i a n . k e i m e l @ t u m . d e ;   j h @ t u m . d e ;   c h @ t u m . d e ;   k l d i @ t u m . d e 	 	 	 	 	 [ A n o n y m o u s ] ,   2 0 0 9 ,   B T 5 0 0   I T U R ;   B o h a n n o n   J ,   2 0 1 1 ,   S C I E N C E ,   V 3 3 4 ,   P 3 0 7 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 3 3 4 . 6 0 5 4 . 3 0 7 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   C h e n   K T ,   2 0 0 9 ,   M A T H   C O M P U T   S C I   E N G ,   P 4 9 1 ,   D O I   1 0 . 1 1 4 5 / 1 6 3 1 2 7 2 . 1 6 3 1 3 3 9 ;   C h e n   K T ,   2 0 1 0 ,   I E E E   N E T W O R K ,   V 2 4 ,   P 2 8 ,   D O I   1 0 . 1 1 0 9 / M N E T . 2 0 1 0 . 5 4 3 0 1 4 1 ;   D e   S i m o n e   F . ,   2 0 0 9 ,   P   1   I N T   W O R K S H   Q U A L ;   G a g g i o l i   A ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 1 ,   P 1 4 4 3 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 3 2 1 . 5 8 9 5 . 1 4 4 3 a ;   H o w e   J . ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ;   M a r g e   M ,   2 0 1 0 ,   I N T   C O N F   A C O U S T   S P E E ,   P 5 2 7 0 ,   D O I   1 0 . 1 1 0 9 / I C A S S P . 2 0 1 0 . 5 4 9 4 9 7 9 ;   P a o l a c c i   G ,   2 0 1 0 ,   J U D G M   D E C I S   M A K ,   V 5 ,   P 4 1 1 ;   R i b e i r o   F ,   2 0 1 1 ,   I N T   C O N F   A C O U S T   S P E E ,   P 2 4 1 6 ;   R i b e i r o   F . ,   2 0 1 1 ,   I M   P R O C   I C I P   2 0 1 1   I E ,   P 3 1 5 8 ;   V Q E G ,   2 0 1 0 ,   R E P   V A L   V I D   Q U A L   M O D 	 1 3 	 4 	 4 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 5 7 7 - 2 0 4 8 - 2 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 2 4 5 	 2 4 8 	 	 	 	 4 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   I m a g i n g   S c i e n c e   &   P h o t o g r a p h i c   T e c h n o l o g y 	 E n g i n e e r i n g ;   I m a g i n g   S c i e n c e   &   P h o t o g r a p h i c   T e c h n o l o g y 	 B B I 3 6 	 W O S : 0 0 0 3 0 6 9 6 2 4 0 0 0 6 1 	 	 
 J 	 B r a b h a m ,   D C 	 	 	 	 B r a b h a m ,   D a r e n   C . 	 	 	 M o t i v a t i o n s   f o r   P a r t i c i p a t i o n   i n   a   C r o w d s o u r c i n g   A p p l i c a t i o n   t o   I m p r o v e   P u b l i c   E n g a g e m e n t   i n   T r a n s i t   P l a n n i n g 	 J O U R N A L   O F   A P P L I E D   C O M M U N I C A T I O N   R E S E A R C H 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   P u b l i c   P a r t i c i p a t i o n ;   M o t i v a t i o n s ;   I n t e r n e t ;   Q u a l i t a t i v e   M e t h o d s   ( I n t e r v i e w i n g ) 	 O P E N - S O U R C E   P R O J E C T S ;   O N L I N E ;   G R A T I F I C A T I O N S ;   I N T E R N E T ;   I N T E R V I E W S ;   K N O W L E D G E ;   S I T E S 	 G o v e r n m e n t s   i n c r e a s i n g l y   t u r n   t o   t h e   I n t e r n e t   t o   a i d   i n   t r a n s p a r e n c y ,   a c c o u n t a b i l i t y ,   a n d   p u b l i c   p a r t i c i p a t i o n   a c t i v i t i e s ,   a n d   t h e r e   i s   g r o w i n g   i n t e r e s t   i n   i n n o v a t i v e   o n l i n e   p r o b l e m - s o l v i n g   m o d e l s   t o   s e r v e   t h e   p u b l i c   g o o d .   O n e   s u c h   m o d e l ,   t h e   c r o w d s o u r c i n g   m o d e l ,   l e v e r a g e s   t h e   c o l l e c t i v e   i n t e l l i g e n c e   o f   o n l i n e   c o m m u n i t i e s   f o r   s p e c i f i c   p u r p o s e s .   U n d e r s t a n d i n g   h o w   a n d   w h y   p e o p l e   p a r t i c i p a t e   i n   t h e s e   k i n d s   o f   a c t i v i t i e s   i s   i m p o r t a n t   f o r   d e v e l o p i n g   b e t t e r   n e w   m e d i a   t o o l s   f o r   t h e   p u b l i c   g o o d   g o i n g   f o r w a r d .   I n   2 0 0 9 ,   t h e   F e d e r a l   T r a n s i t   A d m i n i s t r a t i o n   s u p p o r t e d   t h e   N e x t   S t o p   D e s i g n   p r o j e c t ,   a n   a t t e m p t   t o   u s e   c r o w d s o u r c i n g   f o r   p u b l i c   p a r t i c i p a t i o n   i n   t r a n s i t   p l a n n i n g .   B a s e d   o n   i n t e r v i e w s   w i t h   2 3   N e x t   S t o p   D e s i g n   p a r t i c i p a n t s ,   t h e   p r e s e n t   a p p l i e d   c o m m u n i c a t i o n   s t u d y   d i s c u s s e s   t h e   m o t i v a t i o n s   o f   t h o s e   p a r t i c i p a n t s   t o   e n g a g e   t h e   p r o j e c t . 	 [ B r a b h a m ,   D a r e n   C . ]   U n i v   N   C a r o l i n a ,   S c h   J o u r n a l i s m   &   M a s s   C o m m u n ,   C h a p e l   H i l l ,   N C   U S A 	 B r a b h a m ,   D C   ( r e p r i n t   a u t h o r ) ,   U N C   J O M C ,   C a r r o l l   H a l l , C B   3 3 6 5 ,   C h a p e l   H i l l ,   N C   2 7 5 9 9   U S A . 	 d a r e n . b r a b h a m @ u n c . e d u 	 	 	 	 	 A l - S a g g a f   Y . ,   2 0 0 4 ,   F O R U M   Q U A L I T A T I V E   S O ,   V 5 ;   B L U M L E R   J G ,   1 9 7 9 ,   C O M M U N   R E S ,   V 6 ,   P 9 ,   D O I   1 0 . 1 1 7 7 / 0 0 9 3 6 5 0 2 7 9 0 0 6 0 0 1 0 2 ;   B o n a c c o r s i   A . ,   2 0 0 4 ,   1   M O N D A Y ,   V 9 ;   B r a b h a m   D . ,   2 0 0 9 ,   F L O W   C R I T I C A L   F O R U M ,   V 9 ;   B r a b h a m   D .   C . ,   2 0 0 8 ,   1   M O N D A Y ,   V 1 3 ;   B r a b h a m   D C ,   2 0 0 9 ,   P L A N   T H E O R ,   V 8 ,   P 2 4 2 ,   D O I   1 0 . 1 1 7 7 / 1 4 7 3 0 9 5 2 0 9 1 0 4 8 2 4 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B r a b h a m   D C ,   2 0 1 0 ,   I N F O R M   C O M M U N   S O C ,   V 1 3 ,   P 1 1 2 2 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 1 0 0 3 6 2 4 0 9 0 ;   B r a b h a m   D . C . ,   2 0 1 2 ,   P A R T I C I P A T O R Y   C U L T U R ,   P 1 2 0 ;   B R Z O Z O W S K I   M J ,   2 0 0 9 ,   P   A C M   I N T   C   S U P P   G R O ,   P 6 1 ,   D O I   1 0 . 1 1 4 5 / 1 5 3 1 6 7 4 . 1 5 3 1 6 8 4 ;   B u r b y   R J ,   2 0 0 3 ,   J   A M   P L A N N   A S S O C ,   V 6 9 ,   P 3 3 ,   D O I   1 0 . 1 0 8 0 / 0 1 9 4 4 3 6 0 3 0 8 9 7 6 2 9 2 ;   D a v i s   M ,   2 0 0 4 ,   A I D S   C A R E ,   V 1 6 ,   P 9 4 4 ,   D O I   1 0 . 1 0 8 0 / 0 9 5 4 0 1 2 0 4 1 2 3 3 1 2 9 2 4 9 9 ;   D e c i   E .   L . ,   1 9 8 5 ,   I N T R I N S I C   M O T I V A T I O N ;   D e c i   E L ,   1 9 9 9 ,   P S Y C H O L   B U L L ,   V 1 2 5 ,   P 6 2 7 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 0 9 . 1 2 5 . 6 . 6 2 7 ;   E l l i o t   P . ,   1 9 7 4 ,   U S E S   M A S S   C O M M U N I C A T ,   P 2 4 9 ;   F r i e d l a n d   N .   S . ,   2 0 0 9 ,   L E V E R A G I N G   C O M M U N I T I ;   G e   X . ,   2 0 0 6 ,   P   I N T   C   L E A R N   S C I   B L ,   P 1 8 9 ;   G h o s h   R A ,   1 9 9 8 ,   1   M O N D A Y ,   V 3 ;   G u e s t   G ,   2 0 0 6 ,   F I E L D   M E T H O D ,   V 1 8 ,   P 5 9 ,   D O I   1 0 . 1 1 7 7 / 1 5 2 5 8 2 2 X 0 5 2 7 9 9 0 3 ;   H a   L ,   1 9 9 8 ,   J   B R O A D C A S T   E L E C T R O N ,   V 4 2 ,   P 4 5 7 ;   H a r s   A ,   2 0 0 2 ,   I N T   J   E L E C T R O N   C O M M ,   V 6 ,   P 2 5 ;   H e r t e l   G ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 1 5 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 4 7 - 7 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   P 1 4 ;   H o w e   J . ,   2 0 0 6 ,   C R O W D S O U R C I N G   T   0 6 1 5 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   H u b e r m a n   B A ,   2 0 0 9 ,   J   I N F   S C I ,   V 3 5 ,   P 7 5 8 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 0 9 3 4 6 7 8 6 ;   J e n k i n s   H e n r y ,   2 0 0 6 ,   C O N F R O N T I N G   C H A L L E N G ;   J e p p e s e n   L B ,   2 0 1 0 ,   O R G A N   S C I ,   V 2 1 ,   P 1 0 1 6 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 9 0 . 0 4 9 1 ;   J o n a s s e n   D .   H . ,   2 0 0 3 ,   L E A R N I N G   S O L V E   P R O B L ;   K a l l e n b a c h   J a n ,   2 0 0 7 ,   M I N D T R E K   2 0 0 7   C   P ,   P 2 5 ;   K A T Z   E ,   1 9 7 3 ,   A M   S O C I O L   R E V ,   V 3 8 ,   P 1 6 4 ,   D O I   1 0 . 2 3 0 7 / 2 0 9 4 3 9 3 ;   K a y e   B K ,   1 9 9 9 ,   S O C   S C I   C O M P U T   R E V ,   V 1 7 ,   P 3 2 3 ;   K a z m e r   M i c h e l l e   M ,   2 0 0 8 ,   I n f o r m a t i o n   C o m m u n i c a t i o n   &   S o c i e t y ,   V 1 1 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 0 8 0 1 9 4 6 3 3 3 ;   K n o k e   D a v i d ,   1 9 8 2 ,   R E S   S O C I O L O G Y   O R G ,   V 1 ,   P 2 0 9 ;   L a k h a n i   K .   R . ,   2 0 0 7 ,   0 7 0 5 0   H A R V   B U S   S C H ;   L a k h a n i   K .   R . ,   2 0 0 5 ,   P E R S P E C T I V E S   F R E E   O P ;   L a n g e   P .   G . ,   2 0 0 8 ,   N A P A   B ,   V 3 0 ,   P 1 2 8 ;   L a u r i a n   L ,   2 0 0 3 ,   J   P L A N   E D U C   R E S ,   V 2 2 ,   P 2 5 7 ,   D O I   1 0 . 1 1 7 7 / 0 7 3 9 4 5 6 X 0 2 2 5 0 3 1 6 ;   L e v y   P . ,   1 9 9 7 ,   C O L L E C T I V E   I N T E L L I G E ;   L i n d l o f   T .   R . ,   2 0 0 2 ,   Q U A L I T A T I V E   C O M M U N I C ;   L i n d l o f   T . R . ,   1 9 8 7 ,   N A T U R A L   A U D I E N C E S   Q U ,   P 1 ;   L i u   S u - H o u n ,   2 0 0 7 ,   I S S U E S   I N F O R M   S Y S T E M ,   V 8 ,   P 2 3 2 ;   L O M E T T I   G E ,   1 9 7 7 ,   C O M M U N   R E S ,   V 4 ,   P 3 2 1 ,   D O I   1 0 . 1 1 7 7 / 0 0 9 3 6 5 0 2 7 7 0 0 4 0 0 3 0 5 ;   M a i e r   K ,   2 0 0 1 ,   E U R   P L A N   S T U D ,   V 9 ,   P 7 0 7 ,   D O I   1 0 . 1 0 8 0 / 0 9 6 5 4 3 1 0 1 2 0 0 7 3 7 7 5 ;   M a n n   C . ,   2 0 0 0 ,   I N T E R N E T   C O M M U N I C A T I ;   M i l e s   M . ,   1 9 9 4 ,   Q U A L I T A T I V E   D A T A   A N A ;   N O V   O ,   2 0 0 8 ,   P   2 6   A N N   S I G C H I   C   H U ,   P 1 0 9 7 ,   D O I   1 0 . 1 1 4 5 / 1 3 5 7 0 5 4 . 1 3 5 7 2 2 5 ;   N o v   O ,   2 0 0 7 ,   C O M M U N   A C M ,   V 5 0 ,   P 6 0 ,   D O I   1 0 . 1 1 4 5 / 1 2 9 7 7 9 7 . 1 2 9 7 7 9 8 ;   O ' c o n n o r   H . ,   2 0 0 1 ,   S O C I O L O G I C A L   R E S   O N L ,   V 5 ;   O b a m a   B .   H . ,   T R A N S P A R E N C Y   O P E N   G O ;   O p d e n a k k e r   R . ,   2 0 0 6 ,   F O R U M   Q U A L I T A T I V E   S O ,   V 7 ;   P a g e   S E ,   2 0 0 7 ,   D I F F E R E N C E :   H O W   T H E   P O W E R   O F   D I V E R S I T Y   C R E A T E S   B E T T E R   G R O U P S ,   F I R M S ,   S C H O O L S ,   A N D   S O C I E T I E S ,   P 1 ;   P a p a c h a r i s s i   Z ,   2 0 1 1 ,   C O M M U N   S O C - S E R ,   P 2 1 2 ;   P E R R Y   J L ,   1 9 9 0 ,   P U B L I C   A D M I N   R E V ,   V 5 0 ,   P 3 6 7 ,   D O I   1 0 . 2 3 0 7 / 9 7 6 6 1 8 ;   P u t n a m   R . D . ,   2 0 0 0 ,   B O W L I N G   A L O N E   C O L L A P ;   R o s e n s t e i n   A W ,   1 9 9 7 ,   J   B R O A D C A S T   E L E C T R O N ,   V 4 1 ,   P 3 2 4 ;   R u g g i e r o   T .   E . ,   2 0 0 0 ,   M A S S   C O M M U N I C A T I O N   S ,   V 3 ,   P 3 ,   D O I   D O I   1 0 . 1 2 0 7 / S 1 5 3 2 7 8 2 5 M C S 0 3 0 1 _ 0 2 ;   R y a n   R M ,   2 0 0 0 ,   C O N T E M P   E D U C   P S Y C H O L ,   V 2 5 ,   P 5 4 ,   D O I   1 0 . 1 0 0 6 / c e p s . 1 9 9 9 . 1 0 2 0 ;   S m a d j a   F . ,   2 0 0 9 ,   M I X I N G   F I N A N C I A L   S O C ;   S t i e g e r   S ,   2 0 0 8 ,   C Y B E R P S Y C H O L   B E H A V ,   V 1 1 ,   P 2 0 1 ,   D O I   1 0 . 1 0 8 9 / c p b . 2 0 0 7 . 0 0 3 0 ;   S u l e r   J ,   2 0 0 4 ,   C Y B E R P S Y C H O L   B E H A V ,   V 7 ,   P 3 2 1 ,   D O I   1 0 . 1 0 8 9 / 1 0 9 4 9 3 1 0 4 1 2 9 1 2 9 5 ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   S w a n s o n   D .   L . ,   1 9 7 7 ,   H U M A N   C O M M U N I C A T I O N ,   V 3 ,   P 2 1 4 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 8 - 2 9 5 8 . 1 9 7 7 . t b 0 0 5 1 9 . x ;   S w o b o d a   W J ,   1 9 9 7 ,   S O C   S C I   C O M P U T   R E V ,   V 1 5 ,   P 2 4 2 ,   D O I   1 0 . 1 1 7 7 / 0 8 9 4 4 3 9 3 9 7 0 1 5 0 0 3 0 2 ;   T e r w i e s c h   C ,   2 0 0 8 ,   M A N A G E   S C I ,   V 5 4 ,   P 1 5 2 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 8 0 . 0 8 8 4 ;   U S   D e p a r t m e n t   o f   L a b o r   B u r e a u   o f   L a b o r   S t a t i s t i c s ,   2 0 1 0 ,   O C C   O U T L   H D B   2 0 1 0   1 1 ;   V a n   H e r z e l e   A ,   2 0 0 4 ,   J   P L A N   E D U C   R E S ,   V 2 4 ,   P 1 9 7 ,   D O I   1 0 . 1 1 7 7 / 0 7 3 9 4 5 6 X 0 4 2 6 7 7 2 3 ;   V i l l a r r o e l   J .   A . ,   2 0 1 0 ,   C R O W D C O N F   2 0 1 0   S A N   F ;   W r i g h t   K e v i n ,   2 0 0 5 ,   J   C O M P U T E R   M E D I A T E D ,   V 1 0 ;   W u   F a n g ,   2 0 0 9 ,   P   2 0 0 9   I E E E   I N T   C   S O ,   P 4 0 9 	 7 0 	 2 	 2 	 R O U T L E D G E   J O U R N A L S ,   T A Y L O R   &   F R A N C I S   L T D 	 A B I N G D O N 	 4   P A R K   S Q U A R E ,   M I L T O N   P A R K ,   A B I N G D O N   O X 1 4   4 R N ,   O X F O R D S H I R E ,   E N G L A N D 	 0 0 9 0 - 9 8 8 2 	 	 	 J   A P P L   C O M M U N   R E S 	 J .   A p p l .   C o m m u n .   R e s . 	 	 2 0 1 2 	 4 0 	 3 	 	 	 	 	 3 0 7 	 3 2 8 	 	 1 0 . 1 0 8 0 / 0 0 9 0 9 8 8 2 . 2 0 1 2 . 6 9 3 9 4 0 	 	 2 2 	 C o m m u n i c a t i o n 	 C o m m u n i c a t i o n 	 9 7 8 A D 	 W O S : 0 0 0 3 0 6 7 0 9 2 0 0 0 0 5 	 	 
 S 	 T u r n e r ,   H ;   W h i t e ,   J 	 	 P h a m ,   T 	 	 T u r n e r ,   H a m i l t o n ;   W h i t e ,   J u l e s 	 	 	 C y b e r   S e c u r i t y   a n d   D a t a   C o l l e c t i o n   A p p r o a c h e s   f o r   S m a r t p h o n e   S e n s o r   S y s t e m s 	 G R O U N D / A I R   M U L T I S E N S O R   I N T E R O P E R A B I L I T Y ,   I N T E G R A T I O N ,   A N D   N E T W O R K I N G   F O R   P E R S I S T E N T   I S R   I I I 	 P r o c e e d i n g s   o f   S P I E 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 C o n f e r e n c e   o n   G r o u n d / A i r   M u l t i s e n s o r   I n t e r o p e r a b i l i t y ,   I n t e g r a t i o n   a n d   N e t w o r k i n g   f o r   P e r s i s t e n t   I S R   I I I 	 A P R   2 3 - 2 6 ,   2 0 1 2 	 B a l t i m o r e ,   M D 	 S P I E 	 	 c r o w d s o u r c i n g ;   d a t a   c o l l e c t i o n ;   s m a r t p h o n e ;   l a r g e   s c a l e 	 	 I n   r e c e n t   y e a r s   t h e   u b i q u i t y   a n d   r e s o u r c e s   p r o v i d e d   b y   s m a r t p h o n e   d e v i c e s   h a v e   e n c o u r a g e d   s c i e n t i s t s   t o   e x p l o r e   u s i n g   t h e s e   d e v i c e s   a s   r e m o t e   s e n s i n g   n o d e s .   I n   a d d i t i o n ,   t h e   U n i t e d   S t a t e s   D e p a r t m e n t   o f   D e f e n s e   h a s   s t a t e d   a   m i s s i o n   o f   i n c r e a s i n g   p e r s i s t e n t   i n t e l l i g e n c e ,   s u r v e i l l a n c e ,   a n d   r e c o n n a i s s a n c e   c a p a b i l i t i e s   o r   U . S .   u n i t s .   T h i s   p a p e r   p r e s e n t s   a   m e t h o d   o f   e n a b l i n g   l a r g e - s c a l e ,   l o n g - t e r m   s m a r t p h o n e - p o w e r e d   d a t a   c o l l e c t i o n .   K e y   s o l u t i o n s   d i s c u s s e d   i n c l u d e   t h e   a b i l i t y   t o   d i r e c t l y   a l l o w   d o m a i n   e x p e r t s   t o   d e f i n e   a n d   r e f i n e   s m a r t p h o n e   a p p l i c a t i o n s   f o r   d a t a   c o l l e c t i o n ,   t e c h n i c a l   a d v a n c e m e n t s   t h a t   a l l o w   r a p i d   d i s s e m i n a t i o n   o f   a   s m a r t p h o n e   d a t a   c o l l e c t i o n   a p p l i c a t i o n ,   a n d   a n   a l g o r i t h m   f o r   p r e s e r v i n g   t h e   l o c a t i o n a l   p r i v a c y   o f   p a r t i c i p a t i n g   u s e r s . 	 [ T u r n e r ,   H a m i l t o n ;   W h i t e ,   J u l e s ]   V i r g i n i a   T e c h ,   B l a c k s b u r g ,   V A   2 4 0 6 1   U S A 	 T u r n e r ,   H   ( r e p r i n t   a u t h o r ) ,   V i r g i n i a   T e c h ,   B l a c k s b u r g ,   V A   2 4 0 6 1   U S A . 	 h a m i l t o n t @ v t . e d u ;   j u l e s w @ v t . e d u 	 	 	 	 	 [ A n o n y m o u s ] ,   2 0 1 0 ,   G A R T N E R   S A Y S   W O R L D W I ;   [ A n o n y m o u s ] ,   2 0 0 8 ,   O P E N D A T A K I T ;   [ A n o n y m o u s ] ,   2 0 0 8 ,   U S H A H I D I   P L A T F O R M ;   D a s   T . ,   2 0 1 0 ,   P   8   I N T   C   M O B   S Y S T   A ,   P 6 3 ,   D O I   1 0 . 1 1 4 5 / 1 8 1 4 4 3 3 . 1 8 1 4 4 4 2 ;   G a h r a n   A ,   2 0 1 0 ,   R E P O R T I N G   G U L F   O I L   S ;   P a r k   W ,   2 0 1 0 ,   G U L F   O I L   S P I L L   A P P S ;   W h i t e   J ,   2 0 1 0 ,   C L E A R M O B I L E   C L O U D   E N 	 7 	 0 	 0 	 S P I E - I N T   S O C   O P T I C A L   E N G I N E E R I N G 	 B E L L I N G H A M 	 1 0 0 0   2 0 T H   S T ,   P O   B O X   1 0 ,   B E L L I N G H A M ,   W A   9 8 2 2 7 - 0 0 1 0   U S A 	 0 2 7 7 - 7 8 6 X 	 	 9 7 8 - 0 - 8 1 9 4 - 9 0 6 7 - 4 	 P R O C   S P I E 	 	 	 2 0 1 2 	 8 3 8 9 	 	 	 	 	 	 	 	 8 3 8 9 1 K 	 1 0 . 1 1 1 7 / 1 2 . 9 2 0 9 3 3 	 	 8 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   R e m o t e   S e n s i n g ;   O p t i c s 	 E n g i n e e r i n g ;   R e m o t e   S e n s i n g ;   O p t i c s 	 B A X 1 0 	 W O S : 0 0 0 3 0 5 9 0 7 1 0 0 0 4 2 	 	 
 J 	 B u d z i s e - W e a v e r ,   T ;   C h e n ,   J P ;   M i t c h e l l ,   M 	 	 	 	 B u d z i s e - W e a v e r ,   T i n a ;   C h e n ,   J i a n g p i n g ;   M i t c h e l l ,   M i k h a e l a 	 	 	 C o l l a b o r a t i o n   a n d   c r o w d s o u r c i n g   T h e   c a s e s   o f   m u l t i l i n g u a l   d i g i t a l   l i b r a r i e s 	 E L E C T R O N I C   L I B R A R Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 M u l t i l i n g u a l   d i g i t a l   l i b r a r i e s ;   M u l t i l i n g u a l   i n f o r m a t i o n   a c c e s s ;   C o l l a b o r a t i o n ;   C r o w d s o u r c i n g ;   D i g i t a l   l i b r a r i e s ;   I n f o r m a t i o n   m a n a g e m e n t ;   U n i t e d   S t a t e s   o f   A m e r i c a 	 L A N G U A G E   I N F O R M A T I O N - R E T R I E V A L 	 P u r p o s e   -   T h i s   s t u d y   a i m s   t o   u n d e r s t a n d   k e y   f e a t u r e s   o f   e x i s t i n g   m u l t i l i n g u a l   d i g i t a l   l i b r a r i e s   a n d   t o   s u g g e s t   s t r a t e g i e s   f o r   b u i l d i n g   a n d / o r   s u s t a i n i n g   m u l t i l i n g u a l   i n f o r m a t i o n   a c c e s s   f o r   d i g i t a l   l i b r a r i e s .   D e s i g n / m e t h o d o l o g y / a p p r o a c h   -   A   c a s e   s t u d y   a p p r o a c h   w a s   a p p l i e d   t o   e x a m i n e   f o u r   A m e r i c a n   m u l t i l i n g u a l   d i g i t a l   l i b r a r i e s :   P r o j e c t   G u t e n b e r g ,   M e e t i n g   o f   F r o n t i e r s ,   T h e   I n t e r n a t i o n a l   C h i l d r e n ' s   D i g i t a l   L i b r a r y ,   a n d   t h e   L a t i n   A m e r i c a n   O p e n   A r c h i v e s   P o r t a l .   T h i s   e x a m i n a t i o n   u s e d   a   f r a m e w o r k   d e r i v e d   f r o m   d i g i t a l   l i b r a r y   e v a l u a t i o n   p r a c t i c e .   T h e   m i s s i o n s ,   g o a l s ,   f u n d i n g ,   p a r t n e r s ,   u s e r s ,   c o l l e c t i o n s ,   s e r v i c e s ,   a n d   t e c h n o l o g i e s   o f   t h e s e   d i g i t a l   l i b r a r i e s   w e r e   a n a l y z e d   t o   p r e s e n t   t h e i r   k e y   m u l t i l i n g u a l   f e a t u r e s .   T h e   c o l l a b o r a t i o n   a n d   c r o w d s o u r c i n g   c h a r a c t e r i s t i c s   w e r e   h i g h l i g h t e d   a n d   d i s c u s s e d .   F i n d i n g s   -   T h e s e   f o u r   m u l t i l i n g u a l   l i b r a r i e s   b e n e f i t   s u b s t a n t i a l l y ,   b o t h   i n   t h e   c r e a t i o n   o f   t h e   l i b r a r y   a n d   i n   i t s   a c c e s s ,   f r o m   t h e   c o l l a b o r a t i o n   o f   g r o u p s   d o m e s t i c   a n d   i n t e r n a t i o n a l   w i t h   d i f f e r e n t   l a n g u a g e   e x p e r t i s e .   F o r   b u i l d i n g   t h e   m u l t i l i n g u a l   c o l l e c t i o n   a n d   s e r v i c e s ,   s o m e   l i b r a r i e s   i n v o l v e d   b o t h   s t a f f   a n d   u s e r s .   F o r   m u l t i l i n g u a l   a c c e s s   t o   t h e   c o l l e c t i o n ,   h o w e v e r ,   n o n e   o f   t h e   l i b r a r i e s   u s e d   m a c h i n e   t r a n s l a t i o n   o r   c r o s s - l a n g u a g e   i n f o r m a t i o n   r e t r i e v a l   t e c h n o l o g i e s .   R e s e a r c h   l i m i t a t i o n s / i m p l i c a t i o n s   -   T h e   f o u r   c a s e s   a r e   a l l   p u b l i c l y   a v a i l a b l e   d i g i t a l   l i b r a r i e s   i n   t h e   U S A .   T h e i r   f e a t u r e s   m a y   n o t   b e   a p p l i c a b l e   t o   d i g i t a l   l i b r a r i e s   i n   o t h e r   c o u n t r i e s   o r   t o   c o m m e r c i a l   d i g i t a l   i n f o r m a t i o n   s e r v i c e s .   P r a c t i c a l   i m p l i c a t i o n s   -   W i t h   t h e   a d v a n c e m e n t   o f   m a c h i n e   t r a n s l a t i o n   t e c h n o l o g i e s   a n d   t h e   w i d e   a p p l i c a t i o n   o f   s o c i a l   m e d i a ,   m u l t i l i n g u a l   d i g i t a l   l i b r a r i e s   m a y   h a v e   e v e n   b e t t e r   o p p o r t u n i t i e s   t o   s u s t a i n   t h e i r   m u l t i l i n g u a l   c a p a b i l i t i e s   t h r o u g h   c r o w d s o u r c i n g   a n d   t h e   a p p l i c a t i o n   o f   n e w   t e c h n o l o g i e s .   O r i g i n a l i t y / v a l u e   -   T h i s   s t u d y   s u m m a r i z e s   t h e   k e y   f e a t u r e s   o f   f o u r   e x i s t i n g   m u l t i l i n g u a l   d i g i t a l   l i b r a r i e s .   I t   p r o v i d e s   i n s i g h t s   i n t o   i m p o r t a n t   f a c t o r s   f o r   b u i l d i n g   s u c c e s s f u l   m u l t i l i n g u a l   d i g i t a l   l i b r a r i e s .   T h e   s u g g e s t e d   s t r a t e g i e s   m a y   h e l p   d i g i t a l   l i b r a r y   d e v e l o p e r s   t o   d e s i g n   a p p r o p r i a t e   m u l t i l i n g u a l   i n f o r m a t i o n   a c c e s s   s e r v i c e s . 	 [ C h e n ,   J i a n g p i n g ;   M i t c h e l l ,   M i k h a e l a ]   U n i v   N   T e x a s ,   D e p t   L i b   &   I n f o r m a t   S c i ,   D e n t o n ,   T X   7 6 2 0 3   U S A ;   [ B u d z i s e - W e a v e r ,   T i n a ]   T e x a s   A & M   U n i v   L i b ,   C o l l e g e   S t n ,   T X   U S A 	 C h e n ,   J P   ( r e p r i n t   a u t h o r ) ,   U n i v   N   T e x a s ,   D e p t   L i b   &   I n f o r m a t   S c i ,   D e n t o n ,   T X   7 6 2 0 3   U S A . 	 J i a n g p i n g . C h e n @ u n t . e d u 	 B u d z i s e - W e a v e r ,   T i n a / K - 6 3 2 2 - 2 0 1 3 	 B u d z i s e - W e a v e r ,   T i n a / 0 0 0 0 - 0 0 0 2 - 5 8 7 2 - 3 0 5 5 	 	 	 B l o c k   D . ,   2 0 0 7 ,   G L O B A L   R E S O U R C E S   S P R ,   P 1 ;   B o r g m a n   C . L . ,   1 9 9 7 ,   D   L I B   M A G A Z I N E       J U N ;   B r a v o   I . M . ,   2 0 0 4 ,   L A T I N   A M   D I G I T A L   L I B ;   C h e n   J . ,   2 0 0 9 ,   7 2   A S I S   T   A N N   C   V A N C ;   C h e n   J P ,   2 0 0 6 ,   J   A M   S O C   I N F   S C I   T E C ,   V 5 7 ,   P 2 3 3 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 0 2 7 3 ;   F o x   E . ,   1 9 9 8 ,   C O M M U N   A C M ,   V 4 1 ,   P 2 9 ,   D O I   [ 1 0 . 1 1 4 5 / 2 7 3 0 3 5 . 2 7 3 0 4 3 ,   D O I   1 0 . 1 1 4 5 / 2 7 3 0 3 5 . 2 7 3 0 4 3 ] ;   H a r t   M i c h a e l ,   1 9 9 2 ,   G U T E N B E R G   H I S T   P H I L O ;   H o l l e y   R o s e ,   2 0 1 0 ,   D   L I B   M A G A Z I N E ,   V 1 6 ;   H o s a k a   T A ,   2 0 0 8 ,   F A C E B O O K   A S K S   U S E R S ;   H u t c h i s o n   H . B . ,   2 0 0 5 ,   I N F O R M   T E C H N O L O G   M A R ,   P 4 ;   K r e s h   D . ,   2 0 0 7 ,   W H O L E   D I G I T A L   L I B   H D ;   N i c h o l s   D .   M . ,   2 0 0 5 ,   N e w   R e v i e w   o f   H y p e r m e d i a   a n d   M u l t i m e d i a ,   V 1 1 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 1 4 5 6 0 5 0 0 3 5 1 0 7 1 ;   O a r d   D W ,   1 9 9 8 ,   A N N U   R E V   I N F O R M   S C I ,   V 3 3 ,   P 2 2 3 ;   R e e v e s   T .   C . ,   2 0 0 5 ,   E V A L U A T I N G   D I G I T A L   L ;   S a r a c e v i c   T . ,   2 0 0 5 ,   L I B   D I G   A G   L I D A   D U B R ;   S c h w a r t z   C ,   2 0 0 0 ,   J   A C A D   L I B R ,   V 2 6 ,   P 3 8 5 ,   D O I   1 0 . 1 0 1 6 / S 0 0 9 9 - 1 3 3 3 ( 0 0 ) 0 0 1 5 9 - 2 ;   S c h w e i k   C . M . ,   2 0 1 1 ,   J   P U B L   A D M   R E S   T H E O R ,   V 2 1 ,   P 1 7 5 ;   W o o l d r i d g e   B . ,   2 0 0 9 ,   R E S O U R C E   S H A R I N G   I N F ,   V 2 0 ,   P 3 5 ;   Y i n   R .   K . ,   2 0 0 9 ,   C A S E   S T U D Y   R E S   D E S I G 	 1 9 	 1 	 1 	 E M E R A L D   G R O U P   P U B L I S H I N G   L I M I T E D 	 B I N G L E Y 	 H O W A R D   H O U S E ,   W A G O N   L A N E ,   B I N G L E Y   B D 1 6   1 W A ,   W   Y O R K S H I R E ,   E N G L A N D 	 0 2 6 4 - 0 4 7 3 	 	 	 E L E C T R O N   L I B R 	 E l e c t r o n .   L i b r . 	 	 2 0 1 2 	 3 0 	 2 	 	 	 	 	 2 2 0 	 2 3 2 	 	 1 0 . 1 1 0 8 / 0 2 6 4 0 4 7 1 2 1 1 2 2 1 3 4 0 	 	 1 3 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 9 3 9 T W 	 W O S : 0 0 0 3 0 3 8 4 2 6 0 0 0 0 5 	 	 
 J 	 B r a b h a m ,   D C 	 	 	 	 B r a b h a m ,   D a r e n   C . 	 	 	 T H E   M Y T H   O F   A M A T E U R   C R O W D S   A   c r i t i c a l   d i s c o u r s e   a n a l y s i s   o f   c r o w d s o u r c i n g   c o v e r a g e 	 I N F O R M A T I O N   C O M M U N I C A T I O N   &   S O C I E T Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c r o w d s o u r c i n g ;   l a b o r ;   a m a t e u r i s m ;   p r o f e s s i o n a l i s m ;   c r i t i c a l   d i s c o u r s e   a n a l y s i s 	 	 T h i s   p a p e r   a n a l y z e s   t h e   d i s c o u r s e   o f   a m a t e u r i s m   a s   i t   r e l a t e s   t o   c r o w d s o u r c i n g ,   a   n o w   r e l a t i v e l y   c o m m o n   m o d e l   w h e r e   o r g a n i z a t i o n s   e n g a g e   o n l i n e   c o m m u n i t i e s   t o   d e s i g n   g o o d s   a n d   s o l v e   p r o b l e m s .   T h i s   p a p e r ' s   f i n d i n g s   a r e   t w o f o l d :   ( 1 )   c r o w d s o u r c i n g   i s   d i s c u s s e d   i n   t h e   p o p u l a r   p r e s s   a s   a   p r o c e s s   d r i v e n   b y   a m a t e u r s   a n d   h o b b y i s t s ,   y e t   e m p i r i c a l   r e s e a r c h   o n   c r o w d s o u r c i n g   i n d i c a t e s   t h a t   c r o w d s   a r e   l a r g e l y   s e l f - s e l e c t e d   p r o f e s s i o n a l s   a n d   e x p e r t s   w h o   o p t - i n   t o   c r o w d s o u r c i n g   a r r a n g e m e n t s ;   a n d   ( 2 )   t h e   m y t h   o f   t h e   a m a t e u r   i n   c r o w d s o u r c i n g   v e n t u r e s   w o r k s   t o   l a b e l   c r o w d s   a s   m e r e   h o b b y i s t s   w h o   s e e   c r o w d s o u r c i n g   v e n t u r e s   a s   o p p o r t u n i t i e s   f o r   c r e a t i v e   e x p r e s s i o n ,   a s   e n t e r t a i n m e n t ,   o r   a s   o p p o r t u n i t i e s   t o   p a s s   t h e   t i m e   w h e n   b o r e d .   T h i s   a m a t e u r / h o b b y i s t   l a b e l   t h e n   u n d e r m i n e s   t h e   f a c t   t h a t   l a r g e   a m o u n t s   o f   r e a l   w o r k   a n d   e x p e r t   k n o w l e d g e   a r e   e x e r t e d   b y   c r o w d s   f o r   r e l a t i v e l y   l i t t l e   r e w a r d   a n d   t o   s e r v e   t h e   p r o f i t   m o t i v e s   o f   c o m p a n i e s .   T h e   m y t h   o f   a m a t e u r   c r o w d s   t h u s   h a s   c r i t i c a l   i m p l i c a t i o n s   f o r   l a b o r   r i g h t s   i n   t h e   d i g i t a l   a g e .   T o   s u p p o r t   t h i s   c l a i m ,   a   c r i t i c a l   d i s c o u r s e   a n a l y s i s   w a s   p e r f o r m e d   o n   a   c o r p u s   o f   m o r e   t h a n   1 0 0   p o p u l a r   p r e s s   a r t i c l e s   c o n t a i n i n g   ' c r o w d s o u r c i n g '   a n d   ' a m a t e u r '   i n   t h e   L e x i s N e x i s   d a t a b a s e .   T h i s   p a p e r   a r g u e s   t h a t   a   d i s c o u r s e   a b o u t   c r o w d s o u r c i n g   m o r e   f o c u s e d   o n   t h e   t r u t h   t h a t   t h e s e   c r o w d s   l a r g e l y   c o m p r i s e   p r o f e s s i o n a l s   a n d   e x p e r t s   w o u l d   r e f o c u s   t h e   a t t e n t i o n   o n   i n d i v i d u a l s   i n   t h e   c r o w d   a s   l a b o r e r s ,   a n d   t h u s   p e o p l e   d e s e r v i n g   o f   w o r k e r ' s   r i g h t s ,   e t h i c a l   t r e a t m e n t ,   a n d   f a i r   p a y . 	 U n i v   N   C a r o l i n a ,   S c h   J o u r n a l i s m   &   M a s s   C o m m u n ,   C h a p e l   H i l l ,   N C   2 7 5 9 9   U S A 	 B r a b h a m ,   D C   ( r e p r i n t   a u t h o r ) ,   U n i v   N   C a r o l i n a ,   S c h   J o u r n a l i s m   &   M a s s   C o m m u n ,   C a r r o l l   H a l l , C B   3 3 6 5 ,   C h a p e l   H i l l ,   N C   2 7 5 9 9   U S A . 	 d a r e n . b r a b h a m @ u n c . e d u 	 	 	 	 	 [ A n o n y m o u s ] ,   A B   N O   S P E C ;   [ A n o n y m o u s ] ,   D E S   I N T   Y O U   E A R   T H E I ;   B a k e r   C . ,   1 9 8 9 ,   C H I L D R E N S   1   S C H   B O O K ;   B r a b h a m   D .   C . ,   R O U T L E D G E   H   I N   P R E S S ;   B r a b h a m   D .   C . ,   2 0 1 0 ,   T H E S I S   U   U T A H ;   B r a b h a m   D .   C . ,   2 0 0 7 ,   F A C E S   C R O W D   B R E T T   S N ;   B r a b h a m   D .   C . ,   2 0 1 1 ,   M O V I N G   C R O W D   I S T O C K P ;   B r a b h a m   D .   C . ,   2 0 0 8 ,   A N N   M   A S S   E D   J O U R N   M ;   B r a b h a m   D .   C . ,   2 0 0 8 ,   1   M O N D A Y ,   V 1 3 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B r a b h a m   D C ,   2 0 1 0 ,   I N F O R M   C O M M U N   S O C ,   V 1 3 ,   P 1 1 2 2 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 1 0 0 3 6 2 4 0 9 0 ;   B r i t o   J . ,   2 0 0 8 ,   C O L U M B I A   S C I   T E C H N O L ,   V I X ,   P 1 1 9 ;   C a m p b e l l   L . ,   2 0 0 9 ,   D O T M O C R A C Y   C R O W D S O U R ;   E i t z e n   D .   S . ,   2 0 0 1 ,   S P O R T   C O N T   S O C ,   P 1 2 3 ;   F l i c h y   P . ,   2 0 0 7 ,   I N T E R N E T   I M A G I N A I R E ;   F o u r n i e r   V ,   1 9 9 9 ,   S O C I O L   R E V ,   V 4 7 ,   P 2 8 0 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 9 5 4 X . 0 0 1 7 3 ;   H a l l   S t u a r t ,   2 0 0 0 ,   M E D I A   S T U D I E S   R E A D E R ,   P 5 1 ;   H o r o v i t z   B r u c e ,   2 0 0 9 ,   U S   T O D A Y                 1 2 3 1 ;   H o w e   J . ,   2 0 0 6 ,   N E O   N E O L O G I S M S ;   H o w e   J . ,   2 0 0 6 ,   W I R E D                         J U N ,   V 1 4 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   H o w e   J e f f ,   2 0 0 6 ,   M I S S I O N   S T A T E M E N T ;   H u c k i n   T h o m a s ,   2 0 0 2 ,   D I S C O U R S E   S T U D I E S   C O ,   P 1 5 5 ;   H u c k i n   T h o m a s ,   1 9 9 7 ,   F U N C T I O N A L   A P P R O A C H E ,   P 7 8 ;   J e n k i n s   H e n r i ,   2 0 0 6 ,   C O N V E R G E N C E   C U L T U R E ;   J e p p e s e n   L B ,   2 0 1 0 ,   O R G A N   S C I ,   V 2 1 ,   P 1 0 1 6 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 9 0 . 0 4 9 1 ;   M C K E R R O W   R E ,   1 9 8 9 ,   C O M M U N   M O N O G R ,   V 5 6 ,   P 9 1 ;   P e r r y   C R ,   1 9 9 7 ,   J   L A B O R   R E S ,   V 1 8 ,   P 5 2 1 ,   D O I   1 0 . 1 0 0 7 / s 1 2 1 2 2 - 9 9 7 - 1 0 2 0 - 9 ;   P i n g r e e   G B ,   2 0 0 3 ,   M E D I A   T R A N S I T ,   p X I ;   R I T Z E R   G ,   1 9 7 5 ,   S O C   F O R C E S ,   V 5 3 ,   P 6 2 7 ,   D O I   1 0 . 2 3 0 7 / 2 5 7 6 4 7 8 ;   S a t u l l o   C . ,   2 0 0 8 ,   P H I L A D E L P H I A   I N   0 9 1 4 ,   p A 3 ;   S t e b b i n s   R .   A . ,   1 9 9 7 ,   L e i s u r e   S t u d i e s ,   V 1 6 ,   P 1 7 ,   D O I   1 0 . 1 0 8 0 / 0 2 6 1 4 3 6 9 7 3 7 5 4 8 5 ;   S t e b b i n s   R .   A ,   1 9 9 2 ,   A M A T E U R S   P R O F E S S I O N A ;   S T E B B I N S   R A ,   1 9 8 0 ,   S O C   P R O B L ,   V 2 7 ,   P 4 1 3 ,   D O I   1 0 . 1 5 2 5 / s p . 1 9 8 0 . 2 7 . 4 . 0 3 a 0 0 0 4 0 ;   S t r y c h a c z   T h o m a s ,   1 9 9 3 ,   M O D E R N I S M   M A S S   C U L T U ;   T r a c y   K . ,   2 0 0 3 ,   H D B   D I S C O U R S E   A N A L ,   P 7 2 5 ;   V a n   D i j c k   J ,   2 0 0 9 ,   N E W   M E D I A   S O C ,   V 1 1 ,   P 8 5 5 ,   D O I   1 0 . 1 1 7 7 / 1 4 6 1 4 4 4 8 0 9 1 0 5 3 5 6 ;   v o n   H i p p e l   E r i c ,   2 0 0 5 ,   D E M O C R A T I Z I N G   I N N O V A ;   W i l s o n   P .   F . ,   2 0 0 9 ,   C I N C I N N A T I   M A G A Z   J U N ;   W o o d s   D . ,   2 0 0 9 ,   F O R B E S                     0 9 2 9 	 4 0 	 8 	 8 	 R O U T L E D G E   J O U R N A L S ,   T A Y L O R   &   F R A N C I S   L T D 	 A B I N G D O N 	 4   P A R K   S Q U A R E ,   M I L T O N   P A R K ,   A B I N G D O N   O X 1 4   4 R N ,   O X F O R D S H I R E ,   E N G L A N D 	 1 3 6 9 - 1 1 8 X 	 	 	 I N F O R M   C O M M U N   S O C 	 I n f o .   C o m m u n .   S o c . 	 	 2 0 1 2 	 1 5 	 3 	 	 	 S I 	 	 3 9 4 	 4 1 0 	 	 1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 X . 2 0 1 1 . 6 4 1 9 9 1 	 	 1 7 	 C o m m u n i c a t i o n ;   S o c i o l o g y 	 C o m m u n i c a t i o n ;   S o c i o l o g y 	 9 3 5 Z S 	 W O S : 0 0 0 3 0 3 5 6 1 3 0 0 0 0 5 	 	 
 J 	 C o r b a n e ,   C ;   L e m o i n e ,   G ;   K a u f f m a n n ,   M 	 	 	 	 C o r b a n e ,   C . ;   L e m o i n e ,   G . ;   K a u f f m a n n ,   M . 	 	 	 R e l a t i o n s h i p   b e t w e e n   t h e   s p a t i a l   d i s t r i b u t i o n   o f   S M S   m e s s a g e s   r e p o r t i n g   n e e d s   a n d   b u i l d i n g   d a m a g e   i n   2 0 1 0   H a i t i   d i s a s t e r 	 N A T U R A L   H A Z A R D S   A N D   E A R T H   S Y S T E M   S C I E N C E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 G I B B S   P O I N T - P R O C E S S E S ;   S T A T I S T I C A L - A N A L Y S I S ;   P A T T E R N S ;   M O D E L 	 J u s t   4   d a y s   a f t e r   t h e   M   =   7 . 1   e a r t h q u a k e   o n   1 2   J a n u a r y   2 0 1 0 ,   H a i t i a n s   c o u l d   s e n d   S M S   m e s s a g e s   a b o u t   t h e i r   l o c a t i o n   a n d   u r g e n t   n e e d s   t h r o u g h   t h e   o n - l i n e   m a p p i n g   p l a t f o r m   U s h a h i d i .   T h i s   r e a l - t i m e   c r o w d s o u r c i n g   o f   c r i s i s   i n f o r m a t i o n   p r o v i d e d   d i r e c t   s u p p o r t   t o   k e y   h u m a n i t a r i a n   r e s o u r c e s   o n   t h e   g r o u n d ,   i n c l u d i n g   S e a r c h   a n d   R e s c u e   t e a m s .   I n   a d d i t i o n   t o   i t s   u s e   a s   a   k n o w l e d g e   b a s e   f o r   r e s c u e   o p e r a t i o n s   a n d   a i d   p r o v i s i o n ,   t h e   s p a t i a l   d i s t r i b u t i o n   o f   g e o l o c a t e d   S M S   m e s s a g e s   m a y   r e p r e s e n t   a n   e a r l y   i n d i c a t o r   o n   t h e   s p a t i a l   d i s t r i b u t i o n   a n d   o n   t h e   i n t e n s i t y   o f   b u i l d i n g   d a m a g e .   T h i s   w o r k   e x p l o r e s   t h e   r e l a t i o n s h i p   b e t w e e n   t h e   s p a t i a l   p a t t e r n s   o f   S M S   m e s s a g e s   a n d   b u i l d i n g   d a m a g e .   T h e   l a t t e r   i s   d e r i v e d   f r o m   t h e   d e t a i l e d   d a m a g e   a s s e s s m e n t   o f   i n d i v i d u a l   b u i l d i n g s   i n t e r p r e t e d   i n   p o s t - e a r t h q u a k e   a i r b o r n e   p h o t o s .   T h e   i n t e r a c t i o n   b e t w e e n   S M S   m e s s a g e s   a n d   b u i l d i n g   d a m a g e   i s   s t u d i e d   b y   a n a l y z i n g   t h e   s p a t i a l   s t r u c t u r e   o f   t h e   c o r r e s p o n d i n g   b i v a r i a t e   p a t t e r n s .   T h e   a n a l y s i s   i s   p e r f o r m e d   t h r o u g h   t h e   i m p l e m e n t a t i o n   o f   c r o s s   R i p l e y ' s   K - f u n c t i o n   w h i c h   i s   s u i t a b l e   f o r   c h a r a c t e r i z i n g   t h e   s p a t i a l   s t r u c t u r e   o f   a   b i v a r i a t e   p a t t e r n ,   a n d   m o r e   p r e c i s e l y   t h e   s p a t i a l   r e l a t i o n s h i p   b e t w e e n   t w o   t y p e s   o f   p o i n t   s e t s   l o c a t e d   i n   t h e   s a m e   s t u d y   a r e a .   T h e   r e s u l t s   s h o w   a   s t r o n g   a t t r a c t i o n   b e t w e e n   t h e   p a t t e r n s   e x h i b i t e d   b y   S M S   m e s s a g e s   a n d   b u i l d i n g   d a m a g e s .   T h e   i n t e r a c t i o n s   i d e n t i f i e d   b e t w e e n   t h e   t w o   p a t t e r n s   s u g g e s t   t h a t   t h e   g e o l o c a t e d   S M S   c a n   b e   u s e d   a s   e a r l y   i n d i c a t o r s   o f   t h e   s p a t i a l   d i s t r i b u t i o n   o f   b u i l d i n g   d a m a g e   p a t t e r n .   A c c o r d i n g l y ,   a   s t a t i s t i c a l   m o d e l   h a s   b e e n   d e v e l o p e d   t o   m a p   t h e   d i s t r i b u t i o n   o f   b u i l d i n g   d a m a g e   f r o m   t h e   g e o l o c a t e d   S M S   p a t t e r n .   T h e   s t u d y   p r e s e n t e d   i n   t h i s   p a p e r   i s   t h e   f i r s t   a t t e m p t   t o   d e r i v e   q u a n t i t a t i v e   e s t i m a t e s   o n   t h e   s p a t i a l   p a t t e r n s   o f   n o v e l   c r o w d s o u r c e d   i n f o r m a t i o n   a n d   c o r r e l a t e   t h e s e   t o   e s t a b l i s h e d   m e t h o d s   i n   d a m a g e   a s s e s s m e n t   u s i n g   r e m o t e   s e n s i n g   d a t a .   T h e   c o n s e q u e n c e s   o f   t h e   s t u d y   f i n d i n g s   f o r   r a p i d   d a m a g e   d e t e c t i o n   i n   p o s t - e m e r g e n c y   c o n t e x t s   a r e   d i s c u s s e d . 	 [ C o r b a n e ,   C . ;   L e m o i n e ,   G . ;   K a u f f m a n n ,   M . ]   C o m m i s s   E u r o p e a n   C o m m u n i t i e s ,   J o i n t   R e s   C t r ,   I - 2 1 0 2 0   I s p r a ,   I t a l y 	 C o r b a n e ,   C   ( r e p r i n t   a u t h o r ) ,   C o m m i s s   E u r o p e a n   C o m m u n i t i e s ,   J o i n t   R e s   C t r ,   I - 2 1 0 2 0   I s p r a ,   I t a l y . 	 c h r i s t i n a . c o r b a n @ j r c . e c . e u r o p a . e u 	 C o r b a n e ,   C h r i s t i n a / A - 3 0 2 0 - 2 0 1 3 	 	 	 	 A l - K h u d h a i r y   D H A ,   2 0 1 0 ,   I N T   J   D I G I T   E A R T H ,   V 3 ,   P 1 6 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 0 9 0 3 5 0 6 0 1 4 ;   B a d d e l e y   A ,   2 0 0 5 ,   J   S T A T   S O F T W ,   V 1 2 ,   P 1 ;   B a d d e l e y   A . ,   2 0 0 6 ,   L E C T   N O T E S   S T A T ,   P 2 3 ;   B a d d e l e y   A ,   2 0 0 5 ,   J   R   S T A T   S O C   B ,   V 6 7 ,   P 6 1 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 8 6 8 . 2 0 0 5 . 0 0 5 1 9 . x ;   B a d d e l e y   A . ,   2 0 0 6 ,   L E C T   N O T E S   S T A T ;   B a d d e l e y   A ,   2 0 0 0 ,   A U S T   N Z   J   S T A T ,   V 4 2 ,   P 2 8 3 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 8 4 2 X . 0 0 1 2 8 ;   B E R M A N   M ,   1 9 9 2 ,   A P P L   S T A T - J   R O Y   S T   C ,   V 4 1 ,   P 3 1 ,   D O I   1 0 . 2 3 0 7 / 2 3 4 7 6 1 4 ;   B E S A G   J ,   1 9 8 9 ,   B I O M E T R I K A ,   V 7 6 ,   P 6 3 3 ;   B e s a g   J . ,   1 9 7 7 ,   A P P L I E D   S T A T I S T I C S ,   V 2 6 ,   P 3 2 7 ,   D O I   D O I   1 0 . 2 3 0 7 / 2 3 4 6 9 7 4 ;   C o r b a n e   C . ,   2 0 1 1 ,   E N G   R E M   S ,   P 7 7 ;   D a n d o u l a k i   M . ,   2 0 1 0 ,   A D V   I C T S   D I S A S T E R   M A ,   P 1 4 3 ;   D I G G L E   P J ,   1 9 8 6 ,   J   N E U R O S C I   M E T H ,   V 1 8 ,   P 1 1 5 ,   D O I   1 0 . 1 0 1 6 / 0 1 6 5 - 0 2 7 0 ( 8 6 ) 9 0 1 1 5 - 9 ;   D i g g l e   P J ,   1 9 8 3 ,   S T A T   A N A L   S P A T I A L   P O ;   D I G G L E   P ,   1 9 8 5 ,   A P P L   S T A T - J   R O Y   S T   C ,   V 3 4 ,   P 1 3 8 ,   D O I   1 0 . 2 3 0 7 / 2 3 4 7 3 6 6 ;   D i x o n   P . ,   2 0 0 2 ,   E N C Y   E N V ,   P 1 7 9 6 ;   F a r d   Y .   E . ,   2 0 0 8 ,   J   A P P L   S C I ,   V 8 ,   P 1 5 2 ;   G o r e a u d   F ,   1 9 9 9 ,   J   V E G   S C I ,   V 1 0 ,   P 4 3 3 ,   D O I   1 0 . 2 3 0 7 / 3 2 3 7 0 7 2 ;   G r u n t h a l   G . ,   2 0 0 1 ,   C A H I E R S   C T R   E U R O P E E N ,   V 1 9 ;   H a t t o t u w a   S . ,   2 0 1 1 ,   P E A C E B U I L D I N G   I N F O R M ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   I l l i a n   J . ,   2 0 0 8 ,   S T A T   A N A L   M O D E L L I N G ;   J   H e i n z e l m a n ,   2 0 1 0 ,   C R O W D S O U R C I N G   C R I S I S ;   K E L L Y   F P ,   1 9 7 6 ,   B I O M E T R I K A ,   V 6 3 ,   P 3 5 7 ,   D O I   1 0 . 1 0 9 3 / b i o m e t / 6 3 . 2 . 3 5 7 ;   K e m p e r   T . ,   2 0 1 0 ,   3 8   J R C   E U R   C O M M ;   M a t t f e l d t   T ,   2 0 0 5 ,   J   M I C R O S C - O X F O R D ,   V 2 2 0 ,   P 1 3 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 8 1 8 . 2 0 0 5 . 0 1 5 2 1 . x ;   M o l l e r   J ,   2 0 0 7 ,   S C A N D   J   S T A T ,   V 3 4 ,   P 6 4 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 4 6 9 . 2 0 0 7 . 0 0 5 6 9 . x ;   P e l i s s i e r   R ,   2 0 0 7 ,   A D S   S P A T I A L   P O I N T   P A ;   P e r r y   G L W ,   2 0 0 6 ,   P L A N T   E C O L ,   V 1 8 7 ,   P 5 9 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 5 8 - 0 0 6 - 9 1 3 3 - 4 ;   R e n s h a w   E ,   2 0 0 1 ,   C O M P U T   S T A T   D A T A   A N ,   V 3 6 ,   P 8 5 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 7 - 9 4 7 3 ( 0 0 ) 0 0 0 2 8 - 1 ;   R I P L E Y   B D ,   1 9 7 7 ,   J   R O Y   S T A T   S O C   B   M E T ,   V 3 9 ,   P 1 7 2 ;   R I P L E Y   B D ,   1 9 7 6 ,   J   A P P L   P R O B A B ,   V 1 3 ,   P 2 5 5 ,   D O I   1 0 . 2 3 0 7 / 3 2 1 2 8 2 9 ;   S h a n k a r   R . ,   2 0 1 0 ,   T H E S I S   U   C O P E N H A G E N ;   S t o y a n   D ,   1 9 9 6 ,   B I O M E T R I C A L   J ,   V 3 8 ,   P 2 5 9 ,   D O I   1 0 . 1 0 0 2 / b i m j . 4 7 1 0 3 8 0 3 0 2 ;   S T O Y A N   D ,   1 9 9 1 ,   M A T H   N A C H R ,   V 1 5 1 ,   P 9 5 ,   D O I   1 0 . 1 0 0 2 / m a n a . 1 9 9 1 1 5 1 0 1 0 8 ;   S T R A U S S   D J ,   1 9 7 5 ,   B I O M E T R I K A ,   V 6 2 ,   P 4 6 7 ,   D O I   1 0 . 1 0 9 3 / b i o m e t / 6 2 . 2 . 4 6 7 	 3 5 	 3 	 3 	 C O P E R N I C U S   G E S E L L S C H A F T   M B H 	 G O T T I N G E N 	 B A H N H O F S A L L E E   1 E ,   G O T T I N G E N ,   3 7 0 8 1 ,   G E R M A N Y 	 1 5 6 1 - 8 6 3 3 	 	 	 N A T   H A Z A R D   E A R T H   S Y S 	 N a t .   H a z a r d s   E a r t h   S y s t .   S c i . 	 	 2 0 1 2 	 1 2 	 2 	 	 	 	 	 2 5 5 	 2 6 5 	 	 1 0 . 5 1 9 4 / n h e s s - 1 2 - 2 5 5 - 2 0 1 2 	 	 1 1 	 G e o s c i e n c e s ,   M u l t i d i s c i p l i n a r y ;   M e t e o r o l o g y   &   A t m o s p h e r i c   S c i e n c e s ;   W a t e r   R e s o u r c e s 	 G e o l o g y ;   M e t e o r o l o g y   &   A t m o s p h e r i c   S c i e n c e s ;   W a t e r   R e s o u r c e s 	 9 0 0 J L 	 W O S : 0 0 0 3 0 0 8 8 3 1 0 0 0 0 1 	 	 
 J 	 B e r e t t a ,   G B ;   M o r o n e y ,   N M 	 	 E s c h b a c h ,   R ;   M a r c u ,   G G ;   R i z z i ,   A 	 	 B e r e t t a ,   G i o r d a n o   B . ;   M o r o n e y ,   N a t h a n   M . 	 	 	 H a r m o n i o u s   c o l o r s :   f r o m   a l c h e m y   t o   s c i e n c e 	 C O L O R   I M A G I N G   X V I I :   D I S P L A Y I N G ,   P R O C E S S I N G ,   H A R D C O P Y ,   A N D   A P P L I C A T I O N S 	 P r o c e e d i n g s   o f   S P I E 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 C o n f e r e n c e   o n   C o l o r   I m a g i n g   X V I I   -   D i s p l a y i n g ,   P r o c e s s i n g ,   H a r d c o p y ,   a n d   A p p l i c a t i o n s 	 J A N   2 4 - 2 6 ,   2 0 1 2 	 B u r l i n g a m e ,   C A 	 S o c   I m a g i n g   S c i   &   T e c h n o l   ( I S & T ) ,   S P I E 	 	 c o l o r   s c i e n c e ;   c o l o r   p a l e t t e s ;   c o l o r   h a r m o n y ;   c r o w d s o u r c i n g 	 	 T h e r e   i s   a   v e r y   l o n g   t r a d i t i o n   i n   d e s i g n i n g   c o l o r   p a l e t t e s   f o r   v a r i o u s   a p p l i c a t i o n s ,   g o i n g   b a c k   t o   a t   l e a s t   t h e   U p a n i s h a d .   A l t h o u g h   c o l o r   p a l e t t e s   h a v e   b e e n   i n f l u e n c e d   b y   t h e   a v a i l a b l e   c o l o r a n t s ,   s t a r t i n g   w i t h   t h e   a d v e n t   o f   a n i l i n e   d y e s   i n   t h e   l a t e   1 8 5 0 s   t h e r e   h a v e   b e e n   f e w   p h y s i c a l   l i m i t s   o n   t h e   c h o i c e   o f   i n d i v i d u a l   c o l o r s .   T h i s   a b u n d a n c e   o f   c h o i c e s   e x a c e r b a t e s   t h e   p r o b l e m   o f   l i m i t i n g   t h e   n u m b e r   o f   c o l o r s   i n   a   p a l e t t e ,   i . e . ,   i n   k e e p i n g   t h e m   i n t o   a   m a n a g e a b l e   q u a n t i t y .   F o r   e x a m p l e ,   i t   i s   n o t   p r a c t i c a l   f o r   a   c a r   c o m p a n y   t o   o f f e r   e a c h   m o d e l   i n   h u n d r e d s   o f   c o l o r s .   I n s t e a d ,   f o r   e a c h   m o d e l   y e a r   a   s m a l l   n u m b e r   o f   c o l o r   p a l e t t e s   i s   o f f e r e d ,   e a c h   c o n t a i n i n g   t h e   c o l o r s   f o r   t h e   b o d y ,   t r i m ,   i n t e r i o r ,   e t c .   A n o t h e r   e x a m p l e   i s   t h e   f a s h i o n   i n d u s t r y ,   w h e r e   i n   a d d i t i o n   t o   s o l i d   c o l o r s   t h e r e   a r e   a l s o   p a t t e r n s ,   l e a d i n g   t o   a   h u g e   v a r i e t y   o f   c o m b i n a t i o n s   t h a t   w o u l d   b e   i m p o s s i b l e   t o   s t o c k .   T h e   t r a d i t i o n a l   s o l u t i o n   i s   t h a t   o f   " c o l o r   f o r e c a s t i n g . "   C o l o r   c o n s u l t a n t s   a s s e s s   t h e   s e n t i m e n t   o r   a f f e c t i v e   s t a t e   o f   a   t a r g e t   c u s t o m e r   c l a s s   a n d   c o m p a r e   i t   w i t h   n e w   c o l o r a n t s   o f f e r e d   b y   t h e   i n d u s t r y .   T h e y   a s s e m b l e   a   l i m i t e d   c o l o r   p a l e t t e ,   n a m e   t h e   c o l o r s   a c c o r d i n g   t o   t h e   s e n t i m e n t ,   a n d   p u b l i s h   t h e i r   r e s u l t .   T e x t i l e   m a n u f a c t u r e r s   w i l l   p r o d u c e   f a b r i c s   i n   t h e s e   c o l o r s   a n d   f a s h i o n   d e s i g n e r s   w i l l   d e s i g n   c l o t h e s ,   a c c e s s o r i e s ,   a n d   f u r n i t u r e   b a s e d   o n   t h e s e   f a b r i c s .   E v e n t u a l l y ,   t h e   m e d i a   w i l l   c o m m u n i c a t e   t h e s e   f o r e c a s t s   t o   t h e   c o n s u m e r s ,   w h o   w i l l   b e   a d m i r e d   b y   t h e i r   c o h o r t s   w h e n   t h e y   c h o o s e   c o l o r s   f r o m   t h e   f o r e c a s t   p a l e t t e ,   w h i c h   b y   t h e n   i s   w i d e l y   d i f f u s e d .   T h e   c o l o r   f o r e c a s t i n g   b u s i n e s s   i s   v e r y   l a b o r   i n t e n s i v e   a n d   d i f f i c u l t ,   t h u s   f o r   y e a r s   c o m p u t e r   e n g i n e e r s   h a v e   t r i e d   t o   c o m e   u p   w i t h   a l g o r i t h m s   t o   d e s i g n   h a r m o n i o u s   c o l o r   p a l e t t e s ,   a l a s   w i t h   l i t t l e   c o m m e r c i a l   s u c c e s s .   F o r   e x a m p l e ,   J o h a n n e s   I t t e n ' s   c o l o r   t h e o r y   h a s   b e e n   i m p l e m e n t e d   m a n y   t i m e s ,   b u t   d e s p i t e   I t t e n ' s   s u c c e s s   i n   t h e   B a u h a u s   a r t i f a c t s ,   t h e   c o m p u t e r   t o o l s   h a v e   b e e n   o f   l i t t l e   u t i l i t y .   I n d e e d ,   c o n t r a r y   t o   t h e   a u d i t o r y   s e n s e ,   t h e r e   i s   n o   k n o w n   p h y s i o l o g i c a l   m e c h a n i s m   s u s t a i n i n g   h a r m o n y   a n d   t h e   t e r m   " h a r m o n i o u s "   j u s t   h a s   t h e   i n f o r m a l   m e a n i n g   o f   " g o i n g   w e l l   t o g e t h e r . "   W e   a r g u e   t h a t   t h e   i n t e l l e c t u a l   f l a w   r e s i d e s   i n   t h e   b e l i e f   t h a t   a   m a s t e r f u l   i n d i v i d u a l   c a n   d e v i s e   a   " p e r f e c t   m e t h o d o l o g y "   t h a t   t h e   e n g i n e e r   c a n   t h e n   r e d u c e   t o   p r a c t i c e   i n   a   c o m p u t e r   p r o g r a m .   W e   s u g g e s t   t h a t   t h e   c o r r e c t   a p p r o a c h   i s   t o   c o n s i d e r   c o l o r   f o r e c a s t i n g   a s   a n   a c t   o f   d i s t i l l a t i o n ,   w h e r e   a   p a l e t t e   i s   d i g e s t e d   f r o m   t h e   s e n t i m e n t   o f   a   v e r y   l a r g e   n u m b e r   o f   p e o p l e .   W e   d e s c r i b e   h o w   t h i s   a p p r o a c h   c a n   b e   r e d u c e d   t o   a n   a l g o r i t h m   b y   r e p l a c i n g   t h e   s u b j e c t i v e   p r o c e s s   w i t h   a   d a t a   a n a l y t i c   p r o c e s s . 	 [ B e r e t t a ,   G i o r d a n o   B . ;   M o r o n e y ,   N a t h a n   M . ]   H e w l e t t   P a c k a r d   L a b s ,   P r i n t i n g   &   C o n t e n t   D e l i v e r y   L a b ,   P a l o   A l t o ,   C A   U S A 	 M o r o n e y ,   N M   ( r e p r i n t   a u t h o r ) ,   H e w l e t t   P a c k a r d   L a b s ,   P r i n t i n g   &   C o n t e n t   D e l i v e r y   L a b ,   1 5 0 1   P a g e   M i l l   R d ,   P a l o   A l t o ,   C A   U S A . 	 g i o r d a n o . b e r e t t a @ h p . c o m ;   n a t h a n . m o r o n e y @ h p . c o m 	 	 	 	 	 B e r e t t a   G ,   2 0 0 5 ,   P   S O C   P H O T O - O P T   I N S ,   V 5 6 7 0 ,   P 1 7 5 ,   D O I   1 0 . 1 1 1 7 / 1 2 . 5 9 2 4 8 9 ;   B e r e t t a   G .   B . ,   1 9 9 3 ,   U . S .   P a t e n t ,   P a t e n t   N o .   [ 5 , 2 5 4 , 9 7 8 ,   5 2 5 4 9 7 8 ] ;   B e r e t t a   G .   B . ,   1 9 9 4 ,   U . S .   P a t e n t ,   P a t e n t   N o .   [ 5 , 3 1 1 , 2 1 2 ,   5 3 1 1 2 1 2 ] ;   B e r e t t a   G .   B . ,   2 0 0 7 ,   S P I E ,   V 6 4 9 3 ;   B e r e t t a   G .   B . ,   1 9 8 8 ,   X E R O X   P A R C   V I D E O ;   B e r e t t a   G .   B . ,   1 9 9 5 ,   G R A P H I C A L   U S E R   I N T E R ;   B e r e t t a   G .   B . ,   2 0 0 5 ,   1 0   C   I N T   C O L   A S S   M A Y ,   V 2 ,   P 1 2 3 1 ;   B e r e t t a   G .   B . ,   1 9 9 0 ,   A C M   S I G G R A P H   V I D E O   R ;   B e r e t t a   G .   B . ,   2 0 0 0 ,   A T T I   F O N D A Z I O N E   G I O R ,   V L V ,   P 9 3 ;   B e r e t t a   G .   B . ,   1 9 9 0 ,   A D V   P R I N T   C   S U M M   S P S ,   P 9 4 ;   B e r l i n   B r e n t ,   1 9 6 9 ,   B A S I C   C O L O R   T E R M S   T H ;   I t t e n   J . ,   1 9 8 7 ,   K U N S T   F A R B E   S T U D I E N A ;   K e l l y   K .   L . ,   1 9 5 5 ,   I S C C   N B S   M E T H O D   D E S I ,   V 5 5 3 ;   L A V E N D E L   L ,   1 9 9 8 ,   6   C O L   I M   C   C O L   S C I   S ,   V 6 ,   P 2 2 8 ;   M I L L E R   G A ,   1 9 5 6 ,   P S Y C H O L   R E V ,   V 6 3 ,   P 8 1 ,   D O I   1 0 . 1 0 3 7 / / 0 0 3 3 - 2 9 5 X . 1 0 1 . 2 . 3 4 3 ;   M o r o n e y   N ,   2 0 0 3 ,   P R O C   S P I E ,   V 5 0 0 8 ,   P 3 6 ,   D O I   1 0 . 1 1 1 7 / 1 2 . 4 7 2 0 1 3 ;   M o r o n e y   N . ,   2 0 0 8 ,   1 6   C O L   I M   C   C O L   S C I ,   V 1 6 ,   P 2 6 8 ;   M o r o n e y   N .   M . ,   2 0 1 1 ,   I N T E R A C T I O N   C O L O U R   L ;   M u n r o e   R . ,   2 0 1 0 ,   X K C D   B L A G   W E B C O M I C ;   M y l o n a s   D . ,   2 0 1 0 ,   1 8   C O L   I M   C   C O L   S C I ,   V 1 8 ,   P 1 4 0 ;   N e m c s i c s   A . ,   1 9 9 3 ,   C O L O U R   D Y N A M I C S   E N V I ;   O ' D o n o v a n   P . ,   2 0 1 1 ,   A C M   T   G R A P H I C ,   V 3 0 ,   P 6 3 ;   S k a f f   S a n d r a ,   2 0 1 1 ,   N i n e t e e n t h   C o l o r   a n d   I m a g i n g   C o n f e r e n c e .   C o l o r   S c i e n c e   a n d   E n g i n e e r i n g   S y s t e m s ,   T e c h n o l o g i e s ,   a n d   A p p l i c a t i o n s .   F i n a l   P r o g r a m   a n d   P r o c e e d i n g s ;   S t o n e   M a u r e e n ,   2 0 0 3 ,   F I E L D   G U I D E   D I G I T A L ;   T o m i n a g a   S . ,   2 0 1 0 ,   S P I E ,   V 7 5 2 8 ;   Z u f f i   S . ,   2 0 0 9 ,   H P L 2 0 0 9 1 8 2 ;   Z u f f i a   S ,   2 0 0 6 ,   P   S O C   P H O T O - O P T   I N S ,   V 6 0 6 1 ,   P 6 1 0 8 ,   D O I   1 0 . 1 1 1 7 / 1 2 . 6 5 1 5 8 9 ;   Z u f f i   S . ,   2 0 0 7 ,   1 4   I N T   C   I M   A N   P   I E E ,   P 2 4 1 ;   Z u f f i   S . ,   2 0 0 7 ,   S P I E ,   V 6 4 9 4 ,   P 4 9 4 0 7 	 2 9 	 0 	 0 	 S P I E - I N T   S O C   O P T I C A L   E N G I N E E R I N G 	 B E L L I N G H A M 	 1 0 0 0   2 0 T H   S T ,   P O   B O X   1 0 ,   B E L L I N G H A M ,   W A   9 8 2 2 7 - 0 0 1 0   U S A 	 0 2 7 7 - 7 8 6 X 	 	 9 7 8 - 0 - 8 1 9 4 8 - 9 3 9 - 5 	 P R O C   S P I E 	 	 	 2 0 1 2 	 8 2 9 2 	 	 	 	 	 	 	 	 8 2 9 2 0 I 	 1 0 . 1 1 1 7 / 1 2 . 9 1 5 8 3 9 	 	 7 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   O p t i c s ;   I m a g i n g   S c i e n c e   &   P h o t o g r a p h i c   T e c h n o l o g y 	 E n g i n e e r i n g ;   O p t i c s ;   I m a g i n g   S c i e n c e   &   P h o t o g r a p h i c   T e c h n o l o g y 	 B Y T 6 5 	 W O S : 0 0 0 3 0 0 1 8 2 0 0 0 0 1 5 	 	 
 J 	 W e g n e r ,   L 	 	 	 	 W e g n e r ,   L a r i s s a 	 	 	 C R O W D S O U R C I N G   F O R   T H E   S T U D Y   O F   H I S T O R Y ?   T H E   O N L I N E   E U R O P E A N   A R C H I V E   1 9 1 4 - 1 9 1 8 	 J O U R N A L   O F   M O D E R N   E U R O P E A N   H I S T O R Y 	 	 	 G e r m a n 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 	 	 	 U n i v   F r e i b u r g ,   H i s t   S e m i n a r ,   L e h r s t u h l   N e u e r e   &   N e u e s t e   G e s c h i c h t e ,   D - 7 9 0 8 5   F r e i b u r g ,   G e r m a n y 	 W e g n e r ,   L   ( r e p r i n t   a u t h o r ) ,   U n i v   F r e i b u r g ,   H i s t   S e m i n a r ,   L e h r s t u h l   N e u e r e   &   N e u e s t e   G e s c h i c h t e ,   W e r t h m a n n p l , K G   4 ,   D - 7 9 0 8 5   F r e i b u r g ,   G e r m a n y . 	 l a r i s s a . w e g n e r @ g e s c h i c h t e . u n i - f r e i b u r g . d e 	 	 	 	 	 	 0 	 0 	 0 	 V E R L A G   C   H   B E C K 	 M U N C H E N 	 W I L H E L M S T R A S S E   9 ,   D - 8 0 8 0 1   M U N C H E N ,   G E R M A N Y 	 1 6 1 1 - 8 9 4 4 	 	 	 J   M O D   E U R   H I S T 	 J .   M o d .   E u r .   H i s t . 	 	 2 0 1 2 	 1 0 	 1 	 	 	 	 	 1 3 9 	 1 4 1 	 	 	 	 3 	 H i s t o r y 	 H i s t o r y 	 8 8 9 F S 	 W O S : 0 0 0 3 0 0 0 5 9 6 0 0 0 0 8 	 	 
 J 	 V i v a c q u a ,   A S ;   B o r g e s ,   M R S 	 	 	 	 V i v a c q u a ,   A d r i a n a   S . ;   B o r g e s ,   M a r c o s   R .   S . 	 	 	 T a k i n g   a d v a n t a g e   o f   c o l l e c t i v e   k n o w l e d g e   i n   e m e r g e n c y   r e s p o n s e   s y s t e m s 	 J O U R N A L   O F   N E T W O R K   A N D   C O M P U T E R   A P P L I C A T I O N S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C o l l e c t i v e   i n t e l l i g e n c e ;   C r o w d s o u r c i n g ;   D i s a s t e r   r e l i e f ;   C o l l e c t i v e   k n o w l e d g e 	 	 W h e n   l a r g e   g r o u p s   w o r k   o n   a   t h e m e ,   t h e y   h a v e   t h e   p o t e n t i a l   t o   p r o d u c e   a   l o t   o f   u s e f u l   k n o w l e d g e ,   r e g a r d l e s s   o f   w h e t h e r   t h e y   a r e   a c t i n g   i n   a   c o o r d i n a t e d   m a n n e r   o r   i n d i v i d u a l l y .   S p o n t a n e o u s l y   g e n e r a t e d   i n f o r m a t i o n   h a s   r e c e i v e d   m u c h   a t t e n t i o n   i n   r e c e n t   y e a r s ,   a s   o r g a n i z a t i o n s   a n d   b u s i n e s s e s   d i s c o v e r   t h e   p o w e r   o f   c r o w d s .   N e w   t e c h n o l o g i e s ,   s u c h   a s   b l o g s ,   T w i t t e r ,   w i k i s ,   p h o t o   s h a r i n g ,   c o l l a b o r a t i v e   t a g g i n g   a n d   s o c i a l   n e t w o r k i n g   s i t e s ,   e n a b l e   t h e   c r e a t i o n   a n d   d i s s e m i n a t i o n   o f   c o n t e n t   i n   a   r e l a t i v e l y   s i m p l e   w a y .   A s   a   r e s u l t ,   t h e   a g g r e g a t e   b o d y   o f   k n o w l e d g e   i s   g r o w i n g   a t   a n   a c c e l e r a t e d   r a t e .   M a n y   o r g a n i z a t i o n s   a r e   l o o k i n g   f o r   w a y s   t o   h a r n e s s   t h i s   p o w e r ,   w h i c h   i s   b e i n g   c a l l e d   c o l l e c t i v e   i n t e l l i g e n c e .   R e s e a r c h   h a s   s h o w n   t h a t   i t   i s   p o s s i b l e   t o   o b t a i n   h i g h   q u a l i t y   r e s u l t s   f r o m   c o l l e c t i v e l y   p r o d u c e d   w o r k .   I n   t h i s   p a p e r ,   w e   c o n s i d e r   t h e   d o m a i n   o f   e m e r g e n c y   r e s p o n s e .   R e s e a r c h   h a s   s h o w n   t h a t   i n d i v i d u a l s   r e s p o n d   q u i c k l y   a n d   m a s s i v e l y   t o   e m e r g e n c i e s ,   a n d   t h a t   t h e y   t r y   t o   h e l p   w i t h   t h e   s i t u a t i o n .   T h u s ,   i t   s e e m s   l i k e   a   l o g i c a l   s t e p   t o   a t t e m p t   t o   h a r n e s s   c o l l e c t i v e   k n o w l e d g e   f o r   e m e r g e n c y   m a n a g e m e n t .   D i s a s t e r   r e l i e f   g r o u p s   a n d   f i e l d   c o m m a n d   f r e q u e n t l y   s u f f e r   f r o m   l a c k   o f   u p   t o   d a t e   i n f o r m a t i o n ,   w h i c h   m a y   b e   c r i t i c a l   i n   a   r a p i d l y   e v o l v i n g   s i t u a t i o n .   S o m e   o f   t h i s   i n f o r m a t i o n   c o u l d   b e   g e n e r a t e d   b y   t h e   c r o w d   a t   l a r g e ,   e n a b l i n g   m o r e   e f f e c t i v e   r e s p o n s e   t o   t h e   s i t u a t i o n .   I n   t h i s   p a p e r ,   w e   d i s c u s s   t h e   p o s s i b i l i t i e s   f o r   t h e   i n t r o d u c t i o n   o f   c o l l e c t i v e   k n o w l e d g e   i n   d i s a s t e r   r e l i e f   a n d   p r e s e n t   a r c h i t e c t u r e   a n d   e x a m p l e s   o f   h o w   t h i s   c o u l d   b e   a c c o m p l i s h e d .   ( C )   2 0 1 1   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ V i v a c q u a ,   A d r i a n a   S . ]   U F R J   F e d   U n i v   R i o   J a n e i r o ,   I n s t   M a t h ,   D e p t   C o m p   S c i ,   P P G I   D C C   I M   G r a d   P r o g r a m   I n f o r m a t ,   R i o   D e   J a n e i r o ,   B r a z i l ;   [ B o r g e s ,   M a r c o s   R .   S . ]   U F R J   F e d   U n i v   R i o   J a n e i r o ,   N C E   E l e c t   C o m p   I n s t ,   D e p t   C o m p   S c i ,   P P G I   D C C   I M   G r a d   P r o g r a m   I n f o r m a t ,   R i o   D e   J a n e i r o ,   B r a z i l 	 V i v a c q u a ,   A S   ( r e p r i n t   a u t h o r ) ,   U F R J   F e d   U n i v   R i o   J a n e i r o ,   I n s t   M a t h ,   D e p t   C o m p   S c i ,   P P G I   D C C   I M   G r a d   P r o g r a m   I n f o r m a t ,   R i o   D e   J a n e i r o ,   B r a z i l . 	 a v i v a c q u a @ d c c . u f r j . b r ;   m b o r g e s @ n c e . u f r j . b r 	 B o r g e s ,   M a r c o s / C - 1 9 1 7 - 2 0 1 3 	 	 C N P q   ( B r a z i l )   [ 3 0 4 2 5 2 / 2 0 0 8 - 5 ] ;   L A C C I R   [ R 0 3 0 8 L A C 0 0 4 ] ;   F A P E R J 	 M a r c o s   R . S .   B o r g e s   w a s   p a r t i a l l y   s u p p o r t e d   b y   G r a n t   n o .   3 0 4 2 5 2 / 2 0 0 8 - 5   f r o m   C N P q   ( B r a z i l )   a n d   n o .   R 0 3 0 8 L A C 0 0 4   f r o m   L A C C I R .   A d r i a n a   S .   V i v a c q u a   w a s   p a r t i a l l y   s u p p o r t e d   b y   F A P E R J . 	 A l i g n e   F . ,   2 0 0 9 ,   I N F   S Y S T   T E C H N   P A N   I ;   B e l l o   P G ,   2 0 0 7 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 4 5 8 ,   P 1 2 6 ;   C a r m i n a t t i   N ,   2 0 0 6 ,   C O M P U T   I N F O R M ,   V 2 5 ,   P 5 4 7 ;   D i n i z   V . ,   2 0 0 8 ,   E N C Y   D E C I S I O N   M A K I N G ,   V I ,   P 1 8 4 ;   * G O O G L ,   R A N D   H A C K S   K I N D N ;   H E E R   J ,   2 0 1 0 ,   P   2 0 1 0   A C M   C   C O M P   H U ;   H O A R E   G ,   2 0 0 8 ,   P   5   I N T   I S C R A M   C   W A S ;   H u g h e s   A .   L . ,   2 0 0 8 ,   P   5   I N T   I S C R A M   C   W A S ;   K e n n e d y   J . ,   2 0 0 8 ,   J   C O N T I N G   C R I S I S   M A N ,   V 1 6 ,   P 2 4 ,   D O I   D O I   1 0 . 1 1 1 1 / J . 1 4 6 8 - 5 9 7 3 . 2 0 0 8 . 0 0 5 2 9 . X ;   K i t t u r   A . ,   2 0 0 8 ,   P   2 6   A N N   S I G C H I   C   H U ,   P 4 5 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 5 7 0 5 4 . 1 3 5 7 1 2 7 ;   L I U   S ,   2 0 0 9 ,   P   C   I N F   S Y S T   C R I S   R E ;   L L A V A D O R   M ,   2 0 0 7 ,   L E C T   N O T E S   C O M P U T E R ,   V 4 4 5 8 ,   P 1 4 3 ;   O c h o a   S . F . ,   2 0 0 7 ,   J   D E C I S I O N   S Y S T E M S ,   V 1 6 ,   P 1 4 3 ,   D O I   D O I   1 0 . 3 1 6 6 / J D S . 1 6 . 1 4 3 - 1 7 2 ;   P A U L   I ,   2 0 0 9 ,   M I C E R O S O F T S   V I N E   E M E ;   S e g a r a n   T ,   2 0 0 7 ,   P R O G R A M M I N G   C O L L E C T I ;   S I L V A   C R C ,   2 0 0 9 ,   S B S I   2 0 0 9   5   S   B R A S   S ;   S I N G H   P ,   P   2 0 0 2   A A A I   S P R I N G   S ,   P 4 7 ;   S u n s t e i n   C .   R . ,   2 0 0 6 ,   I N F O T O P I A   M A N Y   M I N D S ;   S u r o w i e c k y   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   V i e w e g   S . ,   2 0 0 8 ,   P   5   I N T   I S C R A M   C   W A S 	 2 0 	 5 	 5 	 A C A D E M I C   P R E S S   L T D -   E L S E V I E R   S C I E N C E   L T D 	 L O N D O N 	 2 4 - 2 8   O V A L   R D ,   L O N D O N   N W 1   7 D X ,   E N G L A N D 	 1 0 8 4 - 8 0 4 5 	 	 	 J   N E T W   C O M P U T   A P P L 	 J .   N e t w .   C o m p u t .   A p p l . 	 J A N 	 2 0 1 2 	 3 5 	 1 	 	 	 	 	 1 8 9 	 1 9 8 	 	 1 0 . 1 0 1 6 / j . j n c a . 2 0 1 1 . 0 3 . 0 0 2 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 8 6 5 V I 	 W O S : 0 0 0 2 9 8 3 3 8 6 0 0 0 1 7 	 	 
 J 	 H a n y a n e ,   C 	 	 	 I E E E 	 H a n y a n e ,   C h r i s p e n 	 	 	 E x p e r i e n c e s   i n   c r e a t i n g   I n c l u s i v e   I n f o r m a t i o n   a n d   C o m m u n i c a t i o n s   T e c h n o l o g i e s   ( I I C T )   D e m o c r a t i z i n g   S o f t w a r e   D e v e l o p m e n t   i n   S o c i a l   D e v e l o p m e n t 	 A F R I C A N   C O N F E R E N C E   O N   S O F T W A R E   E N G I N E E R I N G   A N D   A P P L I E D   C O M P U T I N G   ( A C S E A C   2 0 1 2 ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 2 n d   A f r i c a n   C o n f e r e n c e   o n   S o f t w a r e   E n g i n e e r i n g   a n d   A p p l i e d   C o m p u t i n g   ( A C S E A C ) 	 S E P   2 4 - 2 5 ,   2 0 1 2 	 G a b o r o n e ,   B O T S W A N A 	 I E E E   C o m p   S o c ,   U n i v   B o t s w a n a ,   D e p t   C o m p   S c i ,   U n i v   N a i r o b i ,   D e p t   C o m p   S c i ,   T e n s i d ,   S p r i n g e r ,   G o o g l e ,   I E E E   T e c h   C o m m   S c a l a b l e   C o m p 	 	 g r a s s r o o t s ;   d i g i t a l   d i v i d e ;   G I S ;   I I C T 	 	 C r o w d s o u r c i n g ,   c i t i z e n   j o u r n a l i s m   a n d   s o c i a l   n e t w o r k s   a r e   I n f o r m a t i o n   a n d   C o m m u n i c a t i o n s   T e c h n o l o g i e s   ( I C T )   t h a t   h a v e   u s h e r e d   i n   c i v i l   s o c i e t y ' s   p a r t i c i p a t i o n   i n   t h e   I C T   e q u a t i o n .   H o w e v e r ,   t h e   p a r t i c i p a t i o n   o f   c i v i l   s o c i e t y   h a s   b e e n   l i m i t e d   t o   c r e a t i n g   c o n t e n t   a n d ,   t o   s o m e   e x t e n t ,   c a p t u r i n g   d a t a   a b o u t   e v e n t s   a r o u n d   t h e   c o m m u n i t y .   A n   a r e a   t h a t   h a s   b e e n   n e g l e c t e d   i s   t h e   i n c l u s i o n   o f   t h e s e   n e w   p l a y e r s   i n   t h e   s o f t w a r e   d e v e l o p m e n t   l i f e   c y c l e .   D e m o c r a t i z i n g   s o f t w a r e   d e v e l o p m e n t   b y   i n c l u d i n g   c i v i l   s o c i e t y   i n   t h e   s o f t w a r e   d e v e l o p m e n t   l i f e   c y c l e   w i l l   i n c r e a s e   t h e   v a r i e t y   o f   s o f t w a r e   a p p l i c a t i o n s   a n d   g e n e r a t e   m o r e   b u y - i n   o f   a p p l i c a t i o n s   t h a t   i m p r o v e   l i v e l i h o o d s .   S u c h   a n   a p p r o a c h   w i l l   l e a d   t o   t h e   e m e r g e n c e   o f   I n c l u s i v e   I n f o r m a t i o n   a n d   C o m m u n i c a t i o n   T e c h n o l o g i e s   ( I I C T ) .   T h e   c h a l l e n g e s   t h a t   a r i s e   w h e n   d e v e l o p i n g   I I C T s   i n c l u d e ,   i n t e r   a l i a ,   o w n e r s h i p   o f   I I C T ,   c o m p u t e r   i l l i t e r a c y   o f   b e n e f i c i a r y   c o m m u n i t i e s ,   b a l k a n i z e d   n a t u r e   o f   c o m m u n i t i e s   i n   p l a c e   a n d   t h e   w e l l - k n o w n   c h a l l e n g e   o f   t h e   c o m m u n i c a t i o n   g a p   b e t w e e n   s o f t w a r e   d e v e l o p e r s   a n d   u s e r   c o m m u n i t i e s .   M y   a p p r o a c h   t o   a d d r e s s i n g   t h e s e   c h a l l e n g e s   w a s   t o   d e v e l o p   t h e   I n t e g r a t e d   D e v e l o p m e n t   S p a t i a l   P l a n n i n g   F r a m e w o r k   ( I D S P F ) ,   a   s y s t e m s   d e v e l o p m e n t   m e t h o d o l o g y   t h a t   s e e k s   t o   d e m y s t i f y   s o f t w a r e   d e v e l o p m e n t   f o r   g r a s s r o o t s   c o m m u n i t i e s   b y   u s i n g   p a r t i c i p a t o r y   t e c h n i q u e s   t h a t   a r e   f a m i l i a r   t o   s t a k e h o l d e r s   w h o   i m p l e m e n t   s o c i o   e c o n o m i c   d e v e l o p m e n t   p r o j e c t s . 	 I C L   B o t s w a n a ,   T e c h n o l   &   C h a n g e   M a n a g e m e n t ,   G a b o r o n e ,   B o t s w a n a 	 H a n y a n e ,   C   ( r e p r i n t   a u t h o r ) ,   I C L   B o t s w a n a ,   T e c h n o l   &   C h a n g e   M a n a g e m e n t ,   G a b o r o n e ,   B o t s w a n a . 	 c h r i s . h a n y a n e @ g m a i l . c o m 	 	 	 	 	 C o l l i n s   J a m e s   C ,   1 9 9 7 ,   B U I L T   L A S T ;   F A O   C o r p o r a t e   R e p o s i t o r y ,   C O N D   P R A   T R A I N   M O D   P ;   I n v e n e o ,   2 0 1 0 ,   S U S T   I C T   P R I M   W H A T   C ;   J a m u   C . ,   2 0 1 1 ,   N E W   H A R V E S T   A G R   I N N O ;   J e k i n s   M . ,   2 0 0 8 ,   I N F O R M   T E C H N O L O G Y   D E ,   V 1 4 ,   P 2 7 ;   Y o t c o   M .   C . ,   1 9 9 9 ,   J O I N T   A P P L   D E S I G N   D E ;   Z a c h m a n   J . A ,   2 0 0 0 ,   E N T   A R C H   F R A M 	 7 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 0 - 7 6 9 5 - 4 9 0 9 - 5 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 4 0 	 4 6 	 	 1 0 . 1 1 0 9 / A C S E A C . 2 0 1 2 . 1 3 	 	 7 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B A 1 Q O 	 W O S : 0 0 0 3 3 2 8 9 4 3 0 0 0 0 7 	 	 
 J 	 H a r d a s ,   M S ;   P u r v i s ,   L 	 	 N g u y e n ,   N T ;   H o a n g ,   K ;   J e d r z e j o w i c z ,   P 	 	 H a r d a s ,   M a n a s   S . ;   P u r v i s ,   L i s a 	 	 	 B a y e s i a n   V o t e   W e i g h t i n g   i n   C r o w d s o u r c i n g   S y s t e m s 	 C O M P U T A T I O N A L   C O L L E C T I V E   I N T E L L I G E N C E   -   T E C H N O L O G I E S   A N D   A P P L I C A T I O N S ,   P T   I 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 4 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m p u t a t i o n a l   C o l l e c t i v e   I n t e l l i g e n c e   -   T e c h n o l o g i e s   a n d   A p p l i c a t i o n s   ( I C C C I ) 	 N O V   2 8 - 3 0 ,   2 0 1 2 	 H o   C h i   M i n h   C i t y ,   V I E T N A M 	 W r o c l a w   U n i v   T e c h n o l ,   V i e t n a m   N a t l   U n i v ,   U n i v   I n f o r m a t   T e c h n o l ,   P o l i s h   A c a d   S c i ,   C o m m   I n f o r m a t ,   I E E E   S M C   T e c h   C o m m   C o m p u t a t   C o l l e c t   I n t e l l i g e n c e ,   N a t l   F d n   S c i   &   T e c h n o l   D e v ,   I n h a   U n i v ,   H u e   U n i v 	 	 	 	 I n   s o c i a l   c o l l a b o r a t i v e   c r o w d s o u r c i n g   p l a t f o r m s ,   t h e   v o t e s   w h i c h   p e o p l e   g i v e   o n   t h e   c o n t e n t   g e n e r a t e d   b y   o t h e r s   i s   a   v e r y   i m p o r t a n t   c o m p o n e n t   o f   t h e   s y s t e m   w h i c h   s e e k s   t o   f i n d   t h e   b e s t   c o n t e n t   t h r o u g h   c o l l a b o r a t i v e   a c t i o n .   I n   a   c r o w d s o u r c e d   i n n o v a t i o n   p l a t f o r m ,   p e o p l e   v o t e   o n   i n n o v a t i o n s / i d e a s   g e n e r a t e d   b y   o t h e r s   w h i c h   e n a b l e s   t h e   s y s t e m   t o   s y n t h e s i z e   t h e   v i e w   o f   t h e   c r o w d   a b o u t   a n   i d e a .   H o w e v e r ,   i n   m a n y   s u c h   s y s t e m s   g a m i n g   o r   v o t e   s p a m m i n g   a s   i t   i s   c o m m o n l y   k n o w n   i s   p r e v a l e n t .   I n   t h i s   p a p e r   w e   p r e s e n t   a   B a y e s i a n   m e c h a n i s m   f o r   w e i g h t i n g   t h e   a c t u a l   v o t e   g i v e n   b y   a   u s e r   t o   c o m p u t e   a n   e f f e c t i v e   v o t e   w h i c h   i n c o r p o r a t e s   t h e   v o t e r s   h i s t o r y   o f   v o t i n g   a n d   a l s o   w h a t   t h e   c r o w d   i s   t h i n k i n g   a b o u t   t h e   v a l u e   o f   t h e   i n n o v a t i o n .   T h e   m o d e l   r e s u l t s   i n t o   s o m e   i n t e r e s t i n g   i n s i g h t s   a b o u t   s o c i a l   v o t i n g   s y s t e m s   a n d   n e w   a v e n u e s   f o r   g a m i f i c a t i o n . 	 	 H a r d a s ,   M S   ( r e p r i n t   a u t h o r ) ,   3 1 1   R a y   S t ,   P l e a s a n t o n ,   C A   9 4 5 6 6   U S A . 	 m h a r d a s @ s p i g i t . c o m ;   l p u r v i s @ s p i g i t . c o m 	 	 	 	 	 A g i c h t e i n   E . ,   2 0 0 8 ,   P   W S D M ;   B i a n   J . ,   2 0 0 8 ,   P   4   I N T   W O R K S H   A D V   I ,   P 5 3 ,   D O I   1 0 . 1 1 4 5 / 1 4 5 1 9 8 3 . 1 4 5 1 9 9 7 ;   D a n i   V . ,   2 0 0 6 ,   P   C   U N C   A R T   I N T   U A I ;   I m m o r l i c a   N ,   2 0 0 5 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 8 2 8 ,   P 3 4 ;   J e o n   J . ,   2 0 0 6 ,   P   S I G I R ;   K u n c h e v a   L I ,   2 0 0 3 ,   P A T T E R N   A N A L   A P P L ,   V 6 ,   P 2 2 ,   D O I   1 0 . 1 0 0 7 / s 1 0 0 4 4 - 0 0 2 - 0 1 7 3 - 7 ;   L e e   M . D . ,   2 0 0 9 ,   P   3 1   A N N   C   C O G N   S C I ;   M e h t a   B . ,   2 0 0 7 ,   P   1 2   I N T   C   I N T   U S   I N ;   M i l l e r   B . ,   2 0 0 9 ,   P   9   I N T   C   C O G N   M O D   M ;   R a d l i n s k i   F . ,   2 0 0 6 ,   P   N A T   C   A R T   I N T   A A A I ;   S u   Q . ,   2 0 0 7 ,   P   1 6   I N T   C   W O R L D   W I D ;   S U R O W I E C K I   J A M E S ,   2 0 0 4 ,   W I S D O M   C R O W D S ;   T u r n e r   B . ,   2 0 1 1 ,   2   N I P S   W O R K S H   C O M P   S ;   Y i   S . K . M . ,   2 0 1 0 ,   P   3 2   A N N   C   C O G N   S C I 	 1 4 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 3 4 6 3 0 - 9 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 2 	 7 6 5 3 	 	 	 	 	 	 1 9 4 	 2 0 3 	 	 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B 0 P D 	 W O S : 0 0 0 3 4 0 5 7 3 0 0 0 0 2 0 	 	 
 J 	 W a l d ,   M 	 	 M i e s e n b e r g e r ,   K ;   K a r s h m e r ,   A ;   P e n a z ,   P ;   Z a g l e r ,   W 	 	 W a l d ,   M i k e 	 	 	 I m p o r t a n t   N e w   E n h a n c e m e n t s   t o   I n c l u s i v e   L e a r n i n g   U s i n g   R e c o r d e d   L e c t u r e s 	 C O M P U T E R S   H E L P I N G   P E O P L E   W I T H   S P E C I A L   N E E D S ,   P T   I 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 3 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m p u t e r s   H e l p i n g   P e o p l e   w i t h   S p e c i a l   N e e d s   ( I C C H P ) 	 J U L   1 1 - 1 3 ,   2 0 1 2 	 L i n z ,   A U S T R I A 	 U n i t e d   N a t   E d u c ,   S c i   &   C u l t u r a l   O r g ,   E u r o p e a n   D i s a b i l   F o r u m ,   J o h a n n e s   K e p l e r   U n i v   L i n z 	 	 s p e e c h   r e c o g n i t i o n ;   r e c o r d e d   l e c t u r e s ;   l e a r n i n g 	 	 T h i s   p a p e r   e x p l a i n s   t h r e e   n e w   i m p o r t a n t   e n h a n c e m e n t s   t o   S y n o t e ,   t h e   f r e e l y   a v a i l a b l e ,   a w a r d   w i n n i n g ,   o p e n   s o u r c e ,   w e b   b a s e d   a p p l i c a t i o n   t h a t   m a k e s   w e b   h o s t e d   r e c o r d i n g s   e a s i e r   t o   a c c e s s ,   s e a r c h ,   m a n a g e ,   a n d   e x p l o i t   f o r   l e a r n e r s ,   t e a c h e r s   a n d   o t h e r   u s e r s .   T h e   f a c i l i t y   t o   c o n v e r t   a n d   i m p o r t   n a r r a t e d   P o w e r P o i n t   P P T X   f i l e s   m e a n s   t h a t   t e a c h e r s   c a n   c a p t u r e   a n d   c a p t i o n   t h e i r   l e c t u r e s   w i t h o u t   r e q u i r i n g   i n s t i t u t i o n - w i d e   e x p e n s i v e   l e c t u r e   c a p t u r e   o r   c a p t i o n i n g   s y s t e m s .   C r o w d s o u r c i n g   c o r r e c t i o n   o f   s p e e c h   r e c o g n i t i o n   e r r o r s   a l l o w s   f o r   s u s t a i n a b l e   c a p t i o n i n g   o f   a n y   o r i g i n a l l y   u n c a p t i o n e d   l e c t u r e   w h i l e   t h e   d e v e l o p m e n t   o f   a n   i n t e g r a t e d   m o b i l e   s p e e c h   r e c o g n i t i o n   a p p l i c a t i o n   e n a b l e s   s y n c h r o n i z e d   l i v e   v e r b a l   c o n t r i b u t i o n s   f r o m   t h e   c l a s s   t o   a l s o   b e   c a p t u r e d   t h r o u g h   c a p t i o n s . 	 U n i v   S o u t h a m p t o n ,   E C S ,   S o u t h a m p t o n ,   H a n t s ,   E n g l a n d 	 W a l d ,   M   ( r e p r i n t   a u t h o r ) ,   U n i v   S o u t h a m p t o n ,   E C S ,   S o u t h a m p t o n ,   H a n t s ,   E n g l a n d . 	 m . w a l d @ s o t o n . a c . u k 	 	 	 	 	 F i s c u s   J . ,   2 0 0 5 ,   R I C H   T R A N S C R I P T I O N   2 ;   L e i t c h   D . ,   2 0 0 3 ,   L I B E R A T E D   L E A R N I N G   I ;   L i   Y X ,   2 0 1 1 ,   I N T   J   R O C K   M E C H   M I N ,   V 1 ,   P 1 ;   W a l d   M . ,   2 0 0 7 ,   P   H C I   I N T   C   J U L ,   V 7 ,   P 4 4 6 ;   W a l d   M i k e ,   2 0 0 9 ,   2 0 0 9   N i n t h   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   A d v a n c e d   L e a r n i n g   T e c h n o l o g i e s   ( I C A L T ) ,   D O I   1 0 . 1 1 0 9 / I C A L T . 2 0 0 9 . 1 6 ;   W h i t t a k e r   S . ,   1 9 9 4 ,   P   C H I   9 4   C   H U M   F A C T ,   P 2 7 1 ,   D O I   1 0 . 1 1 4 5 / 1 9 1 6 6 6 . 1 9 1 7 6 3 	 6 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 3 1 5 2 2 - 0 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 2 	 7 3 8 2 	 	 	 	 	 	 1 0 8 	 1 1 5 	 	 	 	 8 	 C o m p u t e r   S c i e n c e ,   C y b e r n e t i c s ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B A 3 H S 	 W O S : 0 0 0 3 3 4 2 7 0 1 0 0 0 1 6 	 	 
 J 	 K u l y u k i n ,   V ;   Z a m a n ,   T ;   A n d h a v a r a p u ,   A ;   K u t i y a n a w a l a ,   A 	 	 M i e s e n b e r g e r ,   K ;   K a r s h m e r ,   A ;   P e n a z ,   P ;   Z a g l e r ,   W 	 	 K u l y u k i n ,   V l a d i m i r ;   Z a m a n ,   T a n w i r ;   A n d h a v a r a p u ,   A b h i s h e k ;   K u t i y a n a w a l a ,   A l i a s g a r 	 	 	 E y e s i g h t   S h a r i n g   i n   B l i n d   G r o c e r y   S h o p p i n g :   R e m o t e   P 2 P   C a r e g i v i n g   t h r o u g h   C l o u d   C o m p u t i n g 	 C O M P U T E R S   H E L P I N G   P E O P L E   W I T H   S P E C I A L   N E E D S ,   P T   I I 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 3 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m p u t e r s   H e l p i n g   P e o p l e   w i t h   S p e c i a l   N e e d s   ( I C C H P ) 	 J U L   1 1 - 1 3 ,   2 0 1 2 	 L i n z ,   A U S T R I A 	 U n i t e d   N a t   E d u c ,   S c i   &   C u l t u r a l   O r g ,   E u r o p e a n   D i s a b i l   F o r u m ,   J o h a n n e s   K e p l e r   U n i v   L i n z 	 	 	 	 P r o d u c t   r e c o g n i t i o n   c o n t i n u e s   t o   b e   a   m a j o r   a c c e s s   b a r r i e r   f o r   v i s u a l l y   i m p a i r e d   ( V I )   a n d   b l i n d   i n d i v i d u a l s   i n   m o d e r n   s u p e r m a r k e t s .   R & D   a p p r o a c h e s   t o   t h i s   p r o b l e m   i n   t h e   a s s i s t i v e   t e c h n o l o g y   ( A T )   l i t e r a t u r e   v a r y   f r o m   a u t o m a t e d   v i s i o n - b a s e d   s o l u t i o n s   t o   c r o w d s o u r c i n g   a p p l i c a t i o n s   w h e r e   V I   c l i e n t s   s e n d   i m a g e   i d e n t i f i c a t i o n   r e q u e s t s   t o   w e b   s e r v i c e s .   T h e   f o r m e r   s t r u g g l e   w i t h   r u n - t i m e   f a i l u r e s   a n d   s c a l a b i l i t y   w h i l e   t h e   l a t t e r   m u s t   c o p e   w i t h   c o n c e r n s   a b o u t   t r u s t ,   p r i v a c y ,   a n d   q u a l i t y   o f   s e r v i c e .   I n   t h i s   p a p e r ,   w e   i n v e s t i g a t e   a   m o b i l e   c l o u d   c o m p u t i n g   f r a m e w o r k   f o r   r e m o t e   c a r e g i v i n g   t h a t   m a y   h e l p   V I   a n d   b l i n d   c l i e n t s   w i t h   p r o d u c t   r e c o g n i t i o n   i n   s u p e r m a r k e t s .   T h i s   f r a m e w o r k   e m p h a s i z e s   r e m o t e   t e l e a s s i s t a n c e   a n d   a s s u m e s   t h a t   c l i e n t s   w o r k   w i t h   d e d i c a t e d   c a r e g i v e r s   ( h e l p e r s ) .   C l i e n t s   t a p   o n   t h e i r   s m a r t p h o n e s '   t o u c h s c r e e n s   t o   s e n d   i m a g e s   o f   p r o d u c t s   t h e y   e x a m i n e   t o   t h e   c l o u d   w h e r e   t h e   S U R F   a l g o r i t h m   m a t c h e s   i n c o m i n g   i m a g e   a g a i n s t   i t s   i m a g e   d a t a b a s e .   I m a g e s   a l o n g   w i t h   t h e   n a m e s   o f   t h e   t o p   5   m a t c h e s   a r e   s e n t   t o   r e m o t e   s i g h t e d   h e l p e r s   v i a   p u s h   n o t i f i c a t i o n   s e r v i c e s .   A   h e l p e r   c o n f i r m s   t h e   p r o d u c t ' s   n a m e ,   i f   i t   i s   i n   t h e   t o p   5   m a t c h e s ,   o r   s p e a k s   o r   t y p e s   t h e   p r o d u c t ' s   n a m e ,   i f   i t   i s   n o t .   B a s i c   q u a l i t y   o f   s e r v i c e   i s   e n s u r e d   t h r o u g h   h u m a n   e y e s i g h t   s h a r i n g   e v e n   w h e n   i m a g e   m a t c h i n g   d o e s   n o t   w o r k   w e l l .   W e   i m p l e m e n t e d   t h i s   f r a m e w o r k   i n   a   m o d u l e   c a l l e d   E y e S h a r e   o n   t w o   A n d r o i d   2 . 3 . 3 / 2 . 3 . 6   s m a r t p h o n e s .   E y e S h a r e   w a s   t e s t e d   i n   t h r e e   e x p e r i m e n t s   w i t h   o n e   b l i n d f o l d e d   s u b j e c t :   o n e   l a b   s t u d y   a n d   t w o   e x p e r i m e n t s   i n   F r e s h   M a r k e t ,   a   s u p e r m a r k e t   i n   L o g a n ,   U t a h .   T h e   r e s u l t s   o f   o u r   e x p e r i m e n t s   s h o w   t h a t   t h e   p r o p o s e d   f r a m e w o r k   m a y   b e   u s e d   a s   a   p r o d u c t   i d e n t i f i c a t i o n   s o l u t i o n   i n   s u p e r m a r k e t s . 	 [ K u l y u k i n ,   V l a d i m i r ;   Z a m a n ,   T a n w i r ;   A n d h a v a r a p u ,   A b h i s h e k ;   K u t i y a n a w a l a ,   A l i a s g a r ]   U t a h   S t a t e   U n i v ,   D e p t   C o m p   S c i ,   L o g a n ,   U T   8 4 3 2 2   U S A 	 K u l y u k i n ,   V   ( r e p r i n t   a u t h o r ) ,   U t a h   S t a t e   U n i v ,   D e p t   C o m p   S c i ,   L o g a n ,   U T   8 4 3 2 2   U S A . 	 v l a d i m i r . k u l y u k i n @ u s u . e d u 	 	 	 	 	 B a y   H ,   2 0 0 6 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 9 5 1 ,   P 4 0 4 ;   B u j a c z   M . ,   2 0 0 8 ,   P   C   H U M   S Y S T   I N T ,   P 8 8 8 ;   G i r o d   B ,   2 0 1 1 ,   I E E E   S I G N A L   P R O C   M A G ,   V 2 8 ,   P 6 1 ,   D O I   1 0 . 1 1 0 9 / M S P . 2 0 1 1 . 9 4 0 8 8 1 ;   K u l y u k i n   V . ,   2 0 1 0 ,   O P E N   R E H A B I L I T A T I O N ,   V 3 ,   P 1 5 8 ;   K u t i y a n a w a l a   A l i a s g a r ,   2 0 1 1 ,   P r o c e e d i n g s   o f   t h e   2 0 1 1   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n t e r n e t   C o m p u t i n g ;   P e a k e   P . ,   1 9 7 1 ,   U S E   H E A R T   R A T E   I N D E X ;   V e d a n t h a m   R . ,   1 8 7 3 ,   P   I N T   C   M U L T   M M   2 0 1 0 ,   P 1 5 8 7 ,   D O I   [ 1 0 . 1 1 4 5 / 1 8 7 3 9 5 1 . 1 8 7 4 2 9 3 ,   D O I   1 0 . 1 1 4 5 / 1 8 7 3 9 5 1 . 1 8 7 4 2 9 3 ] ;   v o n   R e i s c h a c h   F ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 7 2 6 ,   P 8 0 4 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 3 6 5 5 - 2 _ 8 8 	 8 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 3 1 5 3 4 - 3 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 2 	 7 3 8 3 	 	 	 	 	 	 7 5 	 8 2 	 	 	 	 8 	 C o m p u t e r   S c i e n c e ,   C y b e r n e t i c s ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B A 3 H V 	 W O S : 0 0 0 3 3 4 2 7 1 9 0 0 0 1 2 	 	 
 J 	 B u m b a l e k ,   Z ;   Z e l e n k a ,   J ;   K e n c l ,   L 	 	 M i e s e n b e r g e r ,   K ;   K a r s h m e r ,   A ;   P e n a z ,   P ;   Z a g l e r ,   W 	 	 B u m b a l e k ,   Z d e n e k ;   Z e l e n k a ,   J a n ;   K e n c l ,   L u k a s 	 	 	 C l o u d - B a s e d   A s s i s t i v e   S p e e c h - T r a n s c r i p t i o n   S e r v i c e s 	 C O M P U T E R S   H E L P I N G   P E O P L E   W I T H   S P E C I A L   N E E D S ,   P T   I I 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 3 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m p u t e r s   H e l p i n g   P e o p l e   w i t h   S p e c i a l   N e e d s   ( I C C H P ) 	 J U L   1 1 - 1 3 ,   2 0 1 2 	 L i n z ,   A U S T R I A 	 U n i t e d   N a t   E d u c ,   S c i   &   C u l t u r a l   O r g ,   E u r o p e a n   D i s a b i l   F o r u m ,   J o h a n n e s   K e p l e r   U n i v   L i n z 	 	 H e a r i n g - I m p a i r e d ;   C l o u d   C o m p u t i n g ;   V o i c e   R e c o g n i t i o n 	 R E A L - T I M E ;   R E C O G N I T I O N 	 R e a l - t i m e   s p e e c h   t r a n s c r i p t i o n   i s   a   s e r v i c e   o f   p o t e n t i a l l y   t r e m e n d o u s   p o s i t i v e   i m p a c t   o n   q u a l i t y   o f   l i f e   o f   t h e   h e a r i n g - i m p a i r e d .   R e c e n t   a d v a n c e s   i n   t e c h n o l o g i e s   o f   m o b i l e   n e t w o r k s ,   c l o u d   s e r v i c e s ,   s p e e c h   t r a n s c r i p t i o n   a n d   m o b i l e   c l i e n t s   a l l o w e d   u s   t o   b u i l d   e S c r i b e ,   a   u b i q u i t i o u s l y   a v a i l a b l e ,   c l o u d - b a s e d ,   s p e e c h - t r a n s c r i p t i o n   s e r v i c e .   W e   p r e s e n t   t h e   d e p l o y e d   s y s t e m ,   e v a l u a t e   t h e   a p p l i c a b i l i t y   o f   a u t o m a t e d   s p e e c h   r e c o g n i t i o n   u s i n g   r e a l   m e a s u r e m e n t s   a n d   o u t l i n e   a   v i s i o n   o f   t h e   f u t u r e   e n h a n c e d   p l a t f o r m ,   c r o w d s o u r c i n g   h u m a n   t r a n s c r i b e r s   i n   s o c i a l   n e t w o r k s . 	 [ B u m b a l e k ,   Z d e n e k ;   Z e l e n k a ,   J a n ;   K e n c l ,   L u k a s ]   C z e c h   T e c h   U n i v ,   F a c   E l e c t   E n g n ,   D e p t   T e l e c o m m u n   E n g n ,   R & D   C t r   M o b i l e   A p p l i c a t   R D C ,   P r a g u e   1 6 6 2 7   6 ,   C z e c h   R e p u b l i c 	 B u m b a l e k ,   Z   ( r e p r i n t   a u t h o r ) ,   C z e c h   T e c h   U n i v ,   F a c   E l e c t   E n g n ,   D e p t   T e l e c o m m u n   E n g n ,   R & D   C t r   M o b i l e   A p p l i c a t   R D C ,   P r a g u e   1 6 6 2 7   6 ,   C z e c h   R e p u b l i c . 	 b u m b a z d e @ f e l . c v u t . c z ;   z e l e n j 2 @ f e l . c v u t . c z ;   l u k a s . k e n c l @ f e l . c v u t . c z 	 	 	 	 	 B u m b a l e k   Z ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 1 8 0 ,   P 1 6 0 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 4 1 0 0 - 3 _ 2 5 ;   F o r m a n   I R ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 6 1 6 ,   P 5 2 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 2 7 1 3 - 0 _ 5 5 ;   I D I A P   R e s e a r c h   I n s t i t u t e ,   U S   I N F   R E T R   M E A S   S P E ;   M i y o s h i   S ,   2 0 0 8 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 1 0 5 ,   P 6 4 7 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 7 0 5 4 0 - 6 _ 9 2 ;   W a l d   M ,   2 0 0 6 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 0 6 1 ,   P 6 8 3 	 5 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 3 1 5 3 4 - 3 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 2 	 7 3 8 3 	 	 	 	 	 	 1 1 3 	 1 1 6 	 	 	 	 4 	 C o m p u t e r   S c i e n c e ,   C y b e r n e t i c s ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B A 3 H V 	 W O S : 0 0 0 3 3 4 2 7 1 9 0 0 0 1 7 	 	 
 J 	 O x m a n ,   R ;   G u ,   N 	 	 A c h t e n ,   H ;   P a v l i c e k ,   J ;   H u l i n ,   J ;   M a t e j o v s k a ,   D 	 	 O x m a n ,   R i v k a ;   G u ,   N i n g 	 	 	 C r o w d s o u r c i n g   T h e o r e t i c a l   f r a m e w o r k ,   c o m p u t a t i o n a l   e n v i r o n m e n t s   a n d   d e s i g n   s c e n a r i o s 	 E C A A D E   2 0 1 2 ,   V O L   1 :   D I G I T A L   P H Y S I C A L I T Y 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 3 0 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   E d u c a t i o n   a n d   R e s e a r c h   i n   C o m p u t e r   A i d e d   A r c h i t e c t u r a l   D e s i g n   i n   E u r o p e   ( e C A A D e ) 	 S E P   1 2 - 1 4 ,   2 0 1 2 	 P r a g u e ,   C Z E C H   R E P U B L I C 	 A u t o d e s k   G m b H ,   B e n t l e y   S y s t ,   C z e c h   T e c h   U n i v ,   R e c t o r s   O f f 	 C z e c h   T e c h   U n i v ,   F a c   A r c h i t e c t u r e 	 D i g i t a l   d e s i g n ;   s o c i a l   n e t w o r k ;   c r e a t i v e   d e s i g n ;   c o l l a b o r a t i v e   d e s i g n ;   c r o w d s o u r c i n g ;   c r o w d s o u r c i n g   d e s i g n 	 	 C r o w d s o u r c i n g   i s   a   n e w   c o n c e p t   f o r   b r e a k i n g   w i t h   t h e   t r a d i t i o n a l   h i e r a r c h i c a l   m o d e l   o f   c o l l a b o r a t i v e   d e s i g n .   C r o w d s o u r c i n g   i s   b a s e d   o n   w e b - b a s e d   c o n t r i b u t i o n s   o f   i n d i v i d u a l s   i n   a   d e c e n t r a l i z e d   d i g i t a l   e n v i r o n m e n t   t h a t   s u p p o r t s   t h e   s h a r i n g   o f   o p i n i o n s   a n d   c r e a t i v e   i d e a s .   T h i s   a r t i c l e   d e v e l o p s   t h e   c o n c e p t s   a n d   i s s u e s   a s s o c i a t e d   w i t h   t h e   p o s s i b i l i t y   o f   c r o w d s o u r c i n g   d e s i g n   a s   w e l l   a s   d i s c u s s i n g   i t s   r e l a t i o n s h i p   t o   p r i o r   d e v e l o p m e n t s   o f   m e d i a   e n v i r o n m e n t s   f o r   c o l l a b o r a t i v e   d e s i g n .   T h r e e   s c e n a r i o s   f o r   c r o w d s o u r c i n g   i n   a r c h i t e c t u r a l   d e s i g n   a r e   d e v e l o p e d   a s   a   b a s i s   f o r   c o n s i d e r i n g   t h e   r e q u i r e m e n t s   f o r   t h e   d e s i g n   a n d   f u n c t i o n   o f   c r o w d s o u r c i n g   m e d i a   e n v i r o n m e n t s   i n   a r c h i t e c t u r a l   d e s i g n . 	 	 	 r i v k a o @ g m a i l . c o m ;   n i n g . g u @ n e w c a s t l e . e d u . a u 	 	 	 	 	 A i s h   R ,   2 0 0 5 ,   P   E C A A D E   2 0 0 5   C   L I S B ,   P 1 0 ;   A r a n d a   B ,   2 0 0 8 ,   C O N T R O L   D E S I G N   P A R A M ,   P 1 9 5 ;   B a r t l e   R .   A . ,   2 0 0 4 ,   D E S I G N I N G   V I R T U A L   W O ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   D a v i s   D ,   2 0 1 1 ,   I N T   J   A R C H I T E C T U R A L ,   V 9 ,   P 3 6 1 ;   L a h t i   H ,   2 0 0 4 ,   D E S I G N   S T U D ,   V 2 5 ,   P 3 5 1 ,   D O I   1 0 . 1 0 1 6 / j . d e s t u d . 2 0 0 3 . 1 2 . 0 0 1 ;   L e v y   P . ,   1 9 9 7 ,   C O L L E C T I V E   I N T E L L I G E ;   M a h e r   M L ,   2 0 0 6 ,   P   C A A D R I A   2 0 0 6 ,   P 1 3 3 ;   M a h e r   M L ,   2 0 1 0 ,   P   D E S   C O M P   C O G N   2 0 1 0 ,   P 5 8 1 ;   M c G o n i g a l   J a n e ,   2 0 0 8 ,   E C O L O G Y   G A M E S   C O N N E C ,   P 1 9 9 ;   M e r r i c k   K ,   2 0 1 1 ,   P   C A A D   F U T   2 0 1 1   C   L I ,   P 6 3 7 ;   O x m a n   R i v k a ,   2 0 0 8 ,   I n t e r n a t i o n a l   J o u r n a l   o f   A r c h i t e c t u r a l   C o m p u t i n g ,   V 6 ,   D O I   1 0 . 1 2 6 0 / 1 4 7 8 0 7 7 0 8 7 8 4 6 4 0 0 9 0 ;   O x m a n   R ,   2 0 0 6 ,   D E S I G N   S T U D ,   V 2 7 ,   P 2 2 9 ,   D O I   1 0 . 1 0 1 6 / j . d e s t u d . 2 0 0 5 . 1 1 . 0 0 2 ;   O x m a n   R ,   2 0 0 9 ,   E N V I R O N   P L A N N   B ,   V 3 6 ,   P 1 0 2 6 ,   D O I   1 0 . 1 0 6 8 / b 3 4 1 4 9 ;   R o m e r o   J ,   2 0 0 9 ,   M A R S   R E S T   U S ;   R o s e n m a n   M ,   2 0 0 6 ,   P   D E S   C O M P   C O G N   2 0 0 6 ,   P 6 9 5 ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   W o o d b u r y   R ,   2 0 0 7 ,   P   A C A D I A   2 0 0 7   C   H A L 	 1 8 	 0 	 0 	 E C A A D E - E D U C A T I O N   &   R E S E A R C H   C O M P U T E R   A I D E D   A R C H I T E C T U R A L   D E S I G N   E U R O P E 	 B R U S S E L S 	 D E P T   A R C H I T E C T U R E   S I N T - L U C A S   B R U S S E L S - G H E N T ,   H O G E S C H O O L   V O O R   W E T E N S C H A P   &   K U N S T ,   P A L E I Z E N S T R A A T   6 5 ,   B R U S S E L S ,   1 0 3 0 ,   B E L G I U M 	 	 	 9 7 8 - 9 - 4 9 1 2 0 7 0 - 2 - 0 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 3 9 3 	 4 0 1 	 	 	 	 9 	 A r c h i t e c t u r e ;   E d u c a t i o n   &   E d u c a t i o n a l   R e s e a r c h 	 A r c h i t e c t u r e ;   E d u c a t i o n   &   E d u c a t i o n a l   R e s e a r c h 	 B J T 7 8 	 W O S : 0 0 0 3 3 0 3 2 2 4 0 0 0 4 0 	 	 
 J 	 Y a n g ,   D J ;   X u e ,   G L ;   F a n g ,   X ;   T a n g ,   J 	 	 	 A C M 	 Y a n g ,   D e j u n ;   X u e ,   G u o l i a n g ;   F a n g ,   X i ;   T a n g ,   J i a n 	 	 	 C r o w d s o u r c i n g   t o   S m a r t p h o n e s :   I n c e n t i v e   M e c h a n i s m   D e s i g n   f o r   M o b i l e   P h o n e   S e n s i n g 	 M O B I C O M   1 2 :   P R O C E E D I N G S   O F   T H E   1 8 T H   A N N U A L   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   C O M P U T I N G   A N D   N E T W O R K I N G 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 8 t h   A n n u a l   I n t e r n a t i o n a l   C o n f e r e n c e   o n   M o b i l e   C o m p u t i n g   a n d   N e t w o r k i n g   ( M o b i C o m ) 	 A U G   2 2 - 2 6 ,   2 0 1 2 	 I s t a n b u l ,   T U R K E Y 	 A s s o c   C o m p   M a c h i n e r y ,   A C M   S I G M O B I L E ,   A V E A   L a b s ,   M i c r o s o f t   R e s ,   H e w l e t t   P a c k a r d   L a b s ,   K o c   U n i v ,   S c i   &   T e c h n o l   R e s   C o u n c i l   T u r k e y 	 	 C r o w d s o u r c i n g ;   M o b i l e   P h o n e   S e n s i n g ;   I n c e n t i v e   M e c h a n i s m   D e s i g n 	 	 M o b i l e   p h o n e   s e n s i n g   i s   a   n e w   p a r a d i g m   w h i c h   t a k e s   a d v a n t a g e   o f   t h e   p e r v a s i v e   s m a r t p h o n e s   t o   c o l l e c t   a n d   a n a l y z e   d a t a   b e y o n d   t h e   s c a l e   o f   w h a t   w a s   p r e v i o u s l y   p o s s i b l e .   I n   a   m o b i l e   p h o n e   s e n s i n g   s y s t e m ,   t h e   p l a t f o r m   r e c r u i t s   s m a r t p h o n e   u s e r s   t o   p r o v i d e   s e n s i n g   s e r v i c e .   E x i s t i n g   m o b i l e   p h o n e   s e n s i n g   a p p l i c a t i o n s   a n d   s y s t e m s   l a c k   g o o d   i n c e n t i v e   m e c h a n i s m s   t h a t   c a n   a t t r a c t   m o r e   u s e r   p a r t i c i p a t i o n .   T o   a d d r e s s   t h i s   i s s u e ,   w e   d e s i g n   i n c e n t i v e   m e c h a n i s m s   f o r   m o b i l e   p h o n e   s e n s i n g .   W e   c o n s i d e r   t w o   s y s t e m   m o d e l s :   t h e   p l a t f o r m - c e n t r i c   m o d e l   w h e r e   t h e   p l a t f o r m   p r o v i d e s   a   r e w a r d   s h a r e d   b y   p a r t i c i p a t i n g   u s e r s ,   a n d   t h e   u s e r - c e n t r i c   m o d e l   w h e r e   u s e r s   h a v e   m o r e   c o n t r o l   o v e r   t h e   p a y m e n t   t h e y   w i l l   r e c e i v e .   F o r   t h e   p l a t f o r m - c e n t r i c   m o d e l ,   w e   d e s i g n   a n   i n c e n t i v e   m e c h a n i s m   u s i n g   a   S t a c k e l b e r g   g a m e ,   w h e r e   t h e   p l a t f o r m   i s   t h e   l e a d e r   w h i l e   t h e   u s e r s   a r e   t h e   f o l l o w e r s .   W e   s h o w   h o w   t o   c o m p u t e   t h e   u n i q u e   S t a c k e l b e r g   E q u i l i b r i u m ,   a t   w h i c h   t h e   u t i l i t y   o f   t h e   p l a t f o r m   i s   m a x i m i z e d ,   a n d   n o n e   o f   t h e   u s e r s   c a n   i m p r o v e   i t s   u t i l i t y   b y   u n i l a t e r a l l y   d e v i a t i n g   f r o m   i t s   c u r r e n t   s t r a t e g y .   F o r   t h e   u s e r - c e n t r i c   m o d e l ,   w e   d e s i g n   a n   a u c t i o n - b a s e d   i n c e n t i v e   m e c h a n i s m ,   w h i c h   i s   c o m p u t a t i o n a l l y   e f f i c i e n t ,   i n d i v i d u a l l y   r a t i o n a l ,   p r o f i t a b l e ,   a n d   t r u t h f u l .   T h r o u g h   e x t e n s i v e   s i m u l a t i o n s ,   w e   e v a l u a t e   t h e   p e r f o r m a n c e   a n d   v a l i d a t e   t h e   t h e o r e t i c a l   p r o p e r t i e s   o f   o u r   i n c e n t i v e   m e c h a n i s m s . 	 [ Y a n g ,   D e j u n ;   X u e ,   G u o l i a n g ;   F a n g ,   X i ]   A r i z o n a   S t a t e   U n i v ,   T e m p e ,   A Z   8 5 2 8 7   U S A 	 Y a n g ,   D J   ( r e p r i n t   a u t h o r ) ,   A r i z o n a   S t a t e   U n i v ,   T e m p e ,   A Z   8 5 2 8 7   U S A . 	 d e j u n . y a n g @ a s u . e d u ;   x u e @ a s u . e d u ;   x i . f a n g @ a s u . e d u ;   j t a n g 0 2 @ s y r . e d u 	 	 	 	 	 B o y d   S . ,   2 0 0 4 ,   C O N V E X   O P T I M I Z A T I O N ;   C h e n   N . ,   P   A C M   S I A M   S O D A ,   P 6 8 5 ;   C N N   F o r t u n e ,   C N N   F O R T U N E ;   C u e r v o   E . ,   2 0 1 0 ,   P   8   I N T   C   M O B   S Y S T   A ,   P 4 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 1 4 4 3 3 . 1 8 1 4 4 4 1 ;   D a n e z i s   G . ,   2 0 0 5 ,   P   W E I S ;   D e   C r i s t o f a r o   E ,   2 0 1 1 ,   W I S E C   1 1 :   P R O C E E D I N G S   O F   T H E   F O U R T H   A C M   C O N F E R E N C E   O N   W I R E L E S S   N E T W O R K   S E C U R I T Y ,   P 2 3 ;   F e i g e   U ,   2 0 1 1 ,   S I A M   J   C O M P U T ,   V 4 0 ,   P 1 1 3 3 ,   D O I   1 0 . 1 1 3 7 / 0 9 0 7 7 9 3 4 6 ;   F u d e n b e r g   D . ,   1 9 9 1 ,   G A M E   T H E O R Y ;   G a o   L ,   2 0 1 1 ,   I E E E   T   M O B I L E   C O M P U T ,   V 1 0 ,   P 1 1 4 4 ,   D O I   1 0 . 1 1 0 9 / T M C . 2 0 1 0 . 2 2 0 ;   I D C ,   W O R L D W   S M A R T P H   M A R K ;   K r i s h n a   V ,   2 0 0 9 ,   A U C T I O N   T H E O R Y ;   L a n e   N D ,   2 0 1 0 ,   I E E E   C O M M U N   M A G ,   V 4 8 ,   P 1 4 0 ,   D O I   1 0 . 1 1 0 9 / M C O M . 2 0 1 0 . 5 5 6 0 5 9 8 ;   L e e   J . ,   2 0 1 0 ,   P   I E E E   I N T   C   P E R V   C O ,   P 6 0 ;   M e e k e r   M . ,   M   M E E K E R   S M A R T P H O N E S ;   M o h a n   P ,   2 0 0 8 ,   S E N S Y S ' 0 8 :   P R O C E E D I N G S   O F   T H E   6 T H   A C M   C O N F E R E N C E   O N   E M B E D D E D   N E T W O R K E D   S E N S O R   S Y S T E M S ,   P 3 2 3 ;   M O H A N   P . ,   2 0 1 0 ,   P R O C E E D I N G S   O F   T H E   8 ,   P 6 3 ;   M u n   M ,   2 0 0 9 ,   M O B I S Y S ' 0 9 :   P R O C E E D I N G S   O F   T H E   7 T H   A C M   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   S Y S T E M S ,   A P P L I C A T I O N S ,   A N D   S E R V I C E S ,   P 5 5 ;   M Y E R S O N   R B ,   1 9 8 1 ,   M A T H   O P E R   R E S ,   V 6 ,   P 5 8 ,   D O I   1 0 . 1 2 8 7 / m o o r . 6 . 1 . 5 8 ;   N E M H A U S E R   G L ,   1 9 7 8 ,   M A T H   P R O G R A M ,   V 1 4 ,   P 2 6 5 ,   D O I   1 0 . 1 0 0 7 / B F 0 1 5 8 8 9 7 1 ;   R a n a   R .   K . ,   2 0 1 0 ,   P   9   A C M   I E E E   I N T   C   I ,   P 1 0 5 ,   D O I   1 0 . 1 1 4 5 / 1 7 9 1 2 1 2 . 1 7 9 1 2 2 6 ;   R e d d y   S ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 0 3 0 ,   P 1 3 8 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 2 6 5 4 - 3 _ 9 ;   R i e d e r e r   C . ,   2 0 1 1 ,   P   A C M   H O T N E T S ;   S i n g e r   Y ,   2 0 1 0 ,   A N N   I E E E   S Y M P   F O U N D ,   P 7 6 5 ,   D O I   1 0 . 1 1 0 9 / F O C S . 2 0 1 0 . 7 8 ;   T H I A G A R A J A N   A ,   2 0 0 9 ,   P   7   A C M   C   E M B   N E T W   S ,   P 8 5 ,   D O I   1 0 . 1 1 4 5 / 1 6 4 4 0 3 8 . 1 6 4 4 0 4 8 ;   W a n g   W . ,   2 0 1 1 ,   P   I E E E   S E C O N   2 0 1 1   J U ,   P 5 2 1 ;   Z h o n g   S . ,   2 0 0 5 ,   P   1 1   A N N   I N T   C   M O B   C ,   P 1 1 7 ,   D O I   1 0 . 1 1 4 5 / 1 0 8 0 8 2 9 . 1 0 8 0 8 4 1 ;   Z h o u   X ,   2 0 0 8 ,   M O B I C O M ' 0 8 :   P R O C E E D I N G S   O F   T H E   F O U R T E E N T H   A C M   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   C O M P U T I N G   A N D   N E T W O R K I N G ,   P 2 	 2 7 	 3 	 3 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 1 5 1 5   B R O A D W A Y ,   N E W   Y O R K ,   N Y   1 0 0 3 6 - 9 9 9 8   U S A 	 	 	 9 7 8 - 1 - 4 5 0 3 - 1 1 5 9 - 5 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 1 7 3 	 1 8 4 	 	 	 	 1 2 	 T e l e c o m m u n i c a t i o n s 	 T e l e c o m m u n i c a t i o n s 	 B A 1 Q C 	 W O S : 0 0 0 3 3 2 8 5 1 0 0 0 0 1 7 	 	 
 J 	 R a i ,   A ;   C h i n t a l a p u d i ,   K K ;   P a d m a n a b h a n ,   V N ;   S e n ,   R 	 	 	 A C M 	 R a i ,   A n s h u l ;   C h i n t a l a p u d i ,   K r i s h n a   K a n t ;   P a d m a n a b h a n ,   V e n k a t a   N . ;   S e n ,   R i j u r e k h a 	 	 	 Z e e :   Z e r o - E f f o r t   C r o w d s o u r c i n g   f o r   I n d o o r   L o c a l i z a t i o n 	 M O B I C O M   1 2 :   P R O C E E D I N G S   O F   T H E   1 8 T H   A N N U A L   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   C O M P U T I N G   A N D   N E T W O R K I N G 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 8 t h   A n n u a l   I n t e r n a t i o n a l   C o n f e r e n c e   o n   M o b i l e   C o m p u t i n g   a n d   N e t w o r k i n g   ( M o b i C o m ) 	 A U G   2 2 - 2 6 ,   2 0 1 2 	 I s t a n b u l ,   T U R K E Y 	 A s s o c   C o m p   M a c h i n e r y ,   A C M   S I G M O B I L E ,   A V E A   L a b s ,   M i c r o s o f t   R e s ,   H e w l e t t   P a c k a r d   L a b s ,   K o c   U n i v ,   S c i   &   T e c h n o l   R e s   C o u n c i l   T u r k e y 	 	 I n d o o r   l o c a l i z a t i o n ;   W i F i ;   c r o w d s o u r c i n g ;   i n e r t i a l   t r a c k i n g 	 	 R a d i o   F r e q u e n c y   ( R F )   f i n g e r p r i n t i n g ,   b a s e d   o n   W i F i   o r   c e l l u l a r   s i g n a l s ,   h a s   b e e n   a   p o p u l a r   a p p r o a c h   t o   i n d o o r   l o c a l i z a t i o n .   H o w e v e r ,   i t s   a d o p t i o n   i n   t h e   r e a l   w o r l d   h a s   b e e n   s t y m i e d   b y   t h e   n e e d   f o r   s i t e - s p e c i f i c   c a l i b r a t i o n ,   i . e . ,   t h e   c r e a t i o n   o f   a   t r a i n i n g   d a t a   s e t   c o m p r i s i n g   W i F i   m e a s u r e m e n t s   a t   k n o w n   l o c a t i o n s   i n   t h e   s p a c e   o f   i n t e r e s t .   W h i l e   e f f o r t s   h a v e   b e e n   m a d e   t o   r e d u c e   t h i s   c a l i b r a t i o n   e f f o r t   u s i n g   m o d e l i n g ,   t h e   n e e d   f o r   m e a s u r e m e n t s   f r o m   k n o w n   l o c a t i o n s   s t i l l   r e m a i n s   a   b o t t l e n e c k .   I n   t h i s   p a p e r ,   w e   p r e s e n t   Z e e   -   a   s y s t e m   t h a t   m a k e s   t h e   c a l i b r a t i o n   z e r o - e f f o r t ,   b y   e n a b l i n g   t r a i n i n g   d a t a   t o   b e   c r o w d s o u r c e d   w i t h o u t   a n y   e x p l i c i t   e f f o r t   o n   t h e   p a r t   o f   u s e r s .   Z e e   l e v e r a g e s   t h e   i n e r t i a l   s e n s o r s   ( e . g . ,   a c c e l e r o m e t e r ,   c o m p a s s ,   g y r o s c o p e )   p r e s e n t   i n   t h e   m o b i l e   d e v i c e s   s u c h   a s   s m a r t p h o n e s   c a r r i e d   b y   u s e r s ,   t o   t r a c k   t h e m   a s   t h e y   t r a v e r s e   a n   i n d o o r   e n v i r o n m e n t ,   w h i l e   s i m u l t a n e o u s l y   p e r f o r m i n g   W i F i   s c a n s .   Z e e   i s   d e s i g n e d   t o   r u n   i n   t h e   b a c k g r o u n d   o n   a   d e v i c e   w i t h o u t   r e q u i r i n g   a n y   e x p l i c i t   u s e r   p a r t i c i p a t i o n .   T h e   o n l y   s i t e - s p e c i f i c   i n p u t   t h a t   Z e e   d e p e n d s   o n   i s   a   m a p   s h o w i n g   t h e   p a t h w a y s   ( e . g . ,   h a l l w a y s )   a n d   b a r r i e r s   ( e . g . ,   w a l l s ) .   A   s i g n i f i c a n t   c h a l l e n g e   t h a t   Z e e   s u r m o u n t s   i s   t o   t r a c k   u s e r s   w i t h o u t   a n y   a   p r i o r i ,   u s e r - s p e c i f i c   k n o w l e d g e   s u c h   a s   t h e   u s e r ' s   i n i t i a l   l o c a t i o n ,   s t r i d e - l e n g t h ,   o r   p h o n e   p l a c e m e n t .   Z e e   e m p l o y s   a   s u i t e   o f   n o v e l   t e c h n i q u e s   t o   i n f e r   l o c a t i o n   o v e r   t i m e :   ( a )   p l a c e m e n t - i n d e p e n d e n t   s t e p   c o u n t i n g   a n d   o r i e n t a t i o n   e s t i m a t i o n ,   ( b )   a u g m e n t e d   p a r t i c l e   f i l t e r i n g   t o   s i m u l t a n e o u s l y   e s t i m a t e   l o c a t i o n   a n d   u s e r - s p e c i f i c   w a l k   c h a r a c t e r i s t i c s   s u c h   a s   t h e   s t r i d e   l e n g t h ,   ( c )   b a c k   p r o p a g a t i o n   t o   g o   b a c k   a n d   i m p r o v e   t h e   a c c u r a c y   o f   l o c a l i z a t i o n   i n   t h e   p a s t ,   a n d   ( d )   W i F i - b a s e d   p a r t i c l e   i n i t i a l i z a t i o n   t o   e n a b l e   f a s t e r   c o n v e r g e n c e .   W e   p r e s e n t   a n   e v a l u a t i o n   o f   Z e e   i n   a   l a r g e   o f f i c e   b u i l d i n g . 	 [ R a i ,   A n s h u l ;   C h i n t a l a p u d i ,   K r i s h n a   K a n t ;   P a d m a n a b h a n ,   V e n k a t a   N . ]   M i c r o s o f t   R e s   I n d i a ,   B a n g a l o r e ,   K a r n a t a k a ,   I n d i a 	 R a i ,   A   ( r e p r i n t   a u t h o r ) ,   M i c r o s o f t   R e s   I n d i a ,   B a n g a l o r e ,   K a r n a t a k a ,   I n d i a . 	 	 	 	 	 	 A z i z y a n   M . ,   2 0 0 9 ,   M O B I C O M ;   B a h l   P . ,   2 0 0 0 ,   M S R T R 2 0 0 0 1 2 ;   B a h l   P . ,   2 0 0 0 ,   I N F O C O M ;   B a u e r   K . ,   2 0 0 8 ,   H O T P E T S ;   B e a u r e g a r d   S . ,   2 0 0 6 ,   W P N C ;   B r i k   V . ,   2 0 0 8 ,   M O B I C O M ;   C h e n g   Y . - C . ,   2 0 0 5 ,   M O B I S Y S ;   C h i n t a l a p u d i   K . ,   2 0 1 0 ,   M O B I C O M ;   F o x   D . ,   1 9 9 9 ,   A A A I ;   G o s w a m i   A . ,   2 0 1 1 ,   C O N E X T ;   H a e b e r l e n   A . ,   2 0 0 4 ,   M O B I C O M ;   J o h n   N i r u p a m a   B u l u s u ,   2 0 0 0 ,   I E E E   P E R S   C O M M U N ,   V 7 ,   P 2 8 ;   K i m   J .   W . ,   2 0 0 4 ,   P O S I T I O N I N G ,   V 1 ,   P 2 7 3 ;   K r i s h n a n   P . ,   2 0 0 4 ,   I N F O C O M ;   L e o n a r d   J . J . ,   1 9 9 1 ,   I E E E   R S J   I N T   W O R K S H ,   V 3 ,   P 1 4 4 2 ;   L i m   H . ,   2 0 0 6 ,   I N F O C O M ;   N i   L . ,   2 0 0 4 ,   W I N E T ;   P r i y a n t h a   N . ,   2 0 0 0 ,   M O B I C O M ;   R a p p a p o r t   T .   S . ,   2 0 0 1 ,   W I R E L E S S   C O M M U N I C A T I ;   R o b e r t s o n   P . ,   2 0 0 9 ,   U B I C O M P ;   S e n   S . ,   2 0 1 2 ,   A C M   H O T M O B I L E ;   S e n   S . ,   2 0 1 1 ,   A C M   H O T N E T S ;   S m i t h   R . ,   1 9 8 6 ,   I N T   J   R O B O T I C S   R E S ,   V 5 ;   W a n g   H . ,   2 0 1 2 ,   M O B I S Y S ;   W a n t   R . ,   1 9 9 2 ,   A C M   T   I N F O R M   S Y S T E M S ;   W a r d   A ,   1 9 9 7 ,   I E E E   P E R S   C O M M U N ,   V 4 ,   P 4 2 ,   D O I   1 0 . 1 1 0 9 / 9 8 . 6 2 6 9 8 2 ;   W i l l i a m s   A . ,   2 0 0 7 ,   A C M   M U L T I M E D I A ;   W o o d m a n   O . ,   2 0 0 8 ,   U B I C O M P ;   W o o d m a n   O ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 5 3 8 ,   P 2 3 8 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 1 5 1 6 - 8 _ 1 7 ;   X i o n g   J . ,   2 0 1 2 ,   A C M   H O T M O B I L E ;   Y o u s s e f   M . ,   2 0 0 5 ,   M O B I S Y S 	 3 1 	 1 2 	 1 3 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 1 5 1 5   B R O A D W A Y ,   N E W   Y O R K ,   N Y   1 0 0 3 6 - 9 9 9 8   U S A 	 	 	 9 7 8 - 1 - 4 5 0 3 - 1 1 5 9 - 5 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 2 9 3 	 3 0 4 	 	 	 	 1 2 	 T e l e c o m m u n i c a t i o n s 	 T e l e c o m m u n i c a t i o n s 	 B A 1 Q C 	 W O S : 0 0 0 3 3 2 8 5 1 0 0 0 0 2 7 	 	 
 J 	 T u n c a y ,   G S ;   B e n i n c a s a ,   G ;   H e l m y ,   A 	 	 	 A C M 	 T u n c a y ,   G u e l i z   S e r a y ;   B e n i n c a s a ,   G i a c o m o ;   H e l m y ,   A h m e d 	 	 	 A u t o n o m o u s   a n d   D i s t r i b u t e d   R e c r u i t m e n t   a n d   D a t a   C o l l e c t i o n   F r a m e w o r k   f o r   O p p o r t u n i s t i c   S e n s i n g 	 M O B I C O M   1 2 :   P R O C E E D I N G S   O F   T H E   1 8 T H   A N N U A L   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   C O M P U T I N G   A N D   N E T W O R K I N G 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 8 t h   A n n u a l   I n t e r n a t i o n a l   C o n f e r e n c e   o n   M o b i l e   C o m p u t i n g   a n d   N e t w o r k i n g   ( M o b i C o m ) 	 A U G   2 2 - 2 6 ,   2 0 1 2 	 I s t a n b u l ,   T U R K E Y 	 A s s o c   C o m p   M a c h i n e r y ,   A C M   S I G M O B I L E ,   A V E A   L a b s ,   M i c r o s o f t   R e s ,   H e w l e t t   P a c k a r d   L a b s ,   K o c   U n i v ,   S c i   &   T e c h n o l   R e s   C o u n c i l   T u r k e y 	 	 C r o w d s o u r c i n g ;   D T N ;   M o b i l e   C o m p u t i n g ;   O p p o r t u n i s t i c   S e n s i n g ;   P e o p l e - c e n t r i c   s e n s i n g 	 	 P e o p l e - c e n t r i c   s e n s i n g   i s   a   n o v e l   a p p o r a c h   t h a t   e x p l o i t s   t h e   s e n s i n g   c a p a b i l i t i e s   o f f e r e d   b y   s m a r t p h o n e s   a n d   t h e   m o b i l i t y   o f   u s e r s   t o   s e n s e   l a r g e   s c a l e   a r e a s   w i t h o u t   r e q u i r i n g   t h e   d e p l o y m e n t   o f   s e n s o r s   i n - s i t u .   G i v e n   t h e   u b i q u i t o u s   n a t u r e   o f   s m a r t p h o n e s ,   p e o p l e - c e n t r i c   s e n s i n g   i s   a   v i a b l e   a n d   e f f i c i e n t   s o l u t i o n   f o r   c r o w d s o u r c i n g   d a t a .   I n   t h i s   w o r k ,   w e   p r o p o s e   a   f u l l y   d i s t r i b u t e d ,   o p p o r t u n i s t i c   s e n s i n g   f r a m e w o r k   t h a t   i n v o l v e s   t w o   m a i n   c o m p o n e n t s   w h i c h   b o t h   w o r k   i n   a n   a d   h o c   f a s h i o n :   R e c r u i t m e n t   a n d   D a t a   C o l l e c t i o n .   W e   a n a l y z e d   t h e   f e a s i b i l i t y   o f   o u r   d i s t r i b u t e d   a p p r o a c h   f o r   b o t h   c o m p o n e n t s   t h r o u g h   p r e l i m i n a r y   s i m u l a t i o n s .   T h e   r e s u l t s   s h o w   t h a t   o u r   r e c r u i t m e n t   m e t h o d   i s   a b l e   t o   s e l e c t   6 6 %   o f   t h e   n o d e s   t h a t   a r e   a p p r o p r i a t e   f o r   t h e   s e n s i n g   a c t i v i t y   a n d   8 8 %   o f   t h e   m e s s a g e s   s e n t   b y   t h e s e   s e l e c t e d   n o d e s   r e a c h   t h e   s i n k   b y   u s i n g   o u r   d a t a   c o l l e c t i o n   m e t h o d . 	 [ T u n c a y ,   G u e l i z   S e r a y ;   B e n i n c a s a ,   G i a c o m o ;   H e l m y ,   A h m e d ]   U n i v   F l o r i d a ,   D e p t   C o m p   &   I n f o r m a t   S c i   &   E n g n ,   G a i n e s v i l l e ,   F L   3 2 6 1 1   U S A 	 T u n c a y ,   G S   ( r e p r i n t   a u t h o r ) ,   U n i v   F l o r i d a ,   D e p t   C o m p   &   I n f o r m a t   S c i   &   E n g n ,   G a i n e s v i l l e ,   F L   3 2 6 1 1   U S A . 	 g s t u n c a y @ c i s e . u f l . e d u ;   g i a c o m o @ c i s e . u f l . e d u ;   h e l m y @ c i s e . u f l . e d u 	 	 	 	 	 H s u   W . ,   2 0 1 1 ,   A D   H O C   N E T W O R K S ;   L a n e   N .   D . ,   2 0 0 8 ,   P   9   W O R K S H   M O B   C O M P ;   R e d d y   S . ,   2 0 1 0 ,   I N T   C   P E R V   C O M P 	 3 	 1 	 1 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 1 5 1 5   B R O A D W A Y ,   N E W   Y O R K ,   N Y   1 0 0 3 6 - 9 9 9 8   U S A 	 	 	 9 7 8 - 1 - 4 5 0 3 - 1 1 5 9 - 5 	 	 	 	 2 0 1 2 	 	 	 	 	 	 	 4 0 7 	 4 0 9 	 	 	 	 3 	 T e l e c o m m u n i c a t i o n s 	 T e l e c o m m u n i c a t i o n s 	 B A 1 Q C 	 W O S : 0 0 0 3 3 2 8 5 1 0 0 0 0 4 0 	 	 
 J 	 M i r r i ,   S ;   S a l o m o n i ,   P ;   P r a n d i ,   C ;   M u r a t o r i ,   L A 	 	 	 	 M i r r i ,   S i l v i a ;   S a l o m o n i ,   P a o l a ;   P r a n d i ,   C a t i a ;   M u r a t o r i ,   L u d o v i c o   A n t o n i o 	 	 	 G A P f o r A P E :   a n   a u g m e n t e d   b r o w s i n g   s y s t e m   t o   i m p r o v e   W e b   2 . 0   a c c e s s i b i l i t y 	 N E W   R E V I E W   O F   H Y P E R M E D I A   A N D   M U L T I M E D I A 	 	 	 E n g l i s h 	 A r t i c l e ;   P r o c e e d i n g s   P a p e r 	 8 t h   I n t e r n a t i o n a l   C r o s s - D i s c i p l i n a r y   C o n f e r e n c e   o n   W e b   A c c e s s i b i l i t y   ( W 4 A )   /   2 0 t h   I n t e r n a t i o n a l   W o r l d   W i d e   W e b   C o n f e r e n c e 	 2 0 1 1 	 H y d e r a b a d ,   I N D I A 	 A C M 	 	 W e b   a c c e s s i b i l i t y ;   W e b   2 . 0 ;   W e b   b r o w s e r   e x t e n s i o n s ;   A u g m e n t   b r o w s i n g ;   U s e r s   p r o f i l i n g 	 	 T h e   W e b   2 . 0   e v o l u t i o n   h a s   s p r e a d   m o r e   i n t e r a c t i v e   t e c h n o l o g i e s   w h i c h   a f f e c t e d   a c c e s s i b i l i t y   f o r   u s e r s   w h o   n a v i g a t e   t h e   W e b   b y   u s i n g   a s s i s t i v e   t e c h n o l o g i e s .   I n   p a r t i c u l a r ,   t h e   p a r t i a l   d o w n l o a d   o f   n e w   d a t a ,   t h e   c o n t i n u o u s   r e f r e s h i n g ,   a n d   t h e   m a s s i v e   u s e   o f   s c r i p t i n g   c a n   r e p r e s e n t   s i g n i f i c a n t   b a r r i e r s   e s p e c i a l l y   f o r   p e o p l e   w i t h   v i s u a l   i m p a i r m e n t s ,   w h o   e n j o y   t h e   W e b   b y   m e a n s   o f   s c r e e n   r e a d e r s .   O n   t h e   o t h e r   h a n d ,   s u c h   t e c h n o l o g i e s   c a n   b e   a n   o p p o r t u n i t y ,   b e c a u s e   t h e y   c a n   p r o v i d e   a   n e w   m e a n s   o f   t r a n s c o d i n g   W e b   c o n t e n t ,   m a k i n g   t h e   W e b   m o r e   a c c e s s i b l e .   I n   t h i s   a r t i c l e   w e   p r e s e n t   G A P f o r A P E ,   a n   a u g m e n t e d   b r o w s i n g   s y s t e m   ( b a s e d   o n   W e b   b r o w s e r s   e x t e n s i o n s )   w h i c h   o f f e r s   a   u s e r ' s   p r o f i l i n g   s y s t e m   a n d   t r a n s c o d e s   W e b   c o n t e n t   a c c o r d i n g   t o   c o n s t r a i n s   d e c l a r e d   b y   u s e r s :   t h e   s a m e   W e b   p a g e   i s   p r o v i d e d   t o   a n y   u s e r ,   b u t   G A P f o r A P E   c o m p u t e s   a d e q u a t e   c u s t o m i z a t i o n s ,   b y   e x p l o i t i n g   s c r i p t i n g   t e c h n o l o g i e s   w h i c h   u s u a l l y   a f f e c t   W e b   p a g e s   a c c e s s i b i l i t y .   G A P f o r A P E   i m i t a t e s   s c r e e n   r e a d e r s   b e h a v i o r :   i t   a p p l i e s   a   s p e c i f i c   s e t   o f   t r a n s c o d i n g   s c r i p t s   d e v o t e d   t o   a   g i v e n   W e b   s i t e ,   w h e n   a v a i l a b l e ,   a n d   a   d e f a u l t   s e t   o f   t r a n s c o d i n g   o p e r a t i o n s   o t h e r w i s e .   T h e   c o n t i n u o u s   a n d   q u i c k   e v o l u t i o n   o f   t h e   W e b   h a s   s h o w n   t h a t   a   c r o w d s o u r c i n g   s y s t e m   i s   a   d e s i r a b l e   s o l u t i o n ,   l e t t i n g   t h e   t r a n s c o d i n g   s c r i p t s   e v o l v e   i n   t h e   s a m e   w a y . 	 [ M i r r i ,   S i l v i a ;   S a l o m o n i ,   P a o l a ;   M u r a t o r i ,   L u d o v i c o   A n t o n i o ]   U n i v   B o l o g n a ,   D e p t   C o m p   S c i ,   B o l o g n a ,   I t a l y ;   [ P r a n d i ,   C a t i a ]   U n i v   B o l o g n a ,   C o r s o   L a u r e a   I n f o r m a t ,   B o l o g n a ,   I t a l y 	 M i r r i ,   S   ( r e p r i n t   a u t h o r ) ,   U n i v   B o l o g n a ,   D e p t   C o m p   S c i ,   B o l o g n a ,   I t a l y . 	 s i l v i a . m i r r i @ u n i b o . i t 	 	 	 	 	 A b i l i t y N e t   W e b   A c c e s s i b i l i t y   T e a m ,   2 0 0 8 ,   S T A T   E N A T I O N   W E B   A C C ;   A s a k a w a   C ,   2 0 0 8 ,   H U M - C O M P U T   I N T - S P R I N ,   P 2 3 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 1 - 8 4 8 0 0 - 0 5 0 - 6 _ 1 4 ;   B i g h a m   J . ,   2 0 0 7 ,   P   2 0 0 7   I N T   C R O S S   D I S ,   P 2 5 ,   D O I   1 0 . 1 1 4 5 / 1 2 4 3 4 4 1 . 1 2 4 3 4 5 2 ;   B i g h a m   J . P . ,   2 0 0 7 ,   A C M   S I G A C C E S S   A C C E S S ,   V 8 9 ,   P 3 ;   B o h m a n   P . ,   2 0 0 3 ,   I N T R O   W E B   A C C E S S I B I L ;   C o d e i d o l ,   2 0 1 1 ,   T H I N K   G R E A S E M O N K E Y   A ;   C o l a j a n n i   M . ,   2 0 0 4 ,   I E E E   D I S T R I B U T E D   S Y S ,   V 5 ;   F i r e f o x   A c c e s s ,   2 0 1 2 ,   F I R   A C C   F E A T ;   G a r r e t t   J . J . ,   2 0 0 5 ,   A J A X   N E W   A P P R O A C H   W E ;   G o m e z   R .   R . ,   2 0 1 1 ,   P   1 8   I N T   C   W O R L D   W I D ,   P 4 1 1 ,   D O I   1 0 . 1 1 4 5 / 1 5 2 6 7 0 9 . 1 5 2 6 8 2 0 ;   G r e a s p o t ,   2 0 1 1 ,   G R E A S E M O N K E Y   F I R   E X T ;   H a n s o n   V . ,   2 0 0 4 ,   N E W   R E V   H Y P E R M E D I A   M ,   V 1 2 7 ,   P 1 4 0 ;   H a r r i s o n   L . ,   2 0 0 3 ,   P   W O R L D   C   E L E A R N   C O R ,   P 2 0 0 0 ;   I M S   G l o b a l   L e a r n i n g   C o n s o r t i u m ,   2 0 0 2 ,   I M S   L E A R N   I N F   P A C K   A ;   I s a i a s   P ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 6 2 1 ,   P 3 5 4 ;   L a a k k o   T ,   2 0 0 5 ,   I E E E   I N T E R N E T   C O M P U T ,   V 9 ,   P 4 6 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 0 5 . 2 9 ;   L e m b r e e   D . ,   2 0 1 1 ,   A C C E S S I B L E   T W I T T E R   A ;   L u n a   E .   R . ,   2 0 1 0 ,   P   2 0 0 9   I N T   C R O S S   D I S ,   P 1 4 ,   D O I   1 0 . 1 1 4 5 / 1 5 3 5 6 5 4 . 1 5 3 5 6 7 2 ;   M a n g i a t o r d i   A . ,   2 0 1 0 ,   P   3   I N T   C   S O F T W   D E V ,   P 8 7 ;   M a n g i a t o r d i   A . ,   2 0 1 1 ,   P   I N T   C R O S S   D I S C   C   W ;   M i r r i   S ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 5 3 0 ,   P 3 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 8 4 5 2 - 9 _ 2 ;   M i r r i   S . ,   2 0 1 1 ,   P   I N T   C R O S S   D I S C   C   W ;   M o z i l l a   D e v e l o p e r   N e t w o r k ,   2 0 1 1 ,   X M L   U S   I N T   L A N G   X U L ;   N e v i l e   L . ,   2 0 0 5 ,   P   1 4   I N T   W O R L D   W I D   W ;   P i l g r i m   M . ,   2 0 0 5 ,   G R E A S E   M O N K E Y   H A C K S ;   S a l o m o n i   P ,   2 0 0 8 ,   A C M   T   I N T E R N E T   T E C H N ,   V 8 ,   D O I   1 0 . 1 1 4 5 / 1 3 2 3 6 5 1 . 1 3 2 3 6 5 5 ;   S a n t o s   O C ,   2 0 0 8 ,   8 T H   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   A D V A N C E D   L E A R N I N G   T E C H N O L O G I E S ,   P R O C E E D I N G S ,   P 4 9 1 ,   D O I   1 0 . 1 1 0 9 / I C A L T . 2 0 0 8 . 1 0 1 ;   S a t o   D . ,   2 0 1 0 ,   T   A C C E S S I B L E   C O M P U T I ,   V 3 ;   S c i e n t i f i c   F r e e d o m ,   2 0 1 1 ,   J A W S   W I N D ;   T a k a g i   H ,   2 0 0 9 ,   A S S E T S ' 0 9 :   P R O C E E D I N G S   O F   T H E   1 1 T H   I N T E R N A T I O N A L   A C M   S I G A C C E S S   C O N F E R E N C E   O N   C O M P U T E R S   A N D   A C C E S S I B I L I T Y ,   P 1 9 5 ;   T h e o f a n o s   M .   F . ,   2 0 0 3 ,   I n t e r a c t i o n s ,   V 1 0 ;   T i b b i t t s   B . R . ,   2 0 0 2 ,   P   X M L   8   1 3   D E C ,   P 8 ;   U s e r s c r i p t s . o r g ,   2 0 1 1 ,   P O W   U P S   Y O U R   B R O W S   S ;   Z a j i c e k   M a r y ,   2 0 0 7 ,   P   2 0 0 7   I N T   C R O S S   D I S ,   P 3 5 ,   D O I   1 0 . 1 1 4 5 / 1 2 4 3 4 4 1 . 1 2 4 3 4 5 3 	 3 4 	 0 	 0 	 T A Y L O R   &   F R A N C I S   L T D 	 A B I N G D O N 	 4   P A R K   S Q U A R E ,   M I L T O N   P A R K ,   A B I N G D O N   O X 1 4   4 R N ,   O X O N ,   E N G L A N D 	 1 3 6 1 - 4 5 6 8 	 1 7 4 0 - 7 8 4 2 	 	 N E W   R E V   H Y P E R M E D I A   M 	 N e w   R e v .   H y p e r m e d i a   M u l t i m e d . 	 	 2 0 1 2 	 1 8 	 3 	 	 	 S I 	 	 2 0 5 	 2 2 9 	 	 1 0 . 1 0 8 0 / 1 3 6 1 4 5 6 8 . 2 0 1 2 . 7 0 2 1 3 3 	 	 2 5 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 0 3 0 U W 	 W O S : 0 0 0 3 1 0 5 9 6 6 0 0 0 0 5 	 	 
 J 	 O z t a y s i ,   B ;   C e m c e m ,   L 	 	 K a h r a m a n ,   C ;   K e r r e ,   E E ;   B o z b u r a ,   F T 	 	 O z t a y s i ,   B a s a r ;   C e m c e m ,   L a r a 	 	 	 A N   I N I T I A L   R E S E A R C H   T O   S E G M E N T   A   C R O W D S O U R C I N G   P R O J E C T   P A R T I C I P A N T S   U S I N G   T E X T   M I N I N G 	 U N C E R T A I N T Y   M O D E L I N G   I N   K N O W L E D G E   E N G I N E E R I N G   A N D   D E C I S I O N   M A K I N G 	 W o r l d   S c i e n t i f i c   P r o c e e d i n g s   S e r i e s   o n   C o m p u t e r   E n g i n e e r i n g   a n d   I n f o r m a t i o n   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 0 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   F u z z y   L o g i c   a n d   I n t e l l i g e n t   T e c h n o l o g i e s   i n   N u c l e a r   S c i e n c e   ( F L I N S ) 	 A U G   2 6 - 2 9 ,   2 0 1 2 	 I s t a n b u l ,   T U R K E Y 	 I s t a n b u l   T e c h   U n i v ,   B a h c e s e h i r   U n i v ,   B e l g i a n   N u c l   R e s   C t r ,   G h e n t   U n i v 	 	 	 	 C r o w d   c r e a t i o n   i s   a   b r a n c h   o f   c r o w d s o u r c i n g   t h a t   f o c u s   o n   c r e a t i o n   o f   a c t i v i t i e s   s u c h   a s   a s k i n g   i n d i v i d u a l s   t o   f i l m   T V   c o m m e r c i a l s ,   p e r f o r m   l a n g u a g e   t r a n s l a t i o n   o r   s o l v e   c h a l l e n g i n g   s c i e n t i f i c   p r o b l e m s .   B u r t o n S t o r y   i s   a   c r o w d   c r e a t i o n   p r o j e c t   b y   T i m   B u r t o n   t h a t   w a s   r u n   o v e r   t w i t t e r   b e t w e e n   N o v e m b e r   2 0 t h   a n d   D e c e m b e r   6 t h   o f   2 0 1 0 .   T h e   a u t h o r   s t a r t e d   a   n e w   s t o r y   w i t h   a   s i n g l e   s e n t e n c e ,   a n d   t h e   r e s t   o f   t h e   s t o r y   i s   c r e a t e d   b y   t h e   c r o w d .   T h e   a i m   o f   t h i s   p a p e r   i s   t o   a n a l y z e   p a r t i c i p a n t s   b a s e d   o n   t h e i r   p r o f i l e   i n f o r m a t i o n   u s i n g   t e x t   m i n i n g   a p p r o a c h . 	 [ O z t a y s i ,   B a s a r ;   C e m c e m ,   L a r a ]   I s t a n b u l   T e c h   U n i v ,   D e p t   I n d   E n g n ,   T R - 3 4 3 6 7   I s t a n b u l ,   T u r k e y 	 O z t a y s i ,   B   ( r e p r i n t   a u t h o r ) ,   I s t a n b u l   T e c h   U n i v ,   D e p t   I n d   E n g n ,   T R - 3 4 3 6 7   I s t a n b u l ,   T u r k e y . 	 o z t a y s i b @ i t u . e d u . t r 	 	 	 	 	 B h a t t a c h a r y a   S . ,   2 0 1 1 ,   B I O I N F O R M A T I C S ,   V 2 7 ,   P 1 2 0 ;   C h e s b r o u g h   H . ,   2 0 0 3 ,   O P E N   I N N O V A T I O N   N E W ;   D i z i e r   P . S . ,   2 0 1 1 ,   I N F O R M   P R O C E S S I N G   M A ,   V 4 7 ,   P 8 9 9 ;   H o w e   J . ,   2 0 0 9 ,   C R O W D S O U R C I N G   W H Y   P O ;   L i u   Y C ,   2 0 1 1 ,   E X P E R T   S Y S T   A P P L ,   V 3 8 ,   P 9 3 2 5 ,   D O I   1 0 . 1 0 1 6 / j . e s w a . 2 0 1 1 . 0 1 . 1 2 6 ;   Q i u   J ,   2 0 1 0 ,   I N T   J   I N N O V   C O M P U T   I ,   V 6 ,   P 3 9 9 ;   T i l a k   O ,   2 0 1 1 ,   C O N C U R R   C O M P - P R A C T   E ,   V 2 3 ,   P 2 3 5 5 ,   D O I   1 0 . 1 0 0 2 / c p e . 1 7 8 8 ;   T r a p p e y   A J C ,   2 0 0 9 ,   J   S Y S T   S C I   S Y S T   E N G ,   V 1 8 ,   P 7 1 ,   D O I   1 0 . 1 0 0 7 / s 1 1 5 1 8 - 0 0 9 - 5 1 0 0 - 7 ;   T U R B A N   E ,   2 0 1 1 ,   D E C I S I O N   S U P P O R T   B U S 	 9 	 0 	 0 	 W O R L D   S C I E N T I F I C   P U B L   C O   P T E   L T D 	 S I N G A P O R E 	 P O   B O X   1 2 8   F A R R E R   R D ,   S I N G A P O R E   9 1 2 8 ,   S I N G A P O R E 	 	 	 9 7 8 - 9 8 1 - 4 4 1 7 - 7 3 - 0 	 W D   S C I   P   C O M P   E N G 	 	 	 2 0 1 2 	 7 	 	 	 	 	 	 8 4 5 	 8 5 0 	 	 	 	 6 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 B A 8 I N 	 W O S : 0 0 0 3 3 8 1 6 5 6 0 0 1 3 9 	 	 
 J 	 S c h a l l ,   D 	 	 	 	 S c h a l l ,   D a n i e l 	 	 	 E x p e r t i s e   r a n k i n g   u s i n g   a c t i v i t y   a n d   c o n t e x t u a l   l i n k   m e a s u r e s 	 D A T A   &   K N O W L E D G E   E N G I N E E R I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 S o c i a l   n e t w o r k s ;   C r o w d s o u r c i n g ;   L i n k   a n a l y s i s ;   I m p o r t a n c e   r a n k i n g ;   C o n t e x t u a l   e x p e r t i s e   m i n i n g 	 N E T W O R K S ;   D Y N A M I C S ;   I N F O R M A T I O N 	 T h e   I n t e r n e t   h a s   t r a n s f o r m e d   f r o m   a   W e b   o f   c o n t e n t   t o   a   p e o p l e - c e n t r i c   W e b .   P e o p l e   a c t i v e l y   u s e   s o c i a l   n e t w o r k i n g   p l a t f o r m s   t o   s t a y   i n   c o n t a c t   w i t h   f r i e n d s   a n d   c o l l e a g u e s .   T h e   a v a i l a b i l i t y   o f   r i c h   W e b - b a s e d   a p p l i c a t i o n s   a l l o w s   p e o p l e   t o   c o l l a b o r a t e   a n d   i n t e r a c t   o n l i n e .   T h e s e   c o n n e c t e d   o n l i n e   s o c i e t i e s   p r o v i d e   a n   i m m e n s e   p o t e n t i a l   f o r   f u t u r e   b u s i n e s s   m o d e l s   s u c h   a s   c r o w d s o u r c i n g .   B a s e d   o n   t h e   i d e a   o f   c r o w d s o u r c i n g ,   w e   d e v e l o p e d   a   f r a m e w o r k   t h a t   e n a b l e s   p e o p l e   t o   o f f e r   t h e i r   s k i l l s   a n d   e x p e r t i s e   a s   h u m a n - p r o v i d e d   s e r v i c e s   ( H P S )   w h i c h   c a n   b e   d i s c o v e r e d   a n d   r e q u e s t e d   o n   d e m a n d .   A u t o m a t e d   t e c h n i q u e s   f o r   e x p e r t i s e   m i n i n g   b e c o m e   t h u s   e s s e n t i a l   i n   s u c h   a p p l i c a t i o n s .   W e   i n t r o d u c e   a   l i n k   i n t e n s i t y   b a s e d   r a n k i n g   m o d e l   f o r   r e c o m m e n d i n g   r e l e v a n t   u s e r s   i n   h u m a n   c o l l a b o r a t i o n s .   H e r e   w e   a r g u e   t h a t   a n   e x p e r t i s e   r a n k i n g   m o d e l   m u s t   c o n s i d e r   t h e   u s e r s '   a v a i l a b i l i t y ,   a c t i v i t y   l e v e l ,   a n d   e x p e c t e d   i n f o r m e d n e s s .   W e   p r e s e n t   D S A R a n k   f o r   e s t i m a t i n g   t h e   r e l a t i v e   i m p o r t a n c e   o f   p e r s o n s   b a s e d   o n   r e p u t a t i o n   m e c h a n i s m s   i n   c o l l a b o r a t i o n   n e t w o r k s .   W e   t e s t   t h e   a p p l i c a b i l i t y   o f   o u r   r a n k i n g   m o d e l   b y   u s i n g   d a t a s e t s   o b t a i n e d   f r o m   r e a l   h u m a n   i n t e r a c t i o n   n e t w o r k s   i n c l u d i n g   m o b i l e   p h o n e   a n d   e m a i l   c o m m u n i c a t i o n s .   T h e   r e s u l t s   s h o w   t h a t   D S A R a n k   i s   b e t t e r   s u i t e d   f o r   r e c o m m e n d i n g   u s e r s   i n   c o l l a b o r a t i o n   n e t w o r k s   t h a n   t r a d i t i o n a l   d e g r e e - b a s e d   m e t h o d s .   ( C )   2 0 1 1   E l s e v i e r   B . V .   A l l   r i g h t s   r e s e r v e d . 	 V i e n n a   U n i v   T e c h n o l ,   D i s t r i b u t e d   S y s t   G r p ,   A - 1 0 4 0   V i e n n a ,   A u s t r i a 	 S c h a l l ,   D   ( r e p r i n t   a u t h o r ) ,   V i e n n a   U n i v   T e c h n o l ,   D i s t r i b u t e d   S y s t   G r p ,   A r g e n t i n i e r s t r a e   8 - 1 8 4 - 1 ,   A - 1 0 4 0   V i e n n a ,   A u s t r i a . 	 s c h a l l @ i n f o s y s . t u w i e n . a c . a t 	 	 	 E U   [ 2 1 6 2 5 6 ] 	 W e   t h a n k   t h e   a n o n y m o u s   r e v i e w e r s   f o r   t h e   v a l u a b l e   c o m m e n t s .   P a r t   o f   t h i s   w o r k   h a s   b e e n   s u p p o r t e d   b y   t h e   E U   F P 7   p r o j e c t   C O I N   ( 2 1 6 2 5 6 ) . 	 A d a m i c   L .   A . ,   2 0 0 8 ,   W W W   0 8 ,   P 6 6 5 ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   E M A I L   M I N I N G ;   [ A n o n y m o u s ] ,   2 0 0 9 ,   E N R O N   E M A I L   D A T A S E T ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   A M A Z O N   M E C H N I C A L   T U R ;   [ A n o n y m o u s ] ,   U C   B E R K E L E Y   E N R O N   E M ;   B a r a b a s i   A L ,   2 0 0 5 ,   N A T U R E ,   V 4 3 5 ,   P 2 0 7 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 3 4 5 9 ;   B a r a b a s i   A L ,   2 0 0 7 ,   I E E E   C O N T R   S Y S T   M A G ,   V 2 7 ,   P 3 3 ,   D O I   1 0 . 1 1 0 9 / M C S . 2 0 0 7 . 3 8 4 1 2 7 ;   B e c e r r a - F e r n a n d e z   I . ,   2 0 0 6 ,   A C M   T r a n s a c t i o n s   o n   I n t e r n e t   T e c h n o l o g y ,   V 6 ,   D O I   1 0 . 1 1 4 5 / 1 1 8 3 4 6 3 . 1 1 8 3 4 6 4 ;   B e r k h i n   P ,   2 0 0 5 ,   I N T E R N E T   M A T H ,   V 2 ,   P 7 3 ,   D O I   1 0 . 1 0 8 0 / 1 5 4 2 7 9 5 1 . 2 0 0 5 . 1 0 1 2 9 0 9 8 ;   B e s e m a n n   C A ,   2 0 1 1 ,   D A T A   K N O W L   E N G ,   V 7 0 ,   P 5 2 7 ,   D O I   1 0 . 1 0 1 6 / j . d a t a k . 2 0 1 1 . 0 2 . 0 0 4 ;   B i a n c h i n i   M . ,   2 0 0 5 ,   A C M   T r a n s a c t i o n s   o n   I n t e r n e t   T e c h n o l o g y ,   V 5 ,   D O I   1 0 . 1 1 4 5 / 1 0 5 2 9 3 4 . 1 0 5 2 9 3 8 ;   B o l d i   P ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 1 2 9 ,   D O I   1 0 . 1 1 4 5 / 1 9 5 3 1 2 2 . 1 9 5 3 1 5 4 ;   B o n c h i   F . ,   2 0 1 1 ,   A C M   T   I N T E L   S Y S T   T E C ,   V 2 ,   P 2 2 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B r i n k m e i e r   M . ,   2 0 0 6 ,   A C M   T   I N T E R N E T   T E C H N ,   V 6 ,   P 2 5 7 ;   C a s t e l l a n o   C ,   2 0 0 9 ,   R E V   M O D   P H Y S ,   V 8 1 ,   P 5 9 1 ,   D O I   1 0 . 1 1 0 3 / R e v M o d P h y s . 8 1 . 5 9 1 ;   C h a k r a b a r t i   S . ,   2 0 0 7 ,   W W W ,   P 5 7 1 ;   C h e n   H H ,   2 0 1 0 ,   I E E E   T   C O M P U T ,   V 5 9 ,   P 9 6 9 ,   D O I   1 0 . 1 1 0 9 / T C . 2 0 1 0 . 8 1 ;   C h u n d i   P ,   2 0 0 9 ,   D A T A   K N O W L   E N G ,   V 6 8 ,   P 1 2 5 3 ,   D O I   1 0 . 1 0 1 6 / j . d a t a k . 2 0 0 9 . 0 4 . 0 1 1 ;   C o n y o n   M . J . ,   2 0 0 6 ,   R A N K I N G   I M P O R T A N C E   B ;   D e z s o   Z ,   2 0 0 6 ,   P H Y S   R E V   E ,   V 7 3 ,   D O I   1 0 . 1 1 0 3 / P h y s R e v E . 7 3 . 0 6 6 1 3 2 ;   D o m   B . ,   2 0 0 3 ,   D M K D   0 3   P   8   A C M   S I G M ,   P 4 2 ;   E a g l e   N ,   2 0 0 6 ,   P E R S   U B I Q U I T   C O M P U T ,   V 1 0 ,   P 2 5 5 ,   D O I   1 0 . 1 0 0 7 / s 0 0 7 7 9 - 0 0 5 - 0 0 4 6 - 3 ;   F o g a r a s   D . ,   2 0 0 5 ,   I N T E R N E T   M A T H ,   V 2 ,   P 3 3 3 ,   D O I   D O I   1 0 . 1 0 8 0 / 1 5 4 2 7 9 5 1 . 2 0 0 5 . 1 0 1 2 9 1 0 4 ;   H a v e l i w a l a   T . H . ,   2 0 0 2 ,   W W W   0 2 ,   P 5 1 7 ;   H o r o w i t z   D . ,   2 0 1 0 ,   W W W   1 0 ,   P 4 3 1 ;   H o w e   J ,   2 0 0 6 ,   R I S E   C R O W D S O U R C I N G ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   X R D S   C R O S S R O A D S   A C M ,   V 1 7 ,   P 1 6 ;   J e h   G . ,   2 0 0 3 ,   W W W   0 3 ,   P 2 7 1 ;   J u r c z y k   P . ,   2 0 0 7 ,   C I K M ,   P 9 1 9 ;   K a r a g i a n n i s   T . ,   2 0 0 8 ,   E M A I L   I N F O R M   F L O W   L A ;   K l e i n b e r g   J . ,   1 9 9 9 ,   J   A C M ,   V 4 6 ,   P 6 6 8 ;   K o s c h m i d e r   A ,   2 0 1 1 ,   D A T A   K N O W L   E N G ,   V 7 0 ,   P 4 8 3 ,   D O I   1 0 . 1 0 1 6 / j . d a t a k . 2 0 1 1 . 0 2 . 0 0 2 ;   L e e   L . ,   1 9 9 9 ,   A C L ,   P 2 5 ;   L u   J G ,   2 0 1 0 ,   D A T A   K N O W L   E N G ,   V 6 9 ,   P 8 6 6 ,   D O I   1 0 . 1 0 1 6 / j . d a t a k . 2 0 1 0 . 0 3 . 0 0 7 ;   M i l o   R ,   2 0 0 2 ,   S C I E N C E ,   V 2 9 8 ,   P 8 2 4 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 2 9 8 . 5 5 9 4 . 8 2 4 ;   M i l o   R ,   2 0 0 4 ,   S C I E N C E ,   V 3 0 3 ,   P 1 5 3 8 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 0 8 9 1 6 7 ;   O n n e l a   J P ,   2 0 0 7 ,   N E W   J   P H Y S ,   V 9 ,   D O I   1 0 . 1 0 8 8 / 1 3 6 7 - 2 6 3 0 / 9 / 6 / 1 7 9 ;   O n n e l a   J P ,   2 0 0 5 ,   P H Y S   R E V   E ,   V 7 1 ,   D O I   1 0 . 1 1 0 3 / P h y s R e v E . 7 1 . 0 6 5 1 0 3 ;   P a g e   L . ,   1 9 9 8 ,   P A G E R A N K   C I T A T I O N   R A ;   P a n d u r a n g a n   G . ,   2 0 0 6 ,   I N T E R N E T   M A T H ,   V 3 ,   P 1 ,   D O I   1 0 . 1 0 8 0 / 1 5 4 2 7 9 5 1 . 2 0 0 6 . 1 0 1 2 9 1 1 4 ;   P a r a m e s w a r a n   A . ,   2 0 1 1 ,   P   V L D B   E N D ,   V 4 ,   P 2 6 7 ;   P s a i e r   H . ,   2 0 1 0 ,   R U N T I M E   B E H A V   M O N I T O ,   P 1 6 4 ;   R i c h a r d s o n   M ,   2 0 0 2 ,   A D V   N E U R   I N ,   V 1 4 ,   P 1 4 4 1 ;   R o d r i g u e s   J . F . ,   2 0 0 6 ,   V L D B   0 6 ,   P 1 1 9 5 ;   R o s v a l l   M ,   2 0 0 6 ,   E U R O P H Y S   L E T T ,   V 7 4 ,   P 1 1 0 9 ,   D O I   1 0 . 1 2 0 9 / e p l / i 2 0 0 6 - 1 0 0 6 4 - 2 ;   S c h a l l   D . ,   2 0 0 9 ,   T H E S I S   V I E N N A   U   T E C H ;   S c h a l l   D ,   2 0 1 1 ,   D I S T R I B   P A R A L L E L   D A T ,   V 2 9 ,   P 3 3 3 ,   D O I   1 0 . 1 0 0 7 / s 1 0 6 1 9 - 0 1 1 - 7 0 8 1 - z ;   S k o p i k   F . ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   P 2 7 5 ;   S u   Q . ,   2 0 0 7 ,   W W W   0 7 ,   P 2 3 1 ;   T a n g   J . ,   2 0 0 7 ,   A R N E T M I N E R   E X P E R T I S E ;   V a z q u e z   A ,   2 0 0 6 ,   P H Y S   R E V   E ,   V 7 3 ,   D O I   1 0 . 1 1 0 3 / P h y s R e v E . 7 3 . 0 3 6 1 2 7 ;   v o n   A h n   L ,   2 0 0 6 ,   C O M P U T E R ,   V 3 9 ,   P 9 2 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 6 . 1 9 6 ;   [ sf[%f  W A N G   X u e c h u n ] ,   2 0 0 8 ,   [ r^e0W:SQNxvz,   A g r i c u l t u r a l   R e s e a r c h   i n   t h e   A r i d   A r e a s ] ,   V 2 6 ,   P 1 ,   D O I   1 0 . 1 1 4 5 / 1 3 4 4 4 1 1 . 1 3 4 4 4 1 6 ;   W a t t s   D J ,   1 9 9 8 ,   N A T U R E ,   V 3 9 3 ,   P 4 4 0 ,   D O I   1 0 . 1 0 3 8 / 3 0 9 1 8 ;   W e n g   J . ,   2 0 1 0 ,   W S D M   1 0 ,   P 2 6 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 1 8 4 8 7 . 1 7 1 8 5 2 0 ;   Y a n   T . ,   2 0 1 0 ,   M O B I S Y S   1 0 ,   P 7 7 ;   Z h a n g   J . ,   2 0 0 7 ,   W W W   0 7 ,   P 2 2 1 	 5 8 	 4 	 4 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 0 1 6 9 - 0 2 3 X 	 	 	 D A T A   K N O W L   E N G 	 D a t a   K n o w l .   E n g . 	 J A N 	 2 0 1 2 	 7 1 	 1 	 	 	 	 	 9 2 	 1 1 3 	 	 1 0 . 1 0 1 6 / j . d a t a k . 2 0 1 1 . 0 8 . 0 0 1 	 	 2 2 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 8 5 9 T K 	 W O S : 0 0 0 2 9 7 8 9 8 5 0 0 0 0 5 	 	 
 J 	 B o u l o s ,   M N K ;   R e s c h ,   B ;   C r o w l e y ,   D N ;   B r e s l i n ,   J G ;   S o h n ,   G ;   B u r t n e r ,   R ;   P i k e ,   W A ;   J e z i e r s k i ,   E ;   C h u a n g ,   K Y S 	 	 	 	 B o u l o s ,   M a g e d   N .   K a m e l ;   R e s c h ,   B e r n d ;   C r o w l e y ,   D a v i d   N . ;   B r e s l i n ,   J o h n   G . ;   S o h n ,   G u n h o ;   B u r t n e r ,   R u s s ;   P i k e ,   W i l l i a m   A . ;   J e z i e r s k i ,   E d u a r d o ;   C h u a n g ,   K u o - Y u   S l a y e r 	 	 	 C r o w d s o u r c i n g ,   c i t i z e n   s e n s i n g   a n d   s e n s o r   w e b   t e c h n o l o g i e s   f o r   p u b l i c   a n d   e n v i r o n m e n t a l   h e a l t h   s u r v e i l l a n c e   a n d   c r i s i s   m a n a g e m e n t :   t r e n d s ,   O G C   s t a n d a r d s   a n d   a p p l i c a t i o n   e x a m p l e s 	 I N T E R N A T I O N A L   J O U R N A L   O F   H E A L T H   G E O G R A P H I C S 	 	 	 E n g l i s h 	 R e v i e w 	 	 	 	 	 	 C i t i z e n   S e n s i n g ;   S e n s o r s ;   S o c i a l   W e b   C r o w d s o u r c i n g ;   T w i t t e r ;   G e o - m a s h u p s ;   S e m a n t i c   W e b ;   O G C   S e n s o r   W e b   E n a b l e m e n t ;   O G C   O p e n   G e o S M S ;   3 - D   V i s u a l i s a t i o n ;   N a t u r a l   U s e r   I n t e r f a c e s ;   P u b l i c   a n d   E n v i r o n m e n t a l   H e a l t h ;   C r i s i s   I n f o r m a t i c s 	 A N A L Y T I C S ;   M O B I L E ;   G I S ;   N E T W O R K S ;   E V E N T S 	 ' W i k i f i c a t i o n   o f   G I S   b y   t h e   m a s s e s '   i s   a   p h r a s e - t e r m   f i r s t   c o i n e d   b y   K a m e l   B o u l o s   i n   2 0 0 5 ,   t w o   y e a r s   e a r l i e r   t h a n   G o o d c h i l d ' s   t e r m   ' V o l u n t e e r e d   G e o g r a p h i c   I n f o r m a t i o n ' .   S i x   y e a r s   l a t e r   ( 2 0 0 5 - 2 0 1 1 ) ,   O p e n S t r e e t M a p   a n d   G o o g l e   E a r t h   ( G E )   a r e   n o w   f u l l - f l e d g e d ,   c r o w d s o u r c e d   ' W i k i p e d i a s   o f   t h e   E a r t h '   p a r   e x c e l l e n c e ,   w i t h   m i l l i o n s   o f   u s e r s   c o n t r i b u t i n g   t h e i r   o w n   l a y e r s   t o   G E ,   a t t a c h i n g   p h o t o s ,   v i d e o s ,   n o t e s   a n d   e v e n   3 - D   ( t h r e e   d i m e n s i o n a l )   m o d e l s   t o   l o c a t i o n s   i n   G E .   F r o m   u s i n g   T w i t t e r   i n   p a r t i c i p a t o r y   s e n s i n g   a n d   b i c y c l e - m o u n t e d   s e n s o r s   i n   p e r v a s i v e   e n v i r o n m e n t a l   s e n s i n g ,   t o   c r e a t i n g   a   1 0 0 , 0 0 0 - s e n s o r   g e o - m a s h u p   u s i n g   S e m a n t i c   W e b   t e c h n o l o g y ,   t o   t h e   3 - D   v i s u a l i s a t i o n   o f   i n d o o r   a n d   o u t d o o r   s u r v e i l l a n c e   d a t a   i n   r e a l - t i m e   a n d   t h e   d e v e l o p m e n t   o f   n e x t - g e n e r a t i o n ,   c o l l a b o r a t i v e   n a t u r a l   u s e r   i n t e r f a c e s   t h a t   w i l l   p o w e r   t h e   s p a t i a l l y - e n a b l e d   p u b l i c   h e a l t h   a n d   e m e r g e n c y   s i t u a t i o n   r o o m s   o f   t h e   f u t u r e ,   w h e r e   s e n s o r   d a t a   a n d   c i t i z e n   r e p o r t s   c a n   b e   t r i a g e d   a n d   a c t e d   u p o n   i n   r e a l - t i m e   b y   d i s t r i b u t e d   t e a m s   o f   p r o f e s s i o n a l s ,   t h i s   p a p e r   o f f e r s   a   c o m p r e h e n s i v e   s t a t e - o f - t h e - a r t   r e v i e w   o f   t h e   o v e r l a p p i n g   d o m a i n s   o f   t h e   S e n s o r   W e b ,   c i t i z e n   s e n s i n g   a n d   ' h u m a n - i n - t h e - l o o p   s e n s i n g '   i n   t h e   e r a   o f   t h e   M o b i l e   a n d   S o c i a l   W e b ,   a n d   t h e   r o l e s   t h e s e   d o m a i n s   c a n   p l a y   i n   e n v i r o n m e n t a l   a n d   p u b l i c   h e a l t h   s u r v e i l l a n c e   a n d   c r i s i s / d i s a s t e r   i n f o r m a t i c s .   W e   p r o v i d e   a n   i n - d e p t h   r e v i e w   o f   t h e   k e y   i s s u e s   a n d   t r e n d s   i n   t h e s e   a r e a s ,   t h e   c h a l l e n g e s   f a c e d   w h e n   r e a s o n i n g   a n d   m a k i n g   d e c i s i o n s   w i t h   r e a l - t i m e   c r o w d s o u r c e d   d a t a   ( s u c h   a s   i s s u e s   o f   i n f o r m a t i o n   o v e r l o a d ,   " n o i s e " ,   m i s i n f o r m a t i o n ,   b i a s   a n d   t r u s t ) ,   t h e   c o r e   t e c h n o l o g i e s   a n d   O p e n   G e o s p a t i a l   C o n s o r t i u m   ( O G C )   s t a n d a r d s   i n v o l v e d   ( S e n s o r   W e b   E n a b l e m e n t   a n d   O p e n   G e o S M S ) ,   a s   w e l l   a s   a   f e w   o u t s t a n d i n g   p r o j e c t   i m p l e m e n t a t i o n   e x a m p l e s   f r o m   a r o u n d   t h e   w o r l d . 	 [ B o u l o s ,   M a g e d   N .   K a m e l ]   U n i v   P l y m o u t h ,   F a c   H l t h ,   P l y m o u t h   P L 4   8 A A ,   D e v o n ,   E n g l a n d ;   [ B o u l o s ,   M a g e d   N .   K a m e l ]   N a t l   G e o m a t   C t r   C h i n a ,   I n t   S o c   P h o t o g r a m m e t r y   &   R e m o t e   S e n s i n g ,   C o m m i s s   G e o d a t a b a s e s   &   D i g i t a l   M a p p i n g   4 , I S P R S   H e ,   W G   V i r t u a l   G l o b e s   &   C o n t e x t   A w a r e   V i s u a l i s a t   4   4 ,   B e i j i n g   1 0 0 0 4 8 ,   P e o p l e s   R   C h i n a ;   [ R e s c h ,   B e r n d ]   M I T ,   S E N S E a b l e   C i t y   L a b ,   C a m b r i d g e ,   M A   0 2 1 3 9   U S A ;   [ R e s c h ,   B e r n d ]   U n i v   O s n a b r u e c k ,   I n s t   G e o i n f o r m a t   &   R e m o t e   S e n s i n g ,   D - 4 9 0 7 6   O s n a b r u c k ,   G e r m a n y ;   [ C r o w l e y ,   D a v i d   N . ;   B r e s l i n ,   J o h n   G . ]   N a t l   U n i v   I r e l a n d ,   S c h   E n g n   &   I n f o r m a t ,   G a l w a y ,   I r e l a n d ;   [ C r o w l e y ,   D a v i d   N . ;   B r e s l i n ,   J o h n   G . ]   N a t l   U n i v   I r e l a n d ,   D E R I ,   G a l w a y ,   I r e l a n d ;   [ S o h n ,   G u n h o ]   Y o r k   U n i v ,   D e p t   E a r t h   &   S p a c e   S c i   &   E n g n ,   T o r o n t o ,   O N   M 3 J   1 P 3 ,   C a n a d a ;   [ S o h n ,   G u n h o ]   N a t l   G e o m a t   C t r   C h i n a ,   I n t   S o c   P h o t o g r a m m e t r y   &   R e m o t e   S e n s i n g ,   C o m m i s s   P h o t o g r a m m e t r   C o m p   V i s   &   I m a g e   A n a l   3 ,   I S P R S   H e a d q u a r t e r s   2 0 0 8   2 0 1 2 ,   B e i j i n g   1 0 0 0 4 8 ,   P e o p l e s   R   C h i n a ;   [ B u r t n e r ,   R u s s ;   P i k e ,   W i l l i a m   A . ]   P a c i f i c   N W   N a t l   L a b ,   R i c h l a n d ,   W A   9 9 3 5 2   U S A ;   [ J e z i e r s k i ,   E d u a r d o ]   I n S T E D D   I n n o v a t   S u p p o r t   E m e r g e n c i e s   D i s   &   D i s a s t e ,   P a l o   A l t o ,   C A   9 4 3 0 6   U S A ;   [ C h u a n g ,   K u o - Y u   S l a y e r ]   I T R I ,   H s i n c h u   C t y   3 1 0 ,   T a i w a n 	 B o u l o s ,   M N K   ( r e p r i n t   a u t h o r ) ,   U n i v   P l y m o u t h ,   F a c   H l t h ,   P l y m o u t h   P L 4   8 A A ,   D e v o n ,   E n g l a n d . 	 m n k a m e l b o u l o s @ p l y m o u t h . a c . u k 	 K a m e l   B o u l o s ,   M a g e d / B - 3 7 2 8 - 2 0 1 3 	 K a m e l   B o u l o s ,   M a g e d / 0 0 0 0 - 0 0 0 3 - 2 4 0 0 - 6 3 0 3 	 	 	 A l t h o u s e   B M ,   2 0 1 1 ,   P L O S   N E G L E C T   T R O P   D ,   V 5 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p n t d . 0 0 0 1 2 5 8 ;   [ A n o n y m o u s ] ,   U S H   A N D R   M A R K ;   [ A n o n y m o u s ] ,   R E A L   T I M   O U T B R   D I S   S ;   [ A n o n y m o u s ] ,   G S N ;   [ A n o n y m o u s ] ,   F I R   D E P   I P H O N E   A P P   2 ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   T W I T T E R   I S   2 5 0   M I L L I ;   [ A n o n y m o u s ] ,   S E N S   S E N S   O P   W I K ;   [ A n o n y m o u s ] ,   O U T B R E A K S   N E A R   M E ;   [ A n o n y m o u s ] ,   T H A I L A N D   F L O O D   C R I S I ;   [ A n o n y m o u s ] ,   2 0 1 0 ,   P R E C I S I O N   I N F O R M   E N V ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   S T E P   I N S   M A P   G O O G L   M ;   [ A n o n y m o u s ] ,   D E R I   L S M   L I N K E D   S E N S ;   [ A n o n y m o u s ] ,   D E R I   L S M   D E P L O Y M E N T ;   [ A n o n y m o u s ] ,   S E N S   C I T   S E N S P ;   [ A n o n y m o u s ] ,   I N T   T H I N G S   R E A L   T I M ;   [ A n o n y m o u s ] ,   W E B G L   O P E N G L   E S   2   0 ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   M A K I N G   S E N S E   F A C E B O O ;   [ A n o n y m o u s ] ,   2 0 1 0 ,   T W I T T E R   P L A C E S   M O R E ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   B B C   N E W S                 0 9 0 2 ;   [ A n o n y m o u s ] ,   P R I C E   C H E C K   A M A Z O N ;   [ A n o n y m o u s ] ,   O P E N   G E O S M S   E M E R G E N C ;   [ A n o n y m o u s ] ,   2 0 0 8 ,   R D F A   P R I M   B R I D G   H U M ;   [ A n o n y m o u s ] ,   O P E N G I S   C I T   G E O G R   M A ;   [ A n o n y m o u s ] ,   B I N G   M A P S ;   [ A n o n y m o u s ] ,   O G C   O B S   M E A S ;   [ A n o n y m o u s ] ,   M I C R   R E S   S E N S E W E B ;   [ A n o n y m o u s ] ,   M E D W A T C H E R ;   [ A n o n y m o u s ] ,   O G C   S E N S   W E B   E N   S W E ;   [ A n o n y m o u s ] ,   O G C   S E N S   M O D   L A N G   S E ;   [ A n o n y m o u s ] ,   T W I T T   S E A R C H   A P I ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   P O W E R   M A P P I N G   G O I N G ;   [ A n o n y m o u s ] ,   C O P E N H A G E N   W H E E L ;   [ A n o n y m o u s ] ,   G E O C H A T ;   [ A n o n y m o u s ] ,   S E N S   W I K T ;   [ A n o n y m o u s ] ,   U S H   P L A T F ;   [ A n o n y m o u s ] ,   D A R W I K I N I S M ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   2 0 0   M I L L I O N   T W E E T S   P ,   V 6 ;   [ A n o n y m o u s ] ,   S W I F T R I V E R   P L A T F ;   [ A n o n y m o u s ] ,   O F F L   O P E N S T R E E T M A P ;   [ A n o n y m o u s ] ,   V E E G I L O ;   [ A n o n y m o u s ] ,   Y O U T U B E   F R E Q   A S K   Q U E ;   A u r i g i   A . ,   2 0 0 8 ,   A U G M E N T E D   U R B A N   S P A C ;   B e a u m o n t   C ,   2 0 0 8 ,   T E L E G R A P H               1 1 2 7 ;   B e n g t s s o n   L ,   2 0 1 1 ,   P L O S   M E D ,   V 8 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p m e d . 1 0 0 1 0 8 3 ;   B o l l e n   J ,   2 0 1 1 ,   J   C O M P U T   S C I - N E T H ,   V 2 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / j . j o c s . 2 0 1 0 . 1 2 . 0 0 7 ;   B o t t s   M . ,   2 0 0 7 ,   O G C   S E N S O R   W E B   E N A B L ;   B o u l o s   M .   N . ,   2 0 0 4 ,   I N T   J   H E A L T H   G E O G R ,   V 3 ,   P 1 ,   D O I   D O I   1 0 . 1 1 8 6 / 1 4 7 6 - 0 7 2 X - 3 - 1 ;   B o u l o s   M N K ,   2 0 1 1 ,   B I O M E D   E N G   O N L I N E ,   V 1 0 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 5 - 9 2 5 X - 1 0 - 2 4 ;   B o u l o s   M N K ,   2 0 0 8 ,   I N T   J   H E A L T H   G E O G R ,   V 7 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 6 - 0 7 2 X - 7 - 3 8 ;   B o u l o s   M a g e d   N   K a m e l ,   2 0 0 5 ,   I n t   J   H e a l t h   G e o g r ,   V 4 ,   P 2 2 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 6 - 0 7 2 X - 4 - 2 2 ;   B o u l o s   M N K ,   2 0 1 1 ,   I N T   J   H E A L T H   G E O G R ,   V 1 0 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 6 - 0 7 2 X - 1 0 - 4 5 ;   B o u l o s   M N K ,   2 0 1 0 ,   C O M P U T   M E T H   P R O G   B I O ,   V 1 0 0 ,   P 1 6 ,   D O I   1 0 . 1 0 1 6 / j . c m p b . 2 0 1 0 . 0 2 . 0 0 7 ;   B r o r i n g   A ,   2 0 1 1 ,   S E N S O R S - B A S E L ,   V 1 1 ,   P 2 6 5 2 ,   D O I   1 0 . 3 3 9 0 / s 1 1 0 3 0 2 6 5 2 ;   B u r k e   J . A . ,   2 0 0 6 ,   P A R T I C I P A T O R Y   S E N S I N ;   B u r n s   G ,   2 0 1 1 ,   U S I N G   T W I T T E R   P R E D I C ;   C a m p b e l l   A .   T . ,   2 0 0 6 ,   P   2   A N N   I N T   W O R K S H   W ;   B o u l o s   M a g e d   N ,   2 0 0 2 ,   M e d   S c i   M o n i t ,   V 8 ,   p M T 1 2 4 ;   C h a t z i g i a n n a k i s   I ,   2 0 1 0 ,   C O M P U T E R   S C I   R E V ,   V 5 ,   P 1 0 3 ;   C h e n   K   M ,   2 0 1 1 ,   O P E N   G E O S M S   S T A N D A R D ;   C h r i s t i n   D ,   2 0 1 1 ,   J   S Y S T   S O F T W A R E ,   V 8 4 ,   P 1 9 2 8 ,   D O I   1 0 . 1 0 1 6 / j . j s s . 2 0 1 1 . 0 6 . 0 7 3 ;   C o r s a r   D ,   2 0 1 1 ,   P   4   I N T   W O R K S H   S E M   S ,   P 9 0 ;   C o x   S . ,   2 0 0 7 ,   O B S E R V A T I O N S   M E A S U R E ;   C r o w l e y   D N ,   2 0 1 1 ,   P   4   I N T   W O R K S H   S E M   S ,   P 8 4 ;   C u f f   D a n a ,   2 0 0 8 ,   C o m m u n i c a t i o n s   o f   t h e   A C M ,   V 5 1 ,   D O I   1 0 . 1 1 4 5 / 1 3 2 5 5 5 5 . 1 3 2 5 5 6 2 ;   D e m i r b a s   M u r a t ,   2 0 1 0 ,   2 0 1 0   I E E E   I n t e r n a t i o n a l   S y m p o s i u m   o n   " A   W o r l d   o f   W i r e l e s s ,   M o b i l e   a n d   M u l t i m e d i a   N e t w o r k s "   ( W o W M o M ) ,   D O I   1 0 . 1 1 0 9 / W O W M O M . 2 0 1 0 . 5 5 3 4 9 1 0 ;   E l w o o d   S . ,   2 0 0 8 ,   G e o J o u r n a l ,   V 7 2 ,   P 1 3 3 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 0 8 - 0 0 8 - 9 1 8 7 - z ;   F a c e b o o k ,   F A C   S T A T ;   G a n n e s   L ,   2 0 1 1 ,   T W I T T E R   F I N A L L Y   D I S C ;   G a r t n e r ,   2 0 1 2 ,   G A R T N   S A Y S   W O R L D W   M O ;   G e l l e r s e n   H W ,   2 0 0 2 ,   M O B I L E   N E T W   A P P L ,   V 7 ,   P 3 4 1 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 1 6 5 8 7 5 1 5 8 2 2 ;   G o o d c h i l d   M . F . ,   2 0 0 7 ,   G E O J O U R N A L ,   V 6 9 ,   P 2 1 1 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 7 - 9 1 1 1 - Y ;   G o o g l e ,   G O O G L   E A R T H   P L U G   I N ;   G o o g l e ,   G O O G L   I N S   S E A R C H ;   G r o s s   N . ,   1 9 9 9 ,   E A R T H   W I L L   D O N   E L E C T ;   H a n s e n   M ,   2 0 0 5 ,   P   2 0 0 5   S I A M   I N T   C   D A ;   J a d h a v   A ,   2 0 1 0 ,   P   S E M   W E B   C H A L L   2 0 1 0 ;   J a i n   R ,   2 0 0 8 ,   C O M P U T E R ,   V 4 1 ,   P 4 2 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 8 . 4 9 ;   J a n o w i c z   K . ,   2 0 1 0 ,   S E M A N T I C   W E B   J ,   V 1 ,   P 2 5 ;   B o u l o s   M N K ,   2 0 1 1 ,   I N T   J   H E A L T H   G E O G R ,   V 1 0 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 6 - 0 7 2 X - 1 0 - 1 9 ;   K a m e l   B o u l o s   M N ,   2 0 0 9 ,   I S P R S   A R C H   4 ,   V X X X V I I I ;   B o u l o s   M a g e d   N .   K a m e l ,   2 0 1 1 ,   J o u r n a l   o f   E m e r g i n g   T e c h n o l o g i e s   i n   W e b   I n t e l l i g e n c e ,   V 3 ,   D O I   1 0 . 4 3 0 4 / j e t w i . 3 . 4 . 3 1 7 - 3 2 2 ;   K a n h e r e   S .   S . ,   2 0 1 1 ,   P   2 0 1 1   1 2   I E E E   I N T   C ,   P 3 ;   K e l l e r   L ,   2 0 1 1 ,   C I A   U S E S   S O C I A L   M E D I ;   K w a k   H . ,   2 0 1 0 ,   P   1 9   I N T   C   W O R L D   W I D ;   L a n e   N D ,   2 0 1 0 ,   I E E E   C O M M U N   M A G ,   V 4 8 ,   P 1 4 0 ,   D O I   1 0 . 1 1 0 9 / M C O M . 2 0 1 0 . 5 5 6 0 5 9 8 ;   L e f o r t   L . ,   2 0 1 1 ,   S E M A N T I C   S E N S O R   N E T W ;   L e - P h u o c   D ,   2 0 1 1 ,   P   1 0   I N T   S E M   W E B   C   I ;   L e - P h u o c   D ,   P   S E M   W E B   C H A L L   2 0 1 1 ;   N a   A . ,   2 0 0 7 ,   S E N S O R   O B S E R V A T I O N   S ;   N a g a r a j a n   M ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 8 0 2 ,   P 5 3 9 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 4 4 0 9 - 0 _ 5 2 ;   N a g e l   C ,   2 0 0 9 ,   D A T A   M O D E L   E X C H A N G E ;   N e u h a u s   H ,   P   A G I L E   2 0 0 9   P R E C   W O ;   O r t i z   J R ,   2 0 1 0 ,   A M   J   R E S P   C R I T   C A R E ,   V 1 8 1 ,   p A 2 6 2 6 ;   P e r s a d   R A ,   2 0 1 0 ,   P   C A N   G E O M   C   2 0 1 0   I S ;   R a h m a n   M ,   2 0 1 1 ,   G U A R D I A N                 0 7 1 4 ;   R e s c h   B . ,   2 0 0 9 ,   I N T   J   A D V   S Y S T E M S   M E ,   V 2 ,   P 1 5 6 ;   R i b e i r o   J ,   2 0 1 1 ,   M U M B A I   M O B I L E   N E T W O R ;   S a e n z   A . ,   2 0 1 1 ,   J A P A N S   N U C L   W O E S   G I V ;   S c a n f e l d   D ,   2 0 1 0 ,   A M   J   I N F E C T   C O N T R O L ,   V 3 8 ,   P 1 8 2 ,   D O I   1 0 . 1 0 1 6 / j . a j i c . 2 0 0 9 . 1 1 . 0 0 4 ;   S h e t h   A ,   2 0 0 8 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 2 ,   P 7 8 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 0 8 . 8 7 ;   S h e t h   A ,   2 0 0 9 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 3 ,   P 8 7 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 0 9 . 7 7 ;   S i e g l e r   M ,   2 0 1 1 ,   S T E A L T H Y   B O T T L E N O S E ;   S i e g l e r   M ,   2 0 1 0 ,   E A R L Y   L O O K   T W I T T E R   A ;   S i m o n i s   I ,   2 0 0 7 ,   S E N S O R   A L E R T   S E R V I C E ;   S i m o n i s   I ,   2 0 1 1 ,   S E N S O R   P L A N N I N G   S E R V ;   S i m o n i s   I ,   2 0 0 3 ,   W E B   N O T I F I C A T I O N   S E R ;   S r i v a s t a v a   M ,   2 0 1 2 ,   P H I L O S   T   R   S O C   A ,   V 3 7 0 ,   P 1 7 6 ,   D O I   1 0 . 1 0 9 8 / r s t a . 2 0 1 1 . 0 2 4 4 ;   S u t t e r   J D ,   2 0 1 1 ,   C N N                           0 9 2 0 ;   U S   G o v e r n m e n t   A c c o u n t a b i l i t y   O f f i c e ,   2 0 0 9 ,   G A O 0 9 6 0 4 ;   W 3 C ,   2 0 0 8 ,   S P A R Q L   Q U E R   L A N G   R D F ;   W a l c o t t   B P ,   2 0 1 1 ,   N E U R O S U R G   F O C U S ,   V 3 0 ,   D O I   1 0 . 3 1 7 1 / 2 0 1 1 . 2 . F O C U S 1 1 2 4 ;   W a n g   L ,   2 0 1 1 ,   P   J O I N T   I S P R S   W O R K S H ;   W a n g   L ,   2 0 1 1 ,   P   L A S   S C A N N   2 0 1 1   I S P ;   W E I S E R   M ,   1 9 9 1 ,   S C I   A M ,   V 2 6 5 ,   P 9 4 ;   W E I S E R   M ,   1 9 9 3 ,   C O M P U T E R ,   V 2 6 ,   P 7 1 ,   D O I   1 0 . 1 1 0 9 / 2 . 2 3 7 4 5 6 ;   W e l s h   M ,   2 0 1 0 ,   C O M M U N   A C M ,   V 5 3 ,   P 3 6 ,   D O I   [ 1 0 . 1 1 4 5 / 1 8 3 9 6 7 5 . 1 8 3 9 6 9 0 ,   1 0 . 1 1 4 5 / 1 8 3 9 6 7 6 . 1 8 3 9 6 9 0 ] ;   W e s t e r m a n n   U ,   2 0 0 6 ,   I N T   J   S E M A N T   W E B   I N F ,   V 2 ,   P 1 ,   D O I   1 0 . 4 0 1 8 / j s w i s . 2 0 0 6 0 4 0 1 0 1 ;   W i l l a r d   S . D . ,   2 0 1 1 ,   U R O L O G Y ;   W o n g   W K ,   2 0 0 3 ,   J   U R B A N   H E A L T H ,   V 8 0 ,   p I 6 6 	 1 1 9 	 1 7 	 1 8 	 B I O M E D   C E N T R A L   L T D 	 L O N D O N 	 2 3 6   G R A Y S   I N N   R D ,   F L O O R   6 ,   L O N D O N   W C 1 X   8 H L ,   E N G L A N D 	 1 4 7 6 - 0 7 2 X 	 	 	 I N T   J   H E A L T H   G E O G R 	 I n t .   J .   H e a l t h   G e o g r . 	 D E C   2 1 	 2 0 1 1 	 1 0 	 	 	 	 	 	 	 	 6 7 	 1 0 . 1 1 8 6 / 1 4 7 6 - 0 7 2 X - 1 0 - 6 7 	 	 2 9 	 P u b l i c ,   E n v i r o n m e n t a l   &   O c c u p a t i o n a l   H e a l t h 	 P u b l i c ,   E n v i r o n m e n t a l   &   O c c u p a t i o n a l   H e a l t h 	 8 9 2 W A 	 W O S : 0 0 0 3 0 0 3 1 5 1 0 0 0 0 1 	 	 
 J 	 F a l c i o n i ,   J G 	 	 	 	 F a l c i o n i ,   J o h n   G . 	 	 	 p r o j e c t :   c r o w d s o u r c i n g 	 M E C H A N I C A L   E N G I N E E R I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 0 	 0 	 0 	 A S M E - A M E R   S O C   M E C H A N I C A L   E N G 	 N E W   Y O R K 	 T H R E E   P A R K   A V E ,   N E W   Y O R K ,   N Y   1 0 0 1 6 - 5 9 9 0   U S A 	 0 0 2 5 - 6 5 0 1 	 	 	 M E C H   E N G 	 M e c h .   E n g . 	 D E C 	 2 0 1 1 	 1 3 3 	 1 2 	 	 	 	 	 2 5 	 2 5 	 	 	 	 1 	 E n g i n e e r i n g ,   M e c h a n i c a l 	 E n g i n e e r i n g 	 9 8 1 R E 	 W O S : 0 0 0 3 0 6 9 8 6 3 0 0 0 2 1 	 	 
 J 	 R u p p e r t ,   E ;   S a v a g e ,   M 	 	 	 	 R u p p e r t ,   E v e l y n ;   S a v a g e ,   M i k e 	 	 	 T r a n s a c t i o n a l   p o l i t i c s 	 S O C I O L O G I C A L   R E V I E W 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 d i g i t a l   d a t a ;   M P   e x p e n s e s ;   t r a n s a c t i o n a l   p o l i t i c s ;   v i s u a l i z a t i o n ;   W e b   2 ;   0 	 	 I n   s p r i n g   2 0 0 9 ,   r e v e l a t i o n s   o v e r   t h e   e x p e n s e   c l a i m s   o f   B r i t i s h   M P s   l e d   t o   o n e   o f   t h e   m o s t   d a m a g i n g   s c a n d a l s   a f f e c t i n g   t h e   l e g i t i m a c y   o f   p a r l i a m e n t a r y   d e m o c r a c y   i n   r e c e n t   h i s t o r y .   T h i s   a r t i c l e   e x p l o r e s   h o w   t h i s   i n c i d e n t   r e v e a l s   t h e   c a p a c i t y   o f   W e b   2 . 0   d e v i c e s   a n d   t r a n s a c t i o n a l   d a t a   t o   t r a n s f o r m   p o l i t i c s .   I t   r e f l e c t s ,   g r a p h i c a l l y ,   t h e   p o l i t i c a l   p o w e r   o f   i d e n t i f y i n g   a n d   k n o w i n g   p e o p l e   o n   t h e   b a s i s   o f   t h e i r   t r a n s a c t i o n s ,   o n   w h a t   t h e y   d o   r a t h e r   t h a n   w h a t   t h e y   s a y .   I t   a l s o   s h o w s   i n   p r a c t i c e   h o w   W e b   2 . 0   d e v i c e s   s u c h   a s   C r o w d s o u r c i n g ,   G o o g l e   D o c s ,   m a s h - u p s   a n d   v i s u a l i z a t i o n   s o f t w a r e   c a n   b e   u s e d   t o   m o b i l i z e   d a t a   f o r   c o l l e c t i v e   a n d   p o p u l a r   p r o j e c t s .   B a s i c   a n a l y t i c   t o o l s   f r e e l y   a v a i l a b l e   o n   t h e   W e b   e n a b l e   p e o p l e   t o   a c c e s s ,   d i g i t i z e   a n d   a n a l y s e   d a t a   a n d   d o   t h e i r   o w n   a n a l y s e s   a n d   r e p r e s e n t a t i o n s   o f   p h e n o m e n a .   W e   e x a m i n e   m e d i a   a n d   p o p u l a r   m o b i l i z a t i o n s   o f   t r a n s a c t i o n a l   d a t a   u s i n g   t h e   s p e c i f i c   e x a m p l e   o f   t h e   M P s '   e x p e n s e s   s c a n d a l   a n d   r e l a t e   t h i s   t o   l a r g e r   c u r r e n t s   i n   o n l i n e   g o v e r n m e n t   d a t a   a n d   d e v i c e s   f o r   p u b l i c   s c r u t i n y   w h i c h   g i v e   r i s e   t o   a   n e w   p o l i t i c s   o f   m e a s u r e m e n t .   W e   a r g u e   t h a t   t h i s   p o l i t i c s   o f   m e a s u r e m e n t   i n v o l v e s   t h e   i n t r o d u c t i o n   o f   n e w   v i s u a l   d e v i c e s   b a s e d   o n   t h e   m a n i p u l a t i o n   o f   h u g e   d a t a b a s e s   i n t o   s i m p l i f i e d   v i s u a l   a r r a y s ;   t h e   r e - o r i e n t a t i o n   o f   a c c o u n t s   o f   t h e   s o c i a l   f r o m   e l i c i t e d   a t t i t u d e s   a n d   v i e w s   t o   t r a n s a c t i o n s   a n d   p r a c t i c e s ;   a n d ,   t h e   i n s p e c t i o n   o f   i n d i v i d u a l s   a r r a y e d   i n   r e l a t i o n   t o   o t h e r   i n d i v i d u a l s   w i t h i n   w h o l e   ( s u b )   p o p u l a t i o n s .   I t   i s   a l s o   a   p o l i t i c s   t h a t   m o b i l i z e s   n e w   i n f o r m a t i o n a l   g a t e k e e p e r s   a n d   o r g a n i z e r s   i n   t h e   m a k i n g   a n d   a n a l y s i s   o f   t r a n s a c t i o n a l   d a t a   a n d   c h a l l e n g e s   d o m i n a n t   o r   e x p e r t   f o r m s   o f   a n a l y s i s   a n d   r e p r e s e n t a t i o n . 	 [ S a v a g e ,   M i k e ]   U n i v   Y o r k ,   Y o r k   E u r o p e a n   C t r   C u l t u r a l   E x p l o r a t ,   Y o r k   Y O 1 0   5 D D ,   N   Y o r k s h i r e ,   E n g l a n d 	 	 e . r u p p e r t @ o p e n . a c . u k ;   m i k e . s a v a g e @ y o r k . a c . u k 	 	 	 	 	 A m o o r e   L ,   2 0 0 6 ,   P O L I T   G E O G R ,   V 2 5 ,   P 3 3 6 ,   D O I   1 0 . 1 0 1 6 / j . p o l g e o . 2 0 0 6 . 0 2 . 0 0 1 ;   B a u m a n   Z y g m u n t ,   1 9 8 7 ,   L E G I S L A T O R S   I N T E R P R E ;   C r o m p t o n   R ,   2 0 0 8 ,   S O C I O L O G Y ,   V 4 2 ,   P 1 2 1 8 ,   D O I   1 0 . 1 1 7 7 / 0 0 3 8 0 3 8 5 0 8 0 9 6 9 4 2 ;   D e n n i s   K ,   2 0 0 8 ,   S O C I O L   R E V ,   V 5 6 ,   P 3 4 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 5 4 X . 2 0 0 8 . 0 0 7 9 3 . x ;   F i l l o u x   F . ,   2 0 0 9 ,   M O N D A Y   N O T E   M E D I A   T E ;   G l a d w e l l   M ,   2 0 0 8 ,   O U T L I E R S   S T O R Y   S U C C E ;   G l o v e r   J . ,   2 0 1 0 ,   G U A R D I A N                 0 3 2 0 ;   H a l f o r d   S ,   2 0 1 0 ,   I N F O R M   C O M M U N   S O C ,   V 1 3 ,   P 9 3 7 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 X . 2 0 1 0 . 4 9 9 9 5 6 ;   H o w e s   A . ,   2 0 0 9 ,   I N F O R M   R E V O L U T I O N ;   L a n i e r   J . ,   2 0 0 6 ,   E D G E   3   C U L T U R E ;   L a s h   S . ,   2 0 0 2 ,   C R I T I Q U E   I N F O R M ;   L a t o u r   B . ,   2 0 1 0 ,   S O C I A L   G A B R I E L   T A R D E ;   L a w   J ,   2 0 0 4 ,   E C O N   S O C ,   V 3 3 ,   P 3 9 0 ,   D O I   1 0 . 1 0 8 0 / 0 3 0 8 5 1 4 0 4 2 0 0 0 2 2 5 7 1 6 ;   L a w r e n c e   J . ,   2 0 0 9 ,   E L E C T I N G   O U R   M A S T E R S ;   M a n n   S ,   1 9 9 8 ,   L E O N A R D O ,   V 3 1 ,   P 9 3 ,   D O I   1 0 . 2 3 0 7 / 1 5 7 6 5 1 1 ;   M o l   A n n e m a r i e ,   2 0 0 2 ,   B O D Y   M U L T I P L E   O N T O L O ;   O s b o r n e   T ,   1 9 9 9 ,   B R I T   J   S O C I O L ,   V 5 0 ,   P 3 6 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 8 - 4 4 4 6 . 1 9 9 9 . 0 0 3 6 7 . x ;   P u t n a m   R . D . ,   2 0 0 0 ,   B O W L I N G   A L O N E   C O L L A P ;   R h e i n g o l d   H o w a r d ,   2 0 0 2 ,   S M A R T   M O B S   N E X T   S O C I ;   R O S E   N ,   1 9 9 1 ,   A C C O U N T   O R G   S O C ,   V 1 6 ,   P 6 7 3 ,   D O I   1 0 . 1 0 1 6 / 0 3 6 1 - 3 6 8 2 ( 9 1 ) 9 0 0 1 9 - B ;   R u p p e r t   E ,   2 0 1 1 ,   S O C I O L O G Y ,   V 4 5 ,   P 2 1 8 ,   D O I   1 0 . 1 1 7 7 / 0 0 3 8 0 3 8 5 1 0 3 9 4 0 2 7 ;   S a v a g e   M ,   2 0 0 9 ,   E U R   J   S O C   T H E O R Y ,   V 1 2 ,   P 1 5 5 ,   D O I   1 0 . 1 1 7 7 / 1 3 6 8 4 3 1 0 0 8 0 9 9 6 5 0 ;   S a v a g e   M ,   2 0 0 7 ,   S O C I O L O G Y ,   V 4 1 ,   P 8 8 5 ,   D O I   1 0 . 1 1 7 7 / 0 0 3 8 0 3 8 5 0 7 0 8 0 4 4 3 ;   S a v a g e   M . ,   2 0 1 0 ,   I D E N T I T I E S   S O C I A L   C H ;   S t e i n b e r g   T . ,   2 0 0 7 ,   P O W E R   I N F O R M ;   T h o m p s o n   N . ,   2 0 0 9 ,   W I R E D                       0 6 1 8 ;   T h r i f t   N . ,   2 0 0 5 ,   K N O W I N G   C A P I T A L I S M ;   U p r i c h a r d   E ,   2 0 0 8 ,   S O C I O L   R E V ,   V 5 6 ,   P 6 0 6 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 5 4 X . 2 0 0 8 . 0 0 8 0 7 . x ;   V e r n o n   J a m e s ,   1 9 9 3 ,   P O L I T I C S   P E O P L E   S T U D ;   W e b b e r   R . ,   2 0 0 8 ,   S O C I O L O G Y ,   V 4 3 ,   P 1 6 9 ;   W i n n e t t   R . ,   2 0 0 9 ,   N O   E X P E N S E S   S P A R E D   I 	 3 1 	 3 	 3 	 W I L E Y - B L A C K W E L L 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 0 0 3 8 - 0 2 6 1 	 	 	 S O C I O L   R E V 	 S o c i o l .   R e v . 	 D E C 	 2 0 1 1 	 5 9 	 	 	 2 	 S I 	 	 7 3 	 9 2 	 	 1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 5 4 X . 2 0 1 2 . 0 2 0 5 7 . x 	 	 2 0 	 S o c i o l o g y 	 S o c i o l o g y 	 9 5 2 A H 	 W O S : 0 0 0 3 0 4 7 6 1 6 0 0 0 0 6 	 	 
 J 	 A n a s t a s i o u ,   D ;   G u p t a ,   R 	 	 	 	 A n a s t a s i o u ,   D i m i t r a ;   G u p t a ,   R a j a t 	 	 	 C o m p a r i s o n   o f   c r o w d s o u r c i n g   t r a n s l a t i o n   w i t h   M a c h i n e   T r a n s l a t i o n 	 J O U R N A L   O F   I N F O R M A T I O N   S C I E N C E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c r o w d s o u r c i n g ;   e m p i r i c a l   d a t a ;   h u m a n   t r a n s l a t i o n ;   M a c h i n e   T r a n s l a t i o n ;   q u a l i t y 	 	 I n   t h i s   p a p e r   w e   e x a m i n e   t h e   m o d e l   o f   c r o w d s o u r c i n g   f o r   t r a n s l a t i o n   a n d   c o m p a r e   i t   w i t h   M a c h i n e   T r a n s l a t i o n   ( M T ) .   T h e   l a r g e   v o l u m e   o f   m a t e r i a l   t o   b e   t r a n s l a t e d ,   t h e   t r a n s l a t i o n   o f   t h i s   m a t e r i a l   i n t o   m a n y   l a n g u a g e s   c o m b i n e d   w i t h   t i g h t   d e a d l i n e s   l e a d   e n t e r p r i s e s   t o d a y   t o   f o l l o w   e i t h e r   c r o w d s o u r c i n g   a n d / o r   M T .   C r o w d s o u r c i n g   t r a n s l a t i o n   s h a r e s   m a n y   c h a r a c t e r i s t i c s   w i t h   M T ,   a s   b o t h   c a n   c o p e   w i t h   h i g h   v o l u m e ,   p e r f o r m   a t   h i g h   s p e e d ,   a n d   r e d u c e   t h e   t r a n s l a t i o n   c o s t .   M T   i s   a n   o l d e r   t e c h n o l o g y ,   w h e r e a s   c r o w d s o u r c i n g   i s   a   n e w   p h e n o m e n o n   g a i n i n g   m u c h   g r o u n d   o v e r   t i m e ,   m a i n l y   t h r o u g h   W e b   2 . 0 .   E x a m p l e s   a n d   c h a l l e n g e s   o f   b o t h   m o d e l s   w i l l   b e   d i s c u s s e d   a n d   t h e   p a p e r   i s   c l o s e d   w i t h   f u t u r e   p r o s p e c t s   r e g a r d i n g   t h e   c o m b i n a t i o n   o f   c r o w d s o u r c i n g   a n d   M T ,   s o   t h a t   t h e y   a r e   n o t   r e g a r d e d   a s   o p p o n e n t s .   T h e s e   p r o s p e c t s   a r e   p a r t i a l l y   b a s e d   o n   t h e   r e s u l t s   o f   a   s u r v e y   w e   c o n d u c t e d .   B a s e d   o n   o u r   b a c k g r o u n d ,   e x p e r i e n c e ,   a n d   r e s e a r c h ,   t h i s   p a p e r   c o v e r s   a s p e c t s   b o t h   f r o m   t h e   p o i n t   o f   v i e w   o f   t r a n s l a t i o n   s t u d i e s   a n d   c o m p u t a t i o n a l   l i n g u i s t i c s   a p p l i c a t i o n s   a s   w e l l   a s   o f   i n f o r m a t i o n   s c i e n c e s ,   a n d   p a r t i c u l a r l y   t h e   d e v e l o p m e n t   o f   t h e   W e b   r e g a r d i n g   u s e r - g e n e r a t e d   c o n t e n t . 	 [ A n a s t a s i o u ,   D i m i t r a ]   U n i v   B r e m e n ,   S F B   S p a t i a l   C o g n i t   C o m p   S c i   &   L a n g u a g e s   &   L i t e r a r ,   B r e m e n ,   G e r m a n y ;   [ G u p t a ,   R a j a t ]   C t r   N e x t   G e n e r a t   L o c a l i z a t ,   L o c a l i z a t   R e s   C t r ,   D e p t   C o m p   S c i   &   I n f o r m a t   S y s t ,   L i m e r i c k ,   I r e l a n d 	 A n a s t a s i o u ,   D   ( r e p r i n t   a u t h o r ) ,   E n r i q u e   S c h m i d t   S t r   5 ,   D - 2 8 3 5 9   B r e m e n ,   G e r m a n y . 	 a n a s t a s i o u @ u n i - b r e m e n . d e 	 	 	 S c i e n c e   F o u n d a t i o n   I r e l a n d   a s   p a r t   o f   t h e   C e n t r e   f o r   N e x t   G e n e r a t i o n   L o c a l i s a t i o n   ( C N G L )   a t   t h e   U n i v e r s i t y   o f   L i m e r i c k   [ 0 7 / C E / I 1 1 4 2 ] ;   D e u t s c h e   F o r s c h u n g s g e m e i n s c h a f t   ( D F G )   t h r o u g h   t h e   C o l l a b o r a t i v e   R e s e a r c h   C e n t e r   [ S F B / T R   8 ] 	 T h i s   r e s e a r c h   i s   s u p p o r t e d   b y   t h e   S c i e n c e   F o u n d a t i o n   I r e l a n d   ( g r a n t   0 7 / C E / I 1 1 4 2 )   a s   p a r t   o f   t h e   C e n t r e   f o r   N e x t   G e n e r a t i o n   L o c a l i s a t i o n   ( C N G L )   a t   t h e   U n i v e r s i t y   o f   L i m e r i c k .   W e   g r a t e f u l l y   a c k n o w l e d g e   t h e   s u p p o r t   o f   t h e   D e u t s c h e   F o r s c h u n g s g e m e i n s c h a f t   ( D F G )   t h r o u g h   t h e   C o l l a b o r a t i v e   R e s e a r c h   C e n t e r   S F B / T R   8   S p a t i a l   C o g n i t i o n . 	 A l b o r s   J ,   2 0 0 8 ,   I N T   J   I N F O R M   M A N A G E ,   V 2 8 ,   P 1 9 4 ,   D O I   1 0 . 1 0 1 6 / j . i j i n f o m g t . 2 0 0 7 . 0 9 . 0 0 6 ;   A l l e n   J ,   2 0 0 3 ,   C o m p u t e r s   a n d   t r a n s l a t i o n :   a   t r a n s l a t o r s   g u i d e ,   V 3 5 ,   P 2 9 7 ;   A n a s t a s i o u   D ,   2 0 0 9 ;   [ A n o n y m o u s ] ,   T E D   O p e n   T r a n s l a t i o n   P r o j e c t ;   [ A n o n y m o u s ] ,   P e t i t i o n :   p r o f e s s i o n a l   t r a n s l a t o r s   a g a i n s t   c r o w d s o u r c i n g   a n d   o t h e r   u n e t h i c a l   b u s i n e s s   p r a c t i c e s ;   [ A n o n y m o u s ] ,   B e r n e   c o n v e n t i o n   f o r   t h e   p r o t e c t i o n   o f   l i t e r a r y   a n d   a r t i s t i c   w o r k s ;   [ A n o n y m o u s ] ,   G o o g l e   i n   Y o u r   L a n g u a g e ;   A u s t e r m u h l   F r a n k ,   2 0 0 1 ,   E L E C T   T O O L S   T R A N S L A T ;   B a b y c h   B ,   2 0 0 4 ,   P 6 2 1 ,   D O I   1 0 . 3 1 1 5 / 1 2 1 8 9 5 5 . 1 2 1 9 0 3 4 ;   B r a b h a m   D C ,   2 0 0 8 ,   P 1 ;   B r o w n   P ,   1 9 8 8 ,   1 2   I N T   C   C O M P   L I N G   C ,   P 7 1 ;   C I N T A S   J D ,   2 0 0 6 ,   J O S T R A N S   J   S P E C I A L I S ,   V 6 ,   P 3 7 ;   C o o p e r   C ,   2 0 0 9 ,   I s   t r a n s l a t i o n   c r o w d s o u r c i n g   u n e t h i c a l ? ;   C r o n i n   M ,   2 0 1 0 ,   R e v i s t a   t r a d u m a t i c a ,   V 0 8 ;   D e l   G i u d i c e   K ,   2 0 1 0 ,   P r o c e e d i n g s   o f   t h e   A m e r i c a n   S o c i e t y   f o r   I n f o r m a t i o n   S c i e n c e   a n d   T e c h n o l o g y ,   V 4 7 ,   P 1 ;   D i   M a i o   A ,   2 0 0 9 ,   G a r t n e r   b l o g ;   D i l l i n g e r   M . ,   2 0 0 9 ,   C L I E N T S I D E   N E W S ,   P 1 0 ;   D o d d i n g t o n   G . ,   2 0 0 2 ,   P   H U M   L A N G   T E C H N   C   H ,   P 1 2 8 ;   F l o u r n o y   R ,   2 0 0 9 ;   F o r c a d a   M ,   2 0 0 6 ,   P 1 ;   G a r c i a   I ,   2 0 1 0 ,   T r a d u m a t i c a ,   V 8 ;   G a s p a r i   F ,   2 0 0 7 ,   T H E S I S   U   M A N C H E S T E R ;   G e i s l e r   G ,   2 0 1 0 ,   V 4 7 ;   G o n z a l e z   L P ,   2 0 0 6 ,   P E R S P E C T   S T U D   T R A N S L ,   V 1 4 ,   P 2 6 0 ;   G r o v e s   D . ,   2 0 0 8 ,   P   A M   A S S   M A C H   T R A N S L ,   P 1 1 ;   H a y t h o r n t h w a i t e   C . ,   2 0 0 9 ,   P   4 2   H A W   I N T   C   S Y S T ,   P 1 ;   H o f f m a n n   L ,   2 0 0 9 ,   C O M M U N   A C M ,   V 5 2 ,   P 1 6 ,   D O I   1 0 . 1 1 4 5 / 1 4 6 7 2 4 7 . 1 4 6 7 2 5 4 ;   H o l l e y   R . ,   2 0 1 0 ,   D   L I B   M A G A Z I N E ;   H o l m s t r o m   J E ,   1 9 5 1 ,   R e p o r t   o n   i n t e r l i n g u a l   s c i e n t i f i c   a n d   t e c h n i c a l   d i c t i o n a r i e s ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G ;   H o w e   J . ,   2 0 0 6 ,   C R O W D S O U R C I N G   T R A C K I ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ;   H u b e r m a n   B A ,   2 0 0 8 ,   C O M P U T E R ,   V 4 1 ,   P 1 0 3 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 8 . 4 5 0 ;   H u t c h i n s   W i l l i a m   J o h n ,   1 9 8 6 ,   M A C H I N E   T R A N S L A T I O N ;   H u t c h i n s   W J ,   2 0 0 9 ,   C o m p e n d i u m   o f   t r a n s l a t i o n   s o f t w a r e ;   H u t c h i n s   W J ,   2 0 0 0 ,   M a c h i n e   T r a n s l a t i o n ,   V 1 5 ,   P 1 8 7 ;   I p e i r o t i s   P .   G . ,   2 0 1 0 ,   M E C H   T U R K   N O W   4 0   9 2 ;   J o r d a n   W ,   2 0 0 7 ;   J o s c e l y n e   A ,   2 0 0 9 ,   O p e n   M T :   r e a d y   f o r   b u s i n e s s ? ;   K a y   M . ,   1 9 9 7 ,   M a c h i n e   T r a n s l a t i o n ,   V 1 2 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 0 7 9 1 1 4 1 6 6 7 6 ;   K a y   M . ,   1 9 8 2 ,   A m e r i c a n   J o u r n a l   o f   C o m p u t a t i o n a l   L i n g u i s t i c s ,   V 8 ;   K e e n   A n d r e w ,   2 0 0 7 ,   C U L T   A M A T E U R   T O D A Y S ;   K e l l y   K ,   2 0 0 6 ,   T h e   W o r l d   Q u e s t i o n   C e n t e r ;   K e l l y   N . ,   2 0 0 9 ,   B U S I N E S S   C A S E   M A C H I N ;   K I T T U R   A ,   2 0 0 8 ,   P   A C M   2 0 0 8   C   C O M P   S U ,   P 3 7 ,   D O I   1 0 . 1 1 4 5 / 1 4 6 0 5 6 3 . 1 4 6 0 5 7 2 ;   K o e h n   P ,   2 0 0 9 ;   K o s t a k o s   V . ,   2 0 0 9 ,   P   2 0 0 9   I N T   C   C O M P   S C ,   V 4 ,   P 2 5 1 ;   K u z n e t s o v   S ,   2 0 0 6 ,   S I G C A S   C O M P U T   S O C ,   V 3 6 ,   P 1 ;   L a n g u a g e   T e c h n o l o g y   C e n t r e   ( L T C ) ,   2 0 0 9 ,   S t u d y   r e p o r t   t o   t h e   D i r e c t o r a t e   G e n e r a l   f o r   t r a n s l a t i o n   o f   t h e   E u r o p e a n   C o m m i s s i o n ;   M e i e r   P . ,   2 0 1 0 ,   H A I T I   P O W E R   C R O W D S O U ;   M e l b y   A K ,   2 0 0 6 ,   T r a d u m a t i c a ,   V 4 ;   M o o r e   T . ,   2 0 0 7 ,   P   2 0 0 7   A C M   S I G M I S   C P ,   P 1 5 3 ,   D O I   1 0 . 1 1 4 5 / 1 2 3 5 0 0 0 . 1 2 3 5 0 3 5 ;   M u e g g e   U ,   2 0 0 6 ;   N a g a o   M ,   1 9 8 8 ;   N i e l s e n   J . ,   2 0 0 6 ,   P A R T I C I P A T I O N   I N E Q U A ;   O ' B r i e n   S . ,   2 0 0 9 ,   J   S P E C I A L I S E D   T R A N S L ,   V 1 1 ,   P 5 2 ;   O ' B r i e n   S . ,   2 0 0 5 ,   M a c h i n e   T r a n s l a t i o n ,   V 1 9 ,   D O I   1 0 . 1 0 0 7 / s 1 0 5 9 0 - 0 0 5 - 2 4 6 7 - 1 ;   O ' H a g a n   M i n a k o ,   2 0 0 9 ,   J   I N T   L O C A L I S A T I O N ,   V 1 ,   P 9 4 ;   O h m   P ,   2 0 0 9 ,   N e t f l i x ' s   i m p e n d i n g   ( b u t   s t i l l   a v o i d a b l e )   m u l t i - m i l l i o n   d o l l a r   p r i v a c y   b l u n d e r ;   P a p i n e n i   K ,   2 0 0 1 ,   P 3 1 1 ;   P e r r i n o   S ,   2 0 0 9 ,   J   S P E C I A L I S E D   T R A N S L ,   V 1 2 ,   P 5 5 ;   P i e r c e   J R ,   1 9 6 6 ,   L a n g u a g e   a n d   m a c h i n e s :   c o m p u t e r s   i n   t r a n s l a t i o n   a n d   l i n g u i s t i c s ;   R a y m o n d   E ,   1 9 9 8 ,   G o o d b y e ,   f r e e   s o f t w a r e ;   h e l l o ,   o p e n   s o u r c e ;   S a m p l e   W a r d   A ,   2 0 1 0 ,   C r o w d   v s   c o m m u n i t y ;   S a t a n j e e v   B ,   2 0 0 5 ;   S a w e r s   P ,   2 0 0 9 ,   M u l t i l i n g u a l ,   P 6 2 ;   S n o v e r   M . ,   2 0 0 6 ,   P   A S S   M A C H   T R A N S L   A M ;   S o m e r s   H ,   2 0 0 5 ,   P 1 2 7 ;   S p i g i t ,   2 0 1 0 ,   F o u r   m o d e l s   f o r   c o m p e t i t i v e   c r o w d s o u r c i n g ;   T h i c k e   L ,   2 0 0 9 ,   M u l t i l i n g u a l ,   P 9 ;   v a n   d e   B e e k   J a a p ,   2 0 0 9 ,   P r o c e e d i n g s   o f   t h e   2 0 0 9   I E E E   7 0 t h   V e h i c u l a r   T e c h n o l o g y   C o n f e r e n c e   ( V T C   2 0 0 9   F a l l ) ,   D O I   1 0 . 1 1 0 9 / V E T E C F . 2 0 0 9 . 5 3 7 8 7 4 0 ;   v a n   d e r   M e e r   J ,   2 0 0 9 ;   W h e e l e r   B ,   2 0 1 0 ,   ' [ E U   c o u l d   t u r n   t o   ' c r o w d   s o u r c i n g '   i n   c y b e r   c r i m e   f i g h t ;   W o l f   T i m o ,   2 0 0 8 ,   S o f t w a r e   P r o c e s s :   I m p r o v e m e n t   a n d   P r a c t i c e ,   V 1 3 ,   D O I   1 0 . 1 0 0 2 / s p i p . 4 0 1 ;   Z u c k e r m a n   E ,   2 0 0 9 ,   J e f f   H o w e   o n   c r o w d s o u r c i n g 	 7 5 	 1 	 1 	 S A G E   P U B L I C A T I O N S   L T D 	 L O N D O N 	 1   O L I V E R S   Y A R D ,   5 5   C I T Y   R O A D ,   L O N D O N   E C 1 Y   1 S P ,   E N G L A N D 	 0 1 6 5 - 5 5 1 5 	 	 	 J   I N F   S C I 	 J .   I n f .   S c i . 	 D E C 	 2 0 1 1 	 3 7 	 6 	 	 	 	 	 6 3 7 	 6 5 9 	 	 1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 1 4 1 8 7 6 0 	 	 2 3 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 C o m p u t e r   S c i e n c e ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 8 6 4 S B 	 W O S : 0 0 0 2 9 8 2 5 9 2 0 0 0 0 6 	 	 
 J 	 F e r r e i r a ,   N ;   L i n s ,   L ;   F i n k ,   D ;   K e l l i n g ,   S ;   W o o d ,   C ;   F r e i r e ,   J ;   S i l v a ,   C 	 	 	 	 F e r r e i r a ,   N i v a n ;   L i n s ,   L a u r o ;   F i n k ,   D a n i e l ;   K e l l i n g ,   S t e v e ;   W o o d ,   C h r i s ;   F r e i r e ,   J u l i a n a ;   S i l v a ,   C l a u d i o 	 	 	 B i r d V i s :   V i s u a l i z i n g   a n d   U n d e r s t a n d i n g   B i r d   P o p u l a t i o n s 	 I E E E   T R A N S A C T I O N S   O N   V I S U A L I Z A T I O N   A N D   C O M P U T E R   G R A P H I C S 	 	 	 E n g l i s h 	 A r t i c l e ;   P r o c e e d i n g s   P a p e r 	 I E E E   V i s u a l i z a t i o n   C o n f e r e n c e   ( V i s ) / I E E E   I n f o r m a t i o n   V i s u a l i z a t i o n   C o n f e r e n c e   ( I n f o V i s ) 	 O C T   2 3 - 2 8 ,   2 0 1 1 	 P r o v i d e n c e ,   R I 	 I E E E 	 	 O r n i t h o l o g y ;   s p e c i e s   d i s t r i b u t i o n   m o d e l s ;   m u l t i s c a l e   a n a l y s i s ;   s p a t i a l   d a t a ;   t e m p o r a l   d a t a 	 B L A C K P O L L   W A R B L E R ;   M I G R A T I O N ;   M O D E L S 	 B i r d s   a r e   u n r i v a l e d   w i n d o w s   i n t o   b i o t i c   p r o c e s s e s   a t   a l l   l e v e l s   a n d   a r e   p r o v e n   i n d i c a t o r s   o f   e c o l o g i c a l   w e l l - b e i n g .   U n d e r s t a n d i n g   t h e   d e t e r m i n a n t s   o f   s p e c i e s   d i s t r i b u t i o n s   a n d   t h e i r   d y n a m i c s   i s   a n   i m p o r t a n t   a s p e c t   o f   e c o l o g y   a n d   i s   c r i t i c a l   f o r   c o n s e r v a t i o n   a n d   m a n a g e m e n t .   T h r o u g h   c r o w d s o u r c i n g ,   s i n c e   2 0 0 2 ,   t h e   e B i r d   p r o j e c t   h a s   b e e n   c o l l e c t i n g   b i r d   o b s e r v a t i o n   r e c o r d s .   T h e s e   o b s e r v a t i o n s ,   t o g e t h e r   w i t h   l o c a l - s c a l e   e n v i r o n m e n t a l   c o v a r i a t e s   s u c h   a s   c l i m a t e ,   h a b i t a t ,   a n d   v e g e t a t i o n   p h e n o l o g y   h a v e   b e e n   a   v a l u a b l e   r e s o u r c e   f o r   a   g l o b a l   c o m m u n i t y   o f   e d u c a t o r s ,   l a n d   m a n a g e r s ,   o r n i t h o l o g i s t s ,   a n d   c o n s e r v a t i o n   b i o l o g i s t s .   B y   a s s o c i a t i n g   e n v i r o n m e n t a l   i n p u t s   w i t h   o b s e r v e d   p a t t e r n s   o f   b i r d   o c c u r r e n c e ,   p r e d i c t i v e   m o d e l s   h a v e   b e e n   d e v e l o p e d   t h a t   p r o v i d e   a   s t a t i s t i c a l   f r a m e w o r k   t o   h a r n e s s   a v a i l a b l e   d a t a   f o r   p r e d i c t i n g   s p e c i e s   d i s t r i b u t i o n s   a n d   m a k i n g   i n f e r e n c e s   a b o u t   s p e c i e s - h a b i t a t   a s s o c i a t i o n s .   U n d e r s t a n d i n g   t h e s e   m o d e l s ,   h o w e v e r ,   i s   c h a l l e n g i n g   b e c a u s e   t h e y   r e q u i r e   s c i e n t i s t s   t o   q u a n t i f y   a n d   c o m p a r e   m u l t i s c a l e   s p a t i a l - t e m p o r a l   p a t t e r n s .   A   l a r g e   s e r i e s   o f   c o o r d i n a t e d   o r   s e q u e n t i a l   p l o t s   m u s t   b e   g e n e r a t e d ,   i n d i v i d u a l l y   p r o g r a m m e d ,   a n d   m a n u a l l y   c o m p o s e d   f o r   a n a l y s i s .   T h i s   h a m p e r s   t h e   e x p l o r a t i o n   a n d   i s   a   b a r r i e r   t o   m a k i n g   t h e   c r o s s - s p e c i e s   c o m p a r i s o n s   t h a t   a r e   e s s e n t i a l   f o r   c o o r d i n a t i n g   c o n s e r v a t i o n   a n d   e x t r a c t i n g   i m p o r t a n t   e c o l o g i c a l   i n f o r m a t i o n .   T o   a d d r e s s   t h e s e   l i m i t a t i o n s ,   a s   p a r t   o f   a   c o l l a b o r a t i o n   a m o n g   c o m p u t e r   s c i e n t i s t s ,   s t a t i s t i c i a n s ,   b i o l o g i s t s   a n d   o r n i t h o l o g i s t s ,   w e   h a v e   d e v e l o p e d   B i r d V i s ,   a n   i n t e r a c t i v e   v i s u a l i z a t i o n   s y s t e m   t h a t   s u p p o r t s   t h e   a n a l y s i s   o f   s p a t i o - t e m p o r a l   b i r d   d i s t r i b u t i o n   m o d e l s .   B i r d V i s   l e v e r a g e s   v i s u a l i z a t i o n   t e c h n i q u e s   a n d   u s e s   t h e m   i n   a   n o v e l   w a y   t o   b e t t e r   a s s i s t   u s e r s   i n   t h e   e x p l o r a t i o n   o f   i n t e r d e p e n d e n c i e s   a m o n g   m o d e l   p a r a m e t e r s .   F u r t h e r m o r e ,   t h e   s y s t e m   a l l o w s   f o r   c o m p a r a t i v e   v i s u a l i z a t i o n   t h r o u g h   c o o r d i n a t e d   v i e w s ,   p r o v i d i n g   a n   i n t u i t i v e   i n t e r f a c e   t o   i d e n t i f y   r e l e v a n t   c o r r e l a t i o n s   a n d   p a t t e r n s .   W e   j u s t i f y   o u r   d e s i g n   d e c i s i o n s   a n d   p r e s e n t   c a s e   s t u d i e s   t h a t   s h o w   h o w   B i r d V i s   h a s   h e l p e d   s c i e n t i s t s   o b t a i n   n e w   e v i d e n c e   f o r   e x i s t i n g   h y p o t h e s e s ,   a s   w e l l   a s   f o r m u l a t e   n e w   h y p o t h e s e s   i n   t h e i r   d o m a i n . 	 [ F e r r e i r a ,   N i v a n ;   L i n s ,   L a u r o ;   F r e i r e ,   J u l i a n a ;   S i l v a ,   C l a u d i o ]   N Y U ,   P o l y t e c h   I n s t ,   N e w   Y o r k ,   N Y   1 0 0 0 3   U S A ;   [ F i n k ,   D a n i e l ;   K e l l i n g ,   S t e v e ;   W o o d ,   C h r i s ]   C o r n e l l   U n i v ,   C o r n e l l   L a b ,   I t h a c a ,   N Y   1 4 8 5 3   U S A 	 F e r r e i r a ,   N   ( r e p r i n t   a u t h o r ) ,   N Y U ,   P o l y t e c h   I n s t ,   N e w   Y o r k ,   N Y   1 0 0 0 3   U S A . 	 n f e r r e 0 1 @ s t u d e n t s . p o l y . e d u ;   l l i n s @ p o l y . e d u ;   d f 3 6 @ c o r n e l l . e d u ;   s t k 2 @ c o r n e l l . e d u ;   c h r i s . w o o d @ c o r n e l l . e d u ;   j u l i a n a @ p o l y . e d u ;   c s i l v a @ p o l y . e d u 	 	 	 	 	 A h e r n   S ,   2 0 0 7 ,   P R O C E E D I N G S   O F   T H E   7 T H   A C M / I E E   J O I N T   C O N F E R E N C E   O N   D I G I T A L   L I B R A R I E S ,   P 1 ,   D O I   1 0 . 1 1 4 5 / 1 2 5 5 1 7 5 . 1 2 5 5 1 7 7 ;   A n d r i e n k o   N . ,   2 0 0 6 ,   E X P L O R A T O R Y   A N A L   S P A ;   B a t e m a n   S . ,   2 0 0 8 ,   P   A C M   C   H Y P   H Y P ,   P 1 9 3 ,   D O I   1 0 . 1 1 4 5 / 1 3 7 9 0 9 2 . 1 3 7 9 1 3 0 ;   B i e r   E . A . ,   1 9 9 3 ,   P   S I G G R A P H   9 3 ,   P 7 3 ,   D O I   1 0 . 1 1 4 5 / 1 6 6 1 1 7 . 1 6 6 1 2 6 ;   B r e i m a n   L . ,   1 9 8 4 ,   C L A S S I F I C A T I O N   R E G R E ;   B r o w n   L D ,   2 0 0 6 ,   I E E E   C O M P U T   G R A P H ,   V 2 6 ,   P 6 4 ,   D O I   1 0 . 1 1 0 9 / M C G . 2 0 0 6 . 8 4 ;   B u l l   J ,   1 9 7 4 ,   B I R D S   N E W   Y O R K   S T A T E ;   C o l o r b r e w e r ,   C O L   C O L   A D V   M A P S ;   E l m q v i s t   N . ,   2 0 0 8 ,   I E E E   T   V I S U A L I Z A T I O N ,   P 1 1 4 1 ;   F i n k   D ,   2 0 1 0 ,   E C O L   A P P L ,   V 2 0 ,   P 2 1 3 1 ,   D O I   1 0 . 1 8 9 0 / 0 9 - 1 3 4 0 . 1 ;   F r y   J . ,   2 0 0 9 ,   2 0 0 8 1 3 7 9   G E O L   S U R V ;   G u o   D . ,   2 0 0 8 ,   C A R T O G R   G E O G R   I N F   S C ,   V 3 5 ,   P 3 3 ,   D O I   1 0 . 1 5 5 9 / 1 5 2 3 0 4 0 0 8 7 8 3 4 7 5 6 8 9 ;   G u o   D S ,   2 0 0 6 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 2 ,   P 1 4 6 1 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 0 6 . 8 4 ;   H a l v e y   M .   J . ,   2 0 0 7 ,   P   1 6   I N T   C   W O R L D   W I D ,   P 1 3 1 3 ,   D O I   1 0 . 1 1 4 5 / 1 2 4 2 5 7 2 . 1 2 4 2 8 2 6 ;   H a s t i e   T ,   2 0 0 9 ,   E L E M E N T S   S T A T   L E A R N I ;   H e c h t   B . ,   2 0 0 7 ,   P   I N T   W O R K S H   P E R V   M O ;   H I B B A R D   B ,   1 9 9 0 ,   P R O C E E D I N G S   O F   T H E   F I R S T   I E E E   C O N F E R E N C E   O N   V I S U A L I Z A T I O N   -   V I S U A L I Z A T I O N   9 0 ,   P 2 8 ,   D O I   1 0 . 1 1 0 9 / V I S U A L . 1 9 9 0 . 1 4 6 3 6 1 ;   J a f f e   A . ,   2 0 0 6 ,   P   8   A C M   I N T   W O R K S H   M ,   P 8 9 ,   D O I   1 0 . 1 1 4 5 / 1 1 7 8 6 7 7 . 1 1 7 8 6 9 2 ;   K e i m   D .   A . ,   2 0 0 4 ,   E X P L O R I N G   G E O V I S U A L I ;   K e l l i n g   S ,   2 0 0 9 ,   B I O S C I E N C E ,   V 5 9 ,   P 6 1 3 ,   D O I   1 0 . 1 5 2 5 / b i o . 2 0 0 9 . 5 9 . 7 . 1 2 ;   L e e   B ,   2 0 1 0 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 6 ,   P 1 1 8 2 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 1 0 . 1 9 4 ;   L o w e r y   G .   H . ,   1 9 7 4 ,   L O U I S I A N A   B I R D S ;   M i l g r a m   S . ,   1 9 7 6 ,   E N V   P S Y C H O L   P E O P L E   T ,   P 1 0 4 ;   M o r e l a n d   K ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 8 7 6 ,   P 9 2 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 0 5 2 0 - 3 _ 9 ;   M u n s o n   M .   A . ,   2 0 1 0 ,   E B I R D   R E F E R E N C E   D A T A ;   N i s b e t   I C T ,   1 9 9 5 ,   J   F I E L D   O R N I T H O L ,   V 6 6 ,   P 6 1 2 ;   N I S B E T   I C T ,   1 9 7 0 ,   B I R D   B A N D I N G ,   V 4 1 ,   P 2 0 7 ;   N o c k e   T . ,   2 0 0 7 ,   P   W I N T   S I M   C ,   P 7 0 3 ;   P a y n e   R .   B . ,   2 0 0 6 ,   P A L M   W A R B L E R   D E N D R O I ;   P a y n e   R B ,   2 0 0 6 ,   I N D I G O   B U N T I N G   P A S S E ;   P O T T E R   K ,   2 0 0 9 ,   I C D M W   0 9 ,   P 2 3 3 ;   R   D e v e l o p m e n t   C o r e   T e a m ,   2 0 1 1 ,   R   L A N G   E N V   S T A T   C O M P ;   R I V A D E N E I R A   A W ,   2 0 0 7 ,   P   S I G C H I   C   H U M   F A C T ,   P 9 9 5 ,   D O I   1 0 . 1 1 4 5 / 1 2 4 0 6 2 4 . 1 2 4 0 7 7 5 ;   R o b b i n s   J r   S D ,   1 9 9 1 ,   W I S C O N S I N   B I R D L I F E   P ;   R o b e r t s   J .   C . ,   2 0 0 7 ,   C M V   2 0 0 7 ,   P 6 1 ;   R o g o w i t z   B .   E . ,   2 0 0 1 ,   P r o c e e d i n g s   V i s u a l i z a t i o n   2 0 0 1   ( C a t .   N o . 0 1 C H 3 7 2 6 9 ) ,   D O I   1 0 . 1 1 0 9 / V I S U A L . 2 0 0 1 . 9 6 4 5 1 0 ;   R y a l l   K ,   2 0 0 5 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 5 8 5 ,   P 8 0 9 ;   S h a m o u n - B a r a n e s   J ,   2 0 0 8 ,   E C O L   S O C ,   V 1 3 ;   S l i n g s b y   A . ,   2 0 0 7 ,   P   I N T   C   I N F   V I S ,   P 4 9 7 ;   S u l l i v a n   B . ,   2 0 0 8 ,   P   I N T   P A R T N   F L I G H T   C ,   P 4 1 5 ;   S u l l i v a n   B L ,   2 0 0 9 ,   B I O L   C O N S E R V ,   V 1 4 2 ,   P 2 2 8 2 ,   D O I   1 0 . 1 0 1 6 / j . b i o c o n . 2 0 0 9 . 0 5 . 0 0 6 ;   T a l b o t   J ,   2 0 1 0 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 6 ,   P 1 0 3 6 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 1 0 . 1 3 0 ;   V I E G A S   F B ,   2 0 0 8 ,   I N T E R A C T I O N S ,   V 1 5 ,   P 4 9 ,   D O I   1 0 . 1 1 4 5 / 1 3 7 4 4 8 9 . 1 3 7 4 5 0 1 ;   W o o d   J ,   2 0 0 7 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 3 ,   P 1 1 7 6 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 0 7 . 7 0 5 7 0 	 4 4 	 3 	 3 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 3 1 4   U S A 	 1 0 7 7 - 2 6 2 6 	 	 	 I E E E   T   V I S   C O M P U T   G R 	 I E E E   T r a n s .   V i s .   C o m p u t .   G r a p h . 	 D E C 	 2 0 1 1 	 1 7 	 1 2 	 	 	 	 	 2 3 7 4 	 2 3 8 3 	 	 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 8 3 7 X D 	 W O S : 0 0 0 2 9 6 2 4 1 9 0 0 0 7 0 	 2 2 0 3 4 3 5 8 	 
 J 	 B e n i t o - B l a z q u e z ,   B ;   D o n a t e - C i f u e n t e s ,   A ;   G o m e z - D o m i n g u e z ,   D ;   M a r q u i n a - A r e n a s ,   J ;   M a r t i n e z - C a n a d a s ,   E 	 	 	 	 B e n i t o - B l a z q u e z ,   B e l e n ;   D o n a t e - C i f u e n t e s ,   A n a ;   G o m e z - D o m i n g u e z ,   D a v i d ;   M a r q u i n a - A r e n a s ,   J u l i a n ;   M a r t i n e z - C a n a d a s ,   E v e l i o 	 	 	 B i b l o g T e c a r i o s :   t h e   p o w e r   o f   C o n n e c t i o n s   a n d   c r o w d s o u r c i n g 	 P R O F E S I O N A L   D E   L A   I N F O R M A C I O N 	 	 	 S p a n i s h 	 A r t i c l e 	 	 	 	 	 	 B l o g s ;   C r o w d s o u r c i n g ;   C o l l a b o r a t i o n ;   C o o p e r a t i o n ;   S o c i a l   n e t w o r k s 	 	 B i b l o g T e c a r i o s   ( " b l o g g i n g   l i b r a r i a n s " )   w a s   c r e a t e d   w i t h   a   c l e a r   o b j e c t i v e :   t o   o f f e r   i t s   m e m b e r s   t h e   p o s s i b i l i t y   o f   h a v i n g   a   p l a t f o r m   t o   p u b l i s h   t h e i r   k n o w l e d g e ,   c o n c e r n s   a n d   o p i n i o n s   a b o u t   t h e i r   p r o f e s s i o n a l   s e c t o r ,   t h a t   o f   I n f o r m a t i o n   a n d   D o c u m e n t a t i o n .   S i n c e   i t s   b e g i n n i n g s   i t   h a s   b e e n   c l e a r   t h a t   t h e   p u r p o s e   o f   t h e   p r o j e c t   w a s   n o t   i n t e n d e d   t o   a l l o w   a   f e w   t o   p u b l i s h   e a c h   d a y ,   b u t   r a t h e r   t h a t   t h e   m o r e   p e o p l e   p a r t i c i p a t i n g   i n   t h e   p r o j e c t ,   t h e   g r e a t e r   v a r i e t y   o f   t o p i c s   c o u l d   b e   d i s c u s s e d .   N o w   t h a t   B i b l o g T e c a r i o s   h a s   4 0   b l o g s ,   c o m m u n i c a t i o n   t o o l s   a r e   e s s e n t i a l   f o r   t h e   p r o p e r   f u n c t i o n i n g   o f   t h e   w e b s i t e ,   a s   w e l l   a s   t h e   d e s i r e   t o   w o r k   o n   a   j o i n t   ( c o l l a b o r a t i v e   a n d   c o o p e r a t i v e )   p r o j e c t .   C r o w d s o u r c i n g ,   o r   t h e   c o l l e c t i v e   i n t e l l i g e n c e   o f   i t s   m e m b e r s ,   h e l p e d   t h i s   p r o j e c t   t o   g r o w ;   p e r s o n a l   c o n n e c t i o n s   a n d   c o l l e c t i v e   w o r k   a r e   t h e   k e y   p i l l a r s   f o r   i t s   c o n t i n u e d   g r o w t h .   B i b l o g T e c a r i o s   c o n n e c t s   p e o p l e :   i t   i s   c r o w d s o u r c i n g . 	 [ B e n i t o - B l a z q u e z ,   B e l e n ;   D o n a t e - C i f u e n t e s ,   A n a ]   U n i v   C a r l o s   I I I   M a d r i d ,   E - 2 8 9 0 3   G e t a f e ,   S p a i n ;   [ D o n a t e - C i f u e n t e s ,   A n a ]   U n i v   C E U   C a r d e n a l   H e r r e r a   M o n c a d a   V a l e n c i a ,   M o n c a d a ,   S p a i n ;   [ G o m e z - D o m i n g u e z ,   D a v i d ]   U G R ,   D e p t   B i b l i o t e c o n   &   D o c u m e n t a c ,   G r a n a d a ,   S p a i n ;   [ G o m e z - D o m i n g u e z ,   D a v i d ]   E s c u e l a   S u p e r   C o m u n i c a c   G r a n a d a   E S C O ,   G r a n a d a ,   S p a i n ;   [ G o m e z - D o m i n g u e z ,   D a v i d ]   C t r   D o c u m e n t a c   O b s e r v   I n f a n c i a ,   A n d a l u c i a ,   S p a i n ;   [ M a r q u i n a - A r e n a s ,   J u l i a n ]   B a r a t z   S e r v   T e l e d o c u m e n t a c ,   M a d r i d ,   S p a i n ;   [ M a r q u i n a - A r e n a s ,   J u l i a n ]   R e c B i b   R e c u r s o s   B i b l i o t e c a r i o s ,   M a d r i d ,   S p a i n ;   [ M a r t i n e z - C a n a d a s ,   E v e l i o ]   G e n e r a l i t a t   C a t a l u n y a ,   D G   A t e n c i o   I n f a n c i a   A d o l e s c e n c i a   D g a i a ,   T a r r a g o n a ,   S p a i n 	 B e n i t o - B l a z q u e z ,   B   ( r e p r i n t   a u t h o r ) ,   U n i v   C a r l o s   I I I   M a d r i d ,   E - 2 8 9 0 3   G e t a f e ,   S p a i n . 	 m b e l e n b e n i t o @ g m a i l . c o m ;   a n d o c i @ g m a i l . c o m ;   d a v i d g a d i r @ g m a i l . c o m ;   r e c b i b @ g m a i l . c o m ;   e m a r t i b d @ g m a i l . c o m 	 	 	 	 	 	 0 	 1 	 1 	 E P I 	 B A R C E L O N A 	 A P A R T A D O   3 2   2 8 0 ,   B A R C E L O N A ,   0 8 0 8 0 ,   S P A I N 	 1 3 8 6 - 6 7 1 0 	 	 	 P R O F   I N F O R M 	 P r o f .   I n f . 	 N O V - D E C 	 2 0 1 1 	 2 0 	 6 	 	 	 	 	 6 7 7 	 6 8 1 	 	 1 0 . 3 1 4 5 / e p i . 2 0 1 1 . n o v . 1 2 	 	 5 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 8 7 5 K Z 	 W O S : 0 0 0 2 9 9 0 3 0 1 0 0 0 1 2 	 	 
 J 	 M a s l i ,   M 	 	 	 	 M a s l i ,   M i k h i l 	 	 	 C r o w d s o u r c i n g   M a p s 	 C O M P U T E R 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 	 	 G e o w i k i s   c o m b i n e   u s e r - c o n t r i b u t e d   c o n t e n t   w i t h   m a p - b a s e d   i n t e r a c t i v e   W e b   a p p l i c a t i o n s . 	 U n i v   M i n n e s o t a ,   D e p t   C o m p   S c i   &   E n g n ,   M i n n e a p o l i s ,   M N   5 5 4 5 5   U S A 	 M a s l i ,   M   ( r e p r i n t   a u t h o r ) ,   U n i v   M i n n e s o t a ,   D e p t   C o m p   S c i   &   E n g n ,   M i n n e a p o l i s ,   M N   5 5 4 5 5   U S A . 	 m a s l i @ c s . u m n . e d u 	 	 	 	 	 H A K L A Y ,   2 0 0 8 ,   P E R S V A S I V E   C O M P U   O C T ,   P 1 2 ;   H a k l a y   M ,   2 0 1 0 ,   E N V I R O N   P L A N N   B ,   V 3 7 ,   P 6 8 2 ,   D O I   1 0 . 1 0 6 8 / b 3 5 0 9 7 ;   P A N C I E R A   K ,   2 0 1 1 ,   P   2 0 1 1   I C O N F   A C M ,   P 7 4 1 ,   D O I   1 0 . 1 1 4 5 / 1 9 4 0 7 6 1 . 1 9 4 0 8 9 2 ;   P a n c i e r a   K . ,   2 0 1 0 ,   P   2 2 8   I N T L   C   H U M   F A C ,   P 1 9 1 7 ,   D O I   1 0 . 1 1 4 5 / 1 7 5 3 3 2 6 . 1 7 5 3 6 1 5 ;   2 0 1 0 ,   P   2 0 1 0   A C M   C   C O M P   S U ,   P 6 1 ;   2 0 1 1 ,   P   5   I N T L   A A A I   C   W E B L ,   P 2 1 7 ;   2 0 0 7 ,   P   2 0 0 7   I N T L   S   W I K I S ,   P 9 3 	 7 	 2 	 2 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 3 1 4   U S A 	 0 0 1 8 - 9 1 6 2 	 	 	 C O M P U T E R 	 C o m p u t e r 	 N O V 	 2 0 1 1 	 4 4 	 1 1 	 	 	 	 	 9 0 	 9 3 	 	 	 	 4 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 8 4 6 G A 	 W O S : 0 0 0 2 9 6 8 8 4 0 0 0 0 1 5 	 	 
 J 	 W a g n e r ,   E B 	 	 	 	 W a g n e r ,   E r i k a   B . 	 	 	 W H Y   P R I Z E ?   T H E   S U R P R I S I N G   R E S U R G E N C E   O F   P R I Z E S   T O   S T I M U L A T E   I N N O V A T I O N 	 R E S E A R C H - T E C H N O L O G Y   M A N A G E M E N T 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 I n n o v a t i o n   c o n t e s t s ;   C r o w d s o u r c i n g ;   O p e n   i n n o v a t i o n ;   D i s r u p t i v e   i n n o v a t i o n ;   X   P R I Z E 	 	 O V E R V I E W :   P a i r i n g   a   c l e w ;   m e a s u r a b l e   e n d   g o a l   w i t h   a   v a r i e t y   o f   m o t i v a t o r s ,   w e l l - d e s i g n e d   p r i z e s   l e v e r a g e   t h e   p r i n c i p l e s   o f   c o m p e t i t i o n   t o   b r i n g   a f i e l d   o f   s o l v e r s   t o   b e a r   o n   a   g i v e n   c h a l l e n g e .   P r i z e s   o f f e r   o r g a n i z a t i o n s   a n   i m p o r t a n t   t o o l   t o   f o s t e r   i n n o v a t i o n   a n d   r a i s e   a w a r e n e s s .   B y   s e t t i n g   f o r t h   a   c r e d i b l e   b u t   c h a l l e n g i n g   g o a l   w i t h   m i n i m a l   h u r d l e s   t o   e n t r y ,   p r i z e s   r a l l y   d i v e r s e   a p p r o a c h e s   a r o u n d   a   f o c u s e d   a g e n d a ,   s u p p o r t i n g   a n   e n t i r e , f i e l d   o f   i n n o v a t o r s   r a t h e r   t h a n   a   s i n g l e   s o l u t i o n .   P e r h a p s   m o s t   i m p o r t a n t l y ,   t h e y   c a p i t a l i z e   o n   a   d e e p - s e a t e d   c o m p e t i t i v e   d r i v e ,   c a p t u r i n g   p u b l i c   i n t e r e s t   f o r   t h e   i s s u e   a t   h a n d   t h r o u g h   t h e   c r e a t i o n   o f   v i s i b l e   h e r o e s   a n d   c o m p e l l i n g   s t o r i e s .   T h i s   a r t i c l e   e x p l o r e s   h o w   a n d   w h y   p r i z e s   a r e   m o s t   e f f e c t i v e l y   u s e d   a n d   h o w   o r g a n i z a t i o n s   c a n   u s e   c o m p e t i t i o n s   t o   e n h a n c e   t h e i r   R & D   p o r t f o l i o   a n d   e n g a g e   u s e r   c o m n u m i t i e s   b y   e m b r a c i n g   d i v e r s e   r i s k - t a k e r s   a n d   i n v e s t o r s . 	 [ W a g n e r ,   E r i k a   B . ]   M I T ,   X   P R I Z E   F d n ,   X   P R I Z E   L a b ,   C a m b r i d g e ,   M A   0 2 1 3 9   U S A 	 W a g n e r ,   E B   ( r e p r i n t   a u t h o r ) ,   M I T ,   X   P R I Z E   F d n ,   X   P R I Z E   L a b ,   C a m b r i d g e ,   M A   0 2 1 3 9   U S A . 	 E r i k a . W a g n e r @ x p r i z e . o r g 	 	 	 	 	 J e p p e s e n   L B ,   2 0 1 0 ,   O R G A N   S C I ,   V 2 1 ,   P 1 0 1 6 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 9 0 . 0 4 9 1 ;   M c K i n s e y   &   C o m p a n y ,   2 0 0 9 ,   W I N N   I S   C A P T   P R O M   P H 	 2 	 2 	 2 	 I N D U S T R I A L   R E S E A R C H   I N S T ,   I N C 	 A R L I N G T O N 	 2 2 0 0   C L A R E N D O N   B L V D ,   S T E   1 1 0 2 ,   A R L I N G T O N ,   V A   2 2 2 0 1   U S A 	 0 8 9 5 - 6 3 0 8 	 	 	 R E S   T E C H N O L   M A N A G E 	 R e s . - T e c h n o l .   M a n a g e . 	 N O V - D E C 	 2 0 1 1 	 5 4 	 6 	 	 	 	 	 3 2 	 3 6 	 	 1 0 . 5 4 3 7 / 0 8 9 5 6 3 0 8 X 5 4 0 6 0 1 3 	 	 5 	 B u s i n e s s ;   E n g i n e e r i n g ,   I n d u s t r i a l ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s ;   E n g i n e e r i n g 	 8 4 1 B O 	 W O S : 0 0 0 2 9 6 4 8 7 5 0 0 0 0 8 	 	 
 J 	 P h i l l i p s ,   A L 	 	 	 	 P h i l l i p s ,   A n n a   L e n a 	 	 	 C r o w d s o u r c i n g   G e n d e r   E q u i t y 	 A M E R I C A N   S C I E N T I S T 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 0 	 0 	 0 	 S I G M A   X I - S C I   R E S   S O C 	 R E S   T R I A N G L E   P K 	 P O   B O X   1 3 9 7 5 ,   R E S   T R I A N G L E   P K ,   N C   2 7 7 0 9   U S A 	 0 0 0 3 - 0 9 9 6 	 	 	 A M   S C I 	 A m .   S c i e n t i s t 	 N O V - D E C 	 2 0 1 1 	 9 9 	 6 	 	 	 	 	 4 6 3 	 4 6 4 	 	 	 	 2 	 M u l t i d i s c i p l i n a r y   S c i e n c e s 	 S c i e n c e   &   T e c h n o l o g y   -   O t h e r   T o p i c s 	 8 3 4 W B 	 W O S : 0 0 0 2 9 5 9 9 4 1 0 0 0 1 8 	 	 
 J 	 F r e y ,   K ;   L u t h j e ,   C ;   H a a g ,   S 	 	 	 	 F r e y ,   K a r s t e n ;   L u e t h j e ,   C h r i s t i a n ;   H a a g ,   S i m o n 	 	 	 W h o m   S h o u l d   F i r m s   A t t r a c t   t o   O p e n   I n n o v a t i o n   P l a t f o r m s ?   T h e   R o l e   o f   K n o w l e d g e   D i v e r s i t y   a n d   M o t i v a t i o n 	 L O N G   R A N G E   P L A N N I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 O P E N   S O U R C E   S O F T W A R E ;   S T R U C T U R A L   E Q U A T I O N   M O D E L S ;   O P E N - S O U R C E   P R O J E C T S ;   I N T R I N S I C   M O T I V A T I O N ;   U S E R   I N N O V A T I O N S ;   L O C A L   S E A R C H ;   C O - C R E A T I O N ;   C O M M U N I T I E S ;   P E R F O R M A N C E ;   C O N S U M E R S 	 T h i s   s t u d y   e x p l o r e s   h o w   t h e   m o t i v a t i o n   a n d   k n o w l e d g e   o f   i n d i v i d u a l s   p a r t i c i p a t i n g   i n   i n n o v a t i o n   p r o j e c t s   b r o a d c a s t   o n   t h e   I n t e r n e t   a f f e c t   t h e i r   c o n t r i b u t i o n   p e r f o r m a n c e .   B y   a n a l y z i n g   a   d a t a   s e t   t h a t   c o m b i n e s   i n f o r m a t i o n   f r o m   t h e   c o n t e n t   a n a l y s i s   o f   p o s t i n g s   a n d   m a t c h e d   s u r v e y   d a t a   f r o m   c o n t r i b u t o r s ,   w e   f i n d   t h a t   e x t r i n s i c   a n d   i n t r i n s i c   m o t i v a t i o n s   a f f e c t   t h e   n u m b e r   o f   d i f f e r e n t   t y p e s   o f   c o n t r i b u t i o n s   t o   s o l u t i o n   t h r e a d s .   W h i l e   e x t r i n s i c   d e s i r e   f o r   m o n e t a r y   r e w a r d s   t e n d s   t o   b e   p o s i t i v e l y   r e l a t e d   t o   t h e   m a k i n g   o f   n o n - s u b s t a n t i a l   c o n t r i b u t i o n s ,   i n t r i n s i c   e n j o y m e n t   t e n d s   t o   b r e e d   m o r e   s u b s t a n t i a l   p o s t i n g s ,   a n d   k n o w l e d g e   d i v e r s i t y   f a c i l i t a t e s   a l l   t y p e s   o f   c o n t r i b u t i o n s   t o   o p e n   i n n o v a t i o n   p r o j e c t s .   T h i s   s t u d y   a l s o   f i n d s   s u p p o r t   f o r   i n t e r a c t i o n   e f f e c t s   b e t w e e n   m o t i v a t i o n   a n d   k n o w l e d g e   d i v e r s i t y .   W e   i d e n t i f y   t h e   m o s t   v a l u a b l e   c o n t r i b u t o r s   a s   t h o s e   w h o   c o m b i n e   h i g h   l e v e l s   o f   i n t r i n s i c   e n j o y m e n t   i n   c o n t r i b u t i n g   w i t h   a   c o g n i t i v e   b a s e   f e d   f r o m   d i v e r s e   k n o w l e d g e   d o m a i n s .   O u r   r e s e a r c h   c o m p l e m e n t s   e m e r g i n g   f i n d i n g s   o n   t h e   i n d i v i d u a l   p e r f o r m a n c e   o f   e x t e r n a l   p r o b l e m   s o l v e r s   i n   c r o w d s o u r c i n g   a n d   b r o a d c a s t   s e a r c h .   T h e   f i n d i n g s   w i l l   b e   u s e f u l   f o r   p l a t f o r m   m a n a g e r s   s t r i v i n g   t o   a t t r a c t   p o t e n t i a l l y   v a l u a b l e   p a r t i c i p a n t s   t o   e n s u r e   h i g h   l e v e l s   o f   s u b s t a n t i a l   c o n t r i b u t i o n s   t o   i n n o v a t i o n   c h a l l e n g e s .   ( C )   2 0 1 1   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ F r e y ,   K a r s t e n ;   H a a g ,   S i m o n ]   U n i v   B e r n ,   I n s t   I n f o r m a t   S y s t ,   C H - 3 0 1 2   B e r n ,   S w i t z e r l a n d ;   [ L u e t h j e ,   C h r i s t i a n ]   H a m b u r g   U n i v   T e c h n o l ,   I n s t   M k t   &   I n n o v a t ,   D - 2 1 0 7 3   H a m b u r g ,   G e r m a n y 	 F r e y ,   K   ( r e p r i n t   a u t h o r ) ,   U n i v   B e r n ,   I n s t   I n f o r m a t   S y s t ,   E n g e h a l d e n s t r   8 ,   C H - 3 0 1 2   B e r n ,   S w i t z e r l a n d . 	 k a r s t e n . f r e y @ i w i . u n i b e . c h ;   c . l u e t h j e @ t u - h a r b u r g . d e ;   s i m o n . h a a g @ i w i . u n i b e . c h 	 	 	 	 	 A D A M S   J S ,   1 9 6 5 ,   A D V   E X P   S O C   P S Y C H O L ,   V 2 ,   P 2 6 7 ;   A f u a h   A ,   2 0 0 3 ,   A C A D   M A N A G E   R E V ,   V 2 8 ,   P 3 4 ;   A J Z E N   I ,   1 9 8 6 ,   J   E X P   S O C   P S Y C H O L ,   V 2 2 ,   P 4 5 3 ,   D O I   1 0 . 1 0 1 6 / 0 0 2 2 - 1 0 3 1 ( 8 6 ) 9 0 0 4 5 - 4 ;   A m a b i l e   T . ,   1 9 9 6 ,   C R E A T I V I T Y   C O N T E X T   U ;   A M A B I L E   T .   M . ,   1 9 9 3 ,   P S Y C H O L   I N Q ,   V 4 ,   P 1 7 9 ,   D O I   1 0 . 1 2 0 7 / s 1 5 3 2 7 9 6 5 p l i 0 4 0 3 _ 2 ;   A m a b i l e   T M ,   1 9 9 8 ,   H A R V A R D   B U S   R E V ,   V 7 6 ,   P 7 6 ;   B a g o z z i   R P ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 1 0 9 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 4 5 ;   B a l d w i n   C ,   2 0 0 6 ,   R E S   P O L I C Y ,   V 3 5 ,   P 1 2 9 1 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 6 . 0 4 . 0 1 2 ;   B a l d w i n   C .   Y . ,   2 0 0 9 ,   4 7 6 4 0 9   M I T   S L O A N   S C H ;   B o g e r s   M ,   2 0 1 0 ,   J   M A N A G E ,   V 3 6 ,   P 8 5 7 ,   D O I   1 0 . 1 1 7 7 / 0 1 4 9 2 0 6 3 0 9 3 5 3 9 4 4 ;   B O U G O N   M G ,   1 9 9 2 ,   J   M A N A G E   S T U D ,   V 2 9 ,   P 3 6 9 ;   B o w e r   G .   H . ,   1 9 8 1 ,   T H E O R I E S   L E A R N I N G ;   B u n d e r s o n   J S ,   2 0 0 2 ,   A C A D   M A N A G E   J ,   V 4 5 ,   P 8 7 5 ,   D O I   1 0 . 2 3 0 7 / 3 0 6 9 3 1 9 ;   C h e s b r o u g h   H . ,   2 0 0 3 ,   O P E N   I N N O V A T I O N   N E W ;   C h e s b r o u g h   H . ,   2 0 0 6 ,   O P E N   I N N O V A T I O N   R E S E ;   C h e s b r o u g h   H W ,   2 0 0 7 ,   C A L I F   M A N A G E   R E V ,   V 5 0 ,   P 5 7 ;   C h i n   W .   W . ,   2 0 1 0 ,   H D B   P A R T I A L   L E A S T   S Q ,   P 6 5 5 ,   D O I   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 3 2 8 2 7 - 8 _ 2 9 ;   C h i n   W W ,   1 9 9 8 ,   M O D E R N   M E T H O D S   B U S I N ,   P 2 9 5 ;   C h i n   W W ,   2 0 0 3 ,   I N F O R M   S Y S T   R E S ,   V 1 4 ,   P 1 8 9 ,   D O I   1 0 . 1 2 8 7 / i s r e . 1 4 . 2 . 1 8 9 . 1 6 0 1 8 ;   C o h e n   J . ,   1 9 8 8 ,   S T A T   P O W E R   A N A L   B E H A ;   C O H E N   J ,   1 9 6 0 ,   E D U C   P S Y C H O L   M E A S ,   V 2 0 ,   P 3 7 ,   D O I   1 0 . 1 1 7 7 / 0 0 1 3 1 6 4 4 6 0 0 2 0 0 0 1 0 4 ;   C O H E N   W M ,   1 9 9 0 ,   A D M I N   S C I   Q U A R T ,   V 3 5 ,   P 1 2 8 ,   D O I   1 0 . 2 3 0 7 / 2 3 9 3 5 5 3 ;   C o h e n - C h a r a s h   Y ,   2 0 0 1 ,   O R G A N   B E H A V   H U M   D E C ,   V 8 6 ,   P 2 7 8 ,   D O I   1 0 . 1 0 0 6 / o b h d . 2 0 0 1 . 2 9 5 8 ;   C s i k s z e n t m i h a l y i   M . ,   1 9 7 5 ,   B O R E D O M   A N X I E T Y ;   D a h l a n d e r   L ,   2 0 1 0 ,   R E S   P O L I C Y ,   V 3 9 ,   P 6 9 9 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 1 0 . 0 1 . 0 1 3 ;   D a h l a n d e r   L ,   2 0 0 6 ,   R E S   P O L I C Y ,   V 3 5 ,   P 1 2 4 3 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 6 . 0 9 . 0 1 1 ;   D a v i d   P A ,   2 0 0 3 ,   F L O S S   U S   F R E E   L I B R E ;   D e a n   D L ,   2 0 0 6 ,   J   A S S O C   I N F   S Y S T ,   V 7 ,   P 6 4 6 ;   D E C I   E L ,   1 9 7 2 ,   J   P E R S   S O C   P S Y C H O L ,   V 2 2 ,   P 1 1 3 ,   D O I   1 0 . 1 0 3 7 / h 0 0 3 2 3 5 5 ;   D E C I   E L ,   1 9 7 1 ,   J   P E R S   S O C   P S Y C H O L ,   V 1 8 ,   P 1 0 5 ,   D O I   1 0 . 1 0 3 7 / h 0 0 3 0 6 4 4 ;   D e c i   E L ,   1 9 9 9 ,   P S Y C H O L   B U L L ,   V 1 2 5 ,   P 6 2 7 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 0 9 . 1 2 5 . 6 . 6 2 7 ;   E b n e r   W ,   2 0 0 9 ,   R & D   M A N A G E ,   V 3 9 ,   P 3 4 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 9 . 0 0 5 6 4 . x ;   F O R N E L L   C ,   1 9 8 2 ,   J   M A R K E T I N G   R E S ,   V 1 9 ,   P 4 4 0 ,   D O I   1 0 . 2 3 0 7 / 3 1 5 1 7 1 8 ;   F O R N E L L   C ,   1 9 8 1 ,   J   M A R K E T I N G   R E S ,   V 1 8 ,   P 3 9 ,   D O I   1 0 . 2 3 0 7 / 3 1 5 1 3 1 2 ;   F r a n k e   N ,   2 0 0 6 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 3 ,   P 3 0 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 0 6 . 0 0 2 0 3 . x ;   F r a n k e   N ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 5 7 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 2 ) 0 0 0 0 6 - 9 ;   F r e y   B . ,   1 9 9 7 ,   N O T   J U S T   M O N E Y   E C   T H ;   F u l l e r   J ,   2 0 0 9 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 6 ,   P 7 1 ,   D O I   1 0 . 2 7 5 3 / M I S 0 7 4 2 - 1 2 2 2 2 6 0 3 0 3 ;   F u l l e r   J ,   2 0 1 0 ,   C A L I F   M A N A G E   R E V ,   V 5 2 ,   P 9 8 ;   F u l l e r   J ,   2 0 0 6 ,   A D V   C O N S U M   R E S ,   V 3 3 ,   P 6 3 9 ;   F u l l e r   J ,   2 0 0 7 ,   J   B U S   R E S ,   V 6 0 ,   P 6 0 ,   D O I   1 0 . 1 0 1 6 / j . j b u s r e s . 2 0 0 6 . 0 9 . 0 1 9 ;   G a l e g h e r   J ,   1 9 9 8 ,   W R I T   C O M M U N ,   V 1 5 ,   P 4 9 3 ,   D O I   1 0 . 1 1 7 7 / 0 7 4 1 0 8 8 3 9 8 0 1 5 0 0 4 0 0 3 ;   G a s s m a n n   O l i v e r ,   2 0 0 6 ,   Z   F U H R U N G   O R G ,   V 7 5 ,   P 1 3 2 ;   G H A N I   J A ,   1 9 9 4 ,   J   P S Y C H O L ,   V 1 2 8 ,   P 3 8 1 ;   G h o s h   R . A . ,   2 0 0 5 ,   P E R S P E C T I V E S   F R E E   O P ,   P 2 3 ;   G U I O N   R M ,   1 9 7 2 ,   O R G A N   B E H A V   H U M   P E R F ,   V 7 ,   P 3 0 8 ,   D O I   1 0 . 1 0 1 6 / 0 0 3 0 - 5 0 7 3 ( 7 2 ) 9 0 0 2 0 - 7 ;   H a l l e r s t e d e   S . H . ,   2 0 1 0 ,   M U L T I K O N F E R E N Z   W I R T S ,   P 2 4 5 ;   H a r g a d o n   A . ,   2 0 0 3 ,   B R E A K T H R O U G H S   H A P P E N ;   H a r s   A ,   2 0 0 2 ,   I N T   J   E L E C T R O N   C O M M ,   V 6 ,   P 2 5 ;   H a s l a m   S .   A . ,   2 0 0 1 ,   P S Y C H O L   O R G   S O C I A L   I ;   H e m e t s b e r g e r   A . ,   2 0 0 4 ,   J   S O C I A L   P S Y C H O L ;   H e n k e l   J . ,   2 0 0 3 ,   M A N A G E M E N T   F R U H E N   I N ,   V 1 ,   P 7 3 ;   H e n s e l e r   J . ,   2 0 0 9 ,   A D V   I N T   M A R K E T I N G ,   P 2 7 7 ;   H e r t e l   G ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 1 5 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 4 7 - 7 ;   H E R Z B E R G   F ,   1 9 6 5 ,   P E R S   P S Y C H O L ,   V 1 8 ,   P 3 9 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 4 4 - 6 5 7 0 . 1 9 6 5 . t b 0 0 2 9 4 . x ;   H o u s e   R J ,   1 9 9 6 ,   L E A D E R S H I P   Q U A R T ,   V 7 ,   P 3 2 3 ,   D O I   1 0 . 1 0 1 6 / S 1 0 4 8 - 9 8 4 3 ( 9 6 ) 9 0 0 2 4 - 7 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   H s u   M H ,   2 0 0 7 ,   I N T   J   H U M - C O M P U T   S T ,   V 6 5 ,   P 1 5 3 ,   D O I   1 0 . 1 0 1 6 / j . i j h c s . 2 0 0 6 . 0 9 . 0 0 3 ;   H u t t e r   K . ,   2 0 1 0 ,   P   I N T   P R O D   D E V   M A N   C ;   J e p p e s e n   L .   B . ,   2 0 1 0 ,   M A R G I N A L I T Y   P R O B L E M ;   J e p p e s e n   L B ,   2 0 0 9 ,   R E S   P O L I C Y ,   V 3 8 ,   P 1 5 8 2 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 9 . 0 9 . 0 0 2 ;   J e p p e s e n   L B ,   2 0 0 5 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 2 ,   P 3 4 7 ,   D O I   1 0 . 1 1 1 1 / j . 0 7 3 7 - 6 7 8 2 . 2 0 0 5 . 0 0 1 3 1 . x ;   J o n e s   D . W . ,   1 9 7 7 ,   A C A D   M A N A G E M E N T   P ,   P 6 2 ;   K a n f e r   R . ,   2 0 0 8 ,   W O R K   M O T I V A T I O N   P R E S ;   K i l d u f f   M ,   2 0 0 0 ,   O R G A N   S C I ,   V 1 1 ,   P 2 1 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 1 . 1 . 2 1 . 1 2 5 6 9 ;   K l e h e   U C ,   2 0 0 7 ,   J   A P P L   P S Y C H O L ,   V 9 2 ,   P 9 7 8 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 1 - 9 0 1 0 . 9 2 . 4 . 9 7 8 ;   K O P E L M A N   R E ,   1 9 7 9 ,   H U M   R E L A T ,   V 3 2 ,   P 5 4 5 ,   D O I   1 0 . 1 1 7 7 / 0 0 1 8 7 2 6 7 7 9 0 3 2 0 0 7 0 1 ;   K o z i n e t s   R V ,   2 0 0 2 ,   J   C O N S U M   R E S ,   V 2 9 ,   P 2 0 ,   D O I   1 0 . 1 0 8 6 / 3 3 9 9 1 9 ;   K o z i n e t s   R . V . ,   2 0 0 8 ,   J   M A C R O M A R K E T I N G ,   P 3 3 9 ;   K r i p p e n d o r f f   K . ,   2 0 0 4 ,   C O N T E N T   A N A L   I N T R O   M ;   K R U S K A L   W I L L I A M   H . ,   1 9 5 2 ,   J O U R   A M E R   S T A T I S T   A S S O C ,   V 4 7 ,   P 5 8 3 ,   D O I   1 0 . 2 3 0 7 / 2 2 8 0 7 7 9 ;   L a k h a n i   K .   R . ,   2 0 0 5 ,   P E R S P E C T I V E S   F R E E   O P ,   P 3 ;   L a k h a n i   K R ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 9 2 3 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 2 ) 0 0 0 9 5 - 1 ;   L a w l e r   E . E . ,   1 9 9 4 ,   M O T I V A T I O N   W O R K   O R G ;   L e r n e r   J ,   2 0 0 2 ,   J   I N D   E C O N ,   V 5 0 ,   P 1 9 7 ;   L o c k e   E .   A . ,   1 9 7 8 ,   A C A D   M A N A G E   R E V ,   V 3 ,   P 5 9 4 ,   D O I   1 0 . 2 3 0 7 / 2 5 7 5 4 8 ;   L o v e t t   M C ,   1 9 9 6 ,   C O G N I T I V E   P S Y C H O L ,   V 3 1 ,   P 1 6 8 ,   D O I   1 0 . 1 0 0 6 / c o g p . 1 9 9 6 . 0 0 1 6 ;   L u t h i g e r   B . ,   2 0 0 7 ,   1   M O N D A Y ,   V 1 2 ;   L u t h j e   C ,   2 0 0 4 ,   T E C H N O V A T I O N ,   V 2 4 ,   P 6 8 3 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 6 - 4 9 7 2 ( 0 2 ) 0 0 1 5 0 - 5 ;   L u t h j e   C ,   2 0 0 5 ,   R E S   P O L I C Y ,   V 3 4 ,   P 9 5 1 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 5 . 0 5 . 0 0 5 ;   M A C C R I M M O N   K R ,   1 9 9 4 ,   M A N A G E   S C I ,   V 4 0 ,   P 1 5 1 4 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 0 . 1 1 . 1 5 1 4 ;   M a j c h r z a k   A ,   2 0 0 4 ,   M A N A G E   S C I ,   V 5 0 ,   P 1 7 4 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 3 0 . 0 1 1 6 ;   M C C L O Y   R A ,   1 9 9 4 ,   J   A P P L   P S Y C H O L ,   V 7 9 ,   P 4 9 3 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 1 - 9 0 1 0 . 7 9 . 4 . 4 9 3 ;   M o r r i s o n   P D ,   2 0 0 4 ,   R E S   P O L I C Y ,   V 3 3 ,   P 3 5 1 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 3 . 0 9 . 0 0 7 ;   M o r r i s o n   P D ,   2 0 0 0 ,   M A N A G E   S C I ,   V 4 6 ,   P 1 5 1 3 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 6 . 1 2 . 1 5 1 3 . 1 2 0 7 6 ;   N O V I C K   L R ,   1 9 8 8 ,   J   E X P   P S Y C H O L   L E A R N ,   V 1 4 ,   P 5 1 0 ,   D O I   1 0 . 1 0 3 7 / / 0 2 7 8 - 7 3 9 3 . 1 4 . 3 . 5 1 0 ;   N u n n a l l y   J .   C . ,   1 9 9 4 ,   P S Y C H O M E T R I C   T H E O R Y ;   O s t e r l o h   M ,   2 0 0 0 ,   O R G A N   S C I ,   V 1 1 ,   P 5 3 8 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 1 . 5 . 5 3 8 . 1 5 2 0 4 ;   O s t e r l o h   M ,   2 0 0 7 ,   R E S   P O L I C Y ,   V 3 6 ,   P 1 5 7 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 6 . 1 0 . 0 0 4 ;   P A N E T T A   J .   A . ,   2 0 0 6 ,   V A L U E   O P E N N E S S   S C I   P ;   P i s a n o   G P ,   2 0 0 8 ,   H A R V A R D   B U S   R E V ,   V 8 6 ,   P 7 8 ;   P l u c k e r   J A ,   2 0 0 4 ,   E D U C   P S Y C H O L ,   V 3 9 ,   P 8 3 ,   D O I   1 0 . 1 2 0 7 / s 1 5 3 2 6 9 8 5 e p 3 9 0 2 _ 1 ;   P o e t z   M .   K . ,   2 0 0 9 ,   P   D R U I D   S U M M   C   2 0 0 9 ;   R i d i n g s   C . ,   2 0 0 6 ,   C O M M U N I C A T I O N S   A S S   I ,   V 1 8 ,   P 3 2 9 ;   R i n g l e   C . M . ,   2 0 0 6 ,   S M A R T P L S   2   0   M 3 ;   R o b e r t s   J A ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 9 8 4 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 5 4 ;   R o s e n k o p f   L ,   2 0 0 1 ,   S T R A T E G I C   M A N A G E   J ,   V 2 2 ,   P 2 8 7 ,   D O I   1 0 . 1 0 0 2 / s m j . 1 6 0 ;   R y a n   R M ,   2 0 0 0 ,   A M   P S Y C H O L ,   V 5 5 ,   P 6 8 ,   D O I   1 0 . 1 0 3 7 / / 0 0 0 3 - 0 6 6 X . 5 5 . 1 . 6 8 ;   S a u e r m a n n   H ,   2 0 1 0 ,   M A N A G E   S C I ,   V 5 6 ,   P 2 1 3 4 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 0 0 . 1 2 4 1 ;   S a w h n e y   M ,   2 0 0 3 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 4 ,   P 7 7 ;   S h a h   J .   Y . ,   2 0 0 0 ,   I N T R I N S I C   E X T R I N S I C ,   P 1 0 5 ,   D O I   1 0 . 1 0 1 6 / B 9 7 8 - 0 1 2 6 1 9 0 7 0 - 0 / 5 0 0 2 7 - 1 ;   S h a h   S K ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 1 0 0 0 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 5 3 ;   S t u a r t   T E ,   1 9 9 6 ,   S T R A T E G I C   M A N A G E   J ,   V 1 7 ,   P 2 1 ;   S u r o w i e c k i   J ,   2 0 0 5 ,   W I S D O M   C R O W D S   W H Y   M A ;   V A L L E R A N D   R J ,   1 9 9 2 ,   J   P E R S ,   V 6 0 ,   P 5 9 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 6 4 9 4 . 1 9 9 2 . t b 0 0 9 2 2 . x ;   V e r o n a   G ,   2 0 0 6 ,   O R G A N   S T U D ,   V 2 7 ,   P 7 6 5 ,   D O I   1 0 . 1 1 7 7 / 0 1 7 0 8 4 0 6 0 6 0 6 1 0 7 3 ;   V o n   H i p p e l   E ,   1 9 8 8 ,   S O U R C E S   I N N O V A T I O N ;   V o n   H i p p e l   E . ,   2 0 0 5 ,   J   T E C H N O L O G Y   T R A N S F E ,   V 3 0 ,   P 7 3 ;   v o n   H i p p e l   E r i c ,   2 0 0 5 ,   D E M O C R A T I Z I N G   I N N O V A ;   v o n   K r o g h   G ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 9 7 5 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 6 0 ;   V r o o m   V .   H . ,   1 9 6 4 ,   W O R K   M O T I V A T I O N ;   W e s t   J ,   2 0 0 8 ,   I N D   I N N O V ,   V 1 5 ,   P 2 2 3 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 6 2 7 1 0 8 0 2 0 3 3 7 3 4 ;   W i l s o n   B . ,   2 0 1 0 ,   H D B   P A R T I A L   L E A S T   S Q ,   P 6 2 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 3 2 8 2 7 - 8 _ 2 8 ;   W o l d   H . ,   1 9 8 2 ,   2   G E N E R A T I O N   M U L T I V A ,   P 3 2 5 ;   Z e i t l y n   D ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 2 8 7 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 5 3 - 2 	 1 1 6 	 1 0 	 1 1 	 E L S E V I E R   S C I   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   O X O N ,   E N G L A N D 	 0 0 2 4 - 6 3 0 1 	 1 8 7 3 - 1 8 7 2 	 	 L O N G   R A N G E   P L A N N 	 L o n g   R a n g e   P l a n . 	 O C T - D E C 	 2 0 1 1 	 4 4 	 5 - 6 	 	 	 S I 	 	 3 9 7 	 4 2 0 	 	 1 0 . 1 0 1 6 / j . l r p . 2 0 1 1 . 0 9 . 0 0 6 	 	 2 4 	 B u s i n e s s ;   M a n a g e m e n t ;   P l a n n i n g   &   D e v e l o p m e n t 	 B u s i n e s s   &   E c o n o m i c s ;   P u b l i c   A d m i n i s t r a t i o n 	 8 6 8 H C 	 W O S : 0 0 0 2 9 8 5 1 3 3 0 0 0 0 5 	 	 
 J 	 D a l a l ,   S ;   K h o d y a k o v ,   D ;   S r i n i v a s a n ,   R ;   S t r a u s ,   S ;   A d a m s ,   J 	 	 	 	 D a l a l ,   S i d d h a r t h a ;   K h o d y a k o v ,   D m i t r y ;   S r i n i v a s a n ,   R a m e s h ;   S t r a u s ,   S u s a n ;   A d a m s ,   J o h n 	 	 	 E x p e r t L e n s :   A   s y s t e m   f o r   e l i c i t i n g   o p i n i o n s   f r o m   a   l a r g e   p o o l   o f   n o n - c o l l o c a t e d   e x p e r t s   w i t h   d i v e r s e   k n o w l e d g e 	 T E C H N O L O G I C A L   F O R E C A S T I N G   A N D   S O C I A L   C H A N G E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 D e l p h i ;   D i s t r i b u t e d   g r o u p   d e c i s i o n   s u p p o r t ;   N o m i n a l   g r o u p   t e c h n i q u e s ;   C o m p u t e r - m e d i a t e d   c o m m u n i c a t i o n ;   W i s d o m   o f   c r o w d s 	 C O M P U T E R - M E D I A T E D   C O M M U N I C A T I O N ;   G R O U P   D E C I S I O N - M A K I N G ;   F A C E - T O - F A C E ;   N O M I N A L   G R O U P   T E C H N I Q U E ;   D E L P H I   M E T H O D ;   I N F O R M A T I O N   O V E R L O A D ;   G R O U P   C O H E S I V E N E S S ;   S T O C K - P R I C E S ;   P E R F O R M A N C E ;   O N L I N E 	 T h e   c o m p l e x i t y   o f   p o l i c y   d e c i s i o n - m a k i n g   r a i s e s   t h e   n e e d   t o   e l i c i t   o p i n i o n s   f r o m   l a r g e   a n d   h e t e r o g e n e o u s   g r o u p s   o f   s t a k e h o l d e r s   w i t h   b r o a d   a n d   d i v e r s e   s e t s   o f   e x p e r t i s e .   E x i s t i n g   o p t i o n s   f o r   e l i c i t a t i o n   i n c l u d e   s m a l l   f a c e - t o - f a c e   p a n e l s   o f   e x p e r t s   b y   u s i n g   t h e   N o m i n a l   G r o u p   T e c h n i q u e   ( N G T ) ,   l a r g e   D e l p h i   p a n e l s   w h o s e   m e m b e r s   d o   n o t   i n t e r a c t   w i t h   e a c h   o t h e r   f a c e - t o - f a c e ,   a n d   c r o w d s o u r c i n g ,   w h i c h   i n v o l v e s   a n   o p e n   c a l l   f o r   i n p u t   i s s u e d   t o   a   l a r g e   c o m m u n i t y   o f   p e o p l e .   I n   a n   a t t e m p t   t o   c l o s e   t h e   g a p   b e t w e e n   t h e   p r a c t i c a l   n e e d s   o f   p o l i c y   m a k e r s   a n d   t h e   m e t h o d o l o g i c a l   c h a l l e n g e s   a s s o c i a t e d   w i t h   e l i c i t i n g   o p i n i o n s   o f   l a r g e ,   d i v e r s e ,   a n d   d i s t r i b u t e d   g r o u p s ,   w e   h a v e   d e v e l o p e d   a   n e w   o n l i n e   e l i c i t a t i o n   s y s t e m   a n d   m e t h o d o l o g y   c a l l e d   E x p e r t L e n s .   B y   o p t i m i z i n g   t h e   d i r e c t   i n t e r a c t i o n s   o f   N G T   w i t h   t h e   l a r g e r   n u m b e r   o f   D e l p h i   p a r t i c i p a n t s   a n d   t h e   w i s d o m   o f   " s e l e c t e d   c r o w d s , "   o u r   a p p r o a c h   i s   d e s i g n e d   t o   s a v e   o n   t h e   c o s t s   a s s o c i a t e d   w i t h   t r a d i t i o n a l   e x p e r t   p a n e l s ,   w h i l e   i n c r e a s i n g   a c c u r a c y   i n   e l i c i t a t i o n   b y   r e d u c i n g   t h e   p o t e n t i a l   f o r   g r o u p   p r o c e s s   l o s s e s   t h a t   c a n   o c c u r   i n   l a r g e ,   d i v e r s e ,   a n d   n o n - c o l l o c a t e d   p a n e l s   w h o s e   m e m b e r s   i n t e r a c t   v i a   a s y n c h r o n o u s   o n l i n e   d i s c u s s i o n   b o a r d s .   T h e   E x p e r t L e n s   a p p r o a c h   i s   i t e r a t i v e ,   d o e s   n o t   r e q u i r e   p a r t i c i p a n t s   t o   d e v e l o p   c o n s e n s u s ,   a n d   d e t e r m i n e s   w h a t   t h e   g r o u p   " t h i n k s "   b y   s t a t i s t i c a l l y   a n a l y z i n g   d a t a   c o l l e c t e d   i n   a l l   r o u n d s   o f   t h e   e l i c i t a t i o n .   T h i s   p a p e r   d e s c r i b e s   t h e   E x p e r t L e n s   s y s t e m   a n d   m e t h o d o l o g y ,   b r i e f l y   d i s c u s s e s   r e c e n t   E x p e r t L e n s   t r i a l s ,   p r o v i d e s   c o n c e p t u a l   a r g u m e n t s   f o r   w h y   i t   i s   a n   a p p r o p r i a t e   m o d e l   f o r   e l i c i t i n g   e x p e r t   o p i n i o n s ,   i l l u s t r a t e s   i t s   m a i n   c o m p o n e n t s   a n d   a n a l y t i c s   b y   u s i n g   a n   i n f r a s t r u c t u r e   i n v e s t m e n t   e x a m p l e ,   a n d   d i s c u s s e s   a   r e s e a r c h   a g e n d a   f o r   t e s t i n g   t h e   u n d e r l y i n g   t e n e t s   o f   t h e   E x p e r t L e n s   a p p r o a c h .   ( C )   2 0 1 1   E l s e v i e r   I n c .   A l l   r i g h t s   r e s e r v e d . 	 [ D a l a l ,   S i d d h a r t h a ;   K h o d y a k o v ,   D m i t r y ;   S r i n i v a s a n ,   R a m e s h ;   S t r a u s ,   S u s a n ;   A d a m s ,   J o h n ]   R A N D   C o r p ,   S a n t a   M o n i c a ,   C A   9 0 4 0 5   U S A ;   [ S r i n i v a s a n ,   R a m e s h ]   U n i v   C a l i f   L o s   A n g e l e s ,   D e p t   I n f o r m a t   S t u d i e s   &   D e s i g n   M e d i a   A r t s ,   L o s   A n g e l e s ,   C A   9 0 0 2 4   U S A 	 D a l a l ,   S   ( r e p r i n t   a u t h o r ) ,   R A N D   C o r p ,   1 7 7 6   M a i n   S t ,   S a n t a   M o n i c a ,   C A   9 0 4 0 5   U S A . 	 s d a l a l @ r a n d . o r g 	 	 	 	 	 A a k h u s   M ,   2 0 0 1 ,   J   A P P L   C O M M U N   R E S ,   V 2 9 ,   P 3 4 1 ,   D O I   1 0 . 1 0 8 0 / 0 0 9 0 9 8 8 0 1 2 8 1 1 3 ;   B a k e r   F . B . ,   2 0 0 1 ,   B A S I C S   I T E M   R E S P O N S E ;   B a l t e s   B B ,   2 0 0 2 ,   O R G A N   B E H A V   H U M   D E C ,   V 8 7 ,   P 1 5 6 ,   D O I   1 0 . 1 0 0 6 / o b h d . 2 0 0 1 . 2 9 6 1 ;   B A R D E C K I   M J ,   1 9 8 4 ,   T E C H N O L   F O R E C A S T   S O C ,   V 2 5 ,   P 2 8 1 ,   D O I   1 0 . 1 0 1 6 / 0 0 4 0 - 1 6 2 5 ( 8 4 ) 9 0 0 0 6 - 4 ;   B a r t u n e k   J M ,   1 9 8 4 ,   G R O U P   O R G A N   S T U D ,   V 9 ,   P 4 1 7 ,   D O I   1 0 . 1 1 7 7 / 1 0 5 9 6 0 1 1 8 4 0 0 9 0 0 3 0 7 ;   B e n b u n a n - F i c h   R ,   1 9 9 9 ,   G R O U P   D E C I S   N E G O T ,   V 8 ,   P 4 0 9 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 0 8 6 6 9 7 1 0 7 6 3 ;   B e n b u n a n - F i c h   R ,   2 0 0 3 ,   D E C I S   S U P P O R T   S Y S T ,   V 3 4 ,   P 4 5 7 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 7 - 9 2 3 6 ( 0 2 ) 0 0 0 7 2 - 6 ;   B e s t   R . ,   1 9 7 4 ,   J   M A R K E T I N G   R E S ,   P 4 4 8 ;   B o u l o s   M N K ,   2 0 0 7 ,   H E A L T H   I N F O   L I B R   J ,   V 2 4 ,   P 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 7 1 - 1 8 4 2 . 2 0 0 7 . 0 0 7 0 1 . x ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B r o w n   R . ,   2 0 0 0 ,   G R O U P   P R O C E S S E S   D Y N A ;   C a n t r i l l   J .   A . ,   1 9 9 6 ,   I N T   J   P H A R M   P R A C T ,   V 4 ,   P 6 7 ,   D O I   1 0 . 1 1 1 1 / j . 2 0 4 2 - 7 1 7 4 . 1 9 9 6 . t b 0 0 8 4 4 . x ;   C a o   P . ,   1 9 9 9 ,   3 2   H A W   I N T   C   S Y S T   S C ;   C A R R O L L   J D ,   1 9 8 0 ,   A N N U   R E V   P S Y C H O L ,   V 3 1 ,   P 6 0 7 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v . p s . 3 1 . 0 2 0 1 8 0 . 0 0 3 1 3 5 ;   C l a y t o n   M .   J . ,   1 9 9 7 ,   E D U C   P S Y C H O L ,   V 1 7 ,   P 3 7 3 ,   D O I   D O I   1 0 . 1 0 8 0 / 0 1 4 4 3 4 1 9 7 0 1 7 0 4 0 1 ;   D A L A L   S R ,   1 9 8 3 ,   C O M M U N   S T A T - T H E O R   M ,   V 1 2 ,   P 9 4 7 ,   D O I   1 0 . 1 0 8 0 / 0 3 6 1 0 9 2 8 3 0 8 8 2 8 5 0 7 ;   D A L K E Y   N ,   1 9 6 3 ,   M A N A G E   S C I ,   V 9 ,   P 4 5 8 ,   D O I   1 0 . 1 2 8 7 / m n s c . 9 . 3 . 4 5 8 ;   D a w e s   R .   M . ,   1 9 8 2 ,   J U D G M E N T   U N C E R T A I N T Y ,   P 3 9 1 ,   D O I   1 0 . 1 0 3 7 / 0 0 0 3 - 0 6 6 X . 3 4 . 7 . 5 7 1 ;   D I E T Z   T ,   1 9 8 7 ,   T E C H N O L   F O R E C A S T   S O C ,   V 3 1 ,   P 7 9 ,   D O I   1 0 . 1 0 1 6 / 0 0 4 0 - 1 6 2 5 ( 8 7 ) 9 0 0 2 4 - 2 ;   D o w l i n g   K L ,   2 0 0 0 ,   D E C I S   S U P P O R T   S Y S T ,   V 2 9 ,   P 2 2 9 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 7 - 9 2 3 6 ( 0 0 ) 0 0 0 7 3 - 7 ;   D u b r o v s k   V .   J . ,   1 9 9 1 ,   H u m a n - C o m p u t e r   I n t e r a c t i o n ,   V 6 ,   D O I   1 0 . 1 2 0 7 / s 1 5 3 2 7 0 5 1 h c i 0 6 0 2 _ 2 ;   D u f n e r   D . ,   2 0 0 2 ,   I E E E ,   P 1 1 4 ;   E I N H O R N   H J ,   1 9 7 2 ,   O R G A N   B E H A V   H U M   P E R F ,   V 7 ,   P 8 6 ,   D O I   1 0 . 1 0 1 6 / 0 0 3 0 - 5 0 7 3 ( 7 2 ) 9 0 0 0 9 - 8 ;   F a r n h a m   S . ,   2 0 0 0 ,   S T R U C T U R E D   O N L I N E   I N ,   P 2 9 9 ;   F i t c h   K ,   2 0 0 1 ,   R A N D   U C L A   A P P R O P R I A T ;   G A L L U P E   R B ,   1 9 9 0 ,   I N F O R M   M A N A G E ,   V 1 8 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / 0 3 7 8 - 7 2 0 6 ( 9 0 ) 9 0 0 5 9 - Q ;   G a l t o n   F ,   1 9 0 7 ,   N A T U R E ,   V 7 5 ,   P 4 5 0 ,   D O I   1 0 . 1 0 3 8 / 0 7 5 4 5 0 a 0 ;   G o r d o n   T ,   2 0 0 6 ,   T E C H N O L   F O R E C A S T   S O C ,   V 7 3 ,   P 3 2 1 ,   D O I   1 0 . 1 0 1 6 / j . t e c h f o r e . 2 0 0 5 . 0 9 . 0 0 5 ;   H a c k m a n   J .   R . ,   2 0 0 4 ,   W H A T   M A K E S   G R E A T   A N A ;   H a r a   N ,   2 0 0 0 ,   I N S T R   S C I ,   V 2 8 ,   P 1 1 5 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 0 3 7 6 4 7 2 2 8 2 9 ;   H a r e   A P ,   1 9 5 2 ,   A M   S O C I O L   R E V ,   V 1 7 ,   P 2 6 1 ,   D O I   1 0 . 2 3 0 7 / 2 0 8 8 0 7 1 ;   H e r r i n g   S .   C . ,   1 9 9 6 ,   C O M P U T E R   M E D I A T E D   C O ;   H i l t z   S . ,   1 9 9 2 ,   C O M P U T E R   A U G M E N T E D   T ,   P 6 7 ;   H i l t z   S .   R . ,   1 9 8 9 ,   D e c i s i o n   S u p p o r t   S y s t e m s ,   V 5 ,   D O I   1 0 . 1 0 1 6 / 0 1 6 7 - 9 2 3 6 ( 8 9 ) 9 0 0 0 8 - 0 ;   H i l t z   S .   R . ,   1 9 9 3 ,   N E T W O R K   N A T I O N   H U M A N ;   H i l t z   S .   R . ,   1 9 9 4 ,   V I R T U A L   C L A S S R O O M   L E ;   H I L T Z   S R ,   1 9 8 6 ,   H U M   C O M M U N   R E S ,   V 1 3 ,   P 2 2 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 8 - 2 9 5 8 . 1 9 8 6 . t b 0 0 1 0 4 . x ;   H I L T Z   S R ,   1 9 8 5 ,   C O M M U N   A C M ,   V 2 8 ,   P 6 8 0 ,   D O I   1 0 . 1 1 4 5 / 3 8 9 4 . 3 8 9 5 ;   H o n g   L ,   2 0 0 4 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 1 ,   P 1 6 3 8 5 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 4 0 3 7 2 3 1 0 1 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   J e p p e s e n   L B . ,   2 0 1 0 ,   M A R G I N A L I T Y   P R O B L E M ,   P 1 ;   J o h n s t o n   R . ,   2 0 0 5 ,   A N A L   C U L T U R E   U S   I N T E ;   J o l s o n   M . ,   1 9 7 1 ,   J   M A R K E T I N G   R E S ,   P 4 4 3 ;   J O N E S   J ,   1 9 9 5 ,   B R I T   M E D   J ,   V 3 1 1 ,   P 3 7 6 ;   J o n e s   Q ,   2 0 0 4 ,   I N F O R M   S Y S T   R E S ,   V 1 5 ,   P 1 9 4 ,   D O I   1 0 . 1 2 8 7 / i s r e . 1 0 4 0 . 0 0 2 3 ;   K a u f m a n   L ,   2 0 0 5 ,   F I N D I N G   G R O U P S   D A T A ;   K e a r   K . ,   2 0 0 7 ,   C O M M U N I C A T I O N   A S P E C T ;   K e e n e y   S ,   2 0 0 1 ,   I N T   J   N U R S   S T U D ,   V 3 8 ,   P 1 9 5 ,   D O I   1 0 . 1 0 1 6 / S 0 0 2 0 - 7 4 8 9 ( 0 0 ) 0 0 0 4 4 - 4 ;   K e n d a l l   M .   G . ,   1 9 4 0 ,   B I O M E T R I K A ,   V 3 1 ,   P 3 2 4 ,   D O I   1 0 . 2 3 0 7 / 2 3 3 2 6 1 3 ;   K I E S L E R   S ,   1 9 8 4 ,   A M   P S Y C H O L ,   V 3 9 ,   P 1 1 2 3 ,   D O I   1 0 . 1 0 3 7 / / 0 0 0 3 - 0 6 6 X . 3 9 . 1 0 . 1 1 2 3 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   L a g o   P P ,   2 0 0 7 ,   C O M P U T   I N D   E N G ,   V 5 2 ,   P 2 7 7 ,   D O I   1 0 . 1 0 1 6 / j . c i e . 2 0 0 6 . 1 1 . 0 0 3 ;   L a n d e t a   J ,   2 0 0 6 ,   T E C H N O L   F O R E C A S T   S O C ,   V 7 3 ,   P 4 6 7 ,   D O I   1 0 . 1 0 1 6 / j . t e c h f o r e . 2 0 0 5 . 0 9 . 0 0 2 ;   L a r r i c k   R P ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 1 1 1 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 5 0 . 0 4 5 9 ;   L i n s t o n e   H .   A . ,   1 9 7 8 ,   H D B   F U T U R E S   R E S ,   P 2 7 1 ;   L i n s t o n e   H .   A . ,   2 0 0 2 ,   D E L P H I   M E T H O D   T E C H N I ;   L i u   S ,   2 0 1 0 ,   I N F O R M   S Y S T   J ,   V 2 0 ,   P 3 1 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 5 7 5 . 2 0 0 9 . 0 0 3 3 3 . x ;   M a c k a y   C . ,   1 9 6 2 ,   E X T R A O R D I N A R Y   P O P U L A ;   M a c R a e   D ,   1 9 9 7 ,   E X P E R T   A D V I C E   P O L I C Y ;   M a d d a l a   G S ,   1 9 8 3 ,   L T D   D E P E N D E N T   Q U A L I T ;   M C K E N N A   H P ,   1 9 9 4 ,   J   A D V   N U R S ,   V 1 9 ,   P 1 2 2 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 6 4 8 . 1 9 9 4 . t b 0 1 2 0 7 . x ;   M c L e o d   P .   L . ,   1 9 9 2 ,   H u m a n - C o m p u t e r   I n t e r a c t i o n ,   V 7 ,   D O I   1 0 . 1 2 0 7 / s 1 5 3 2 7 0 5 1 h c i 0 7 0 3 _ 1 ;   M o n t o y a - W e i s s   M M ,   2 0 0 1 ,   A C A D   M A N A G E   J ,   V 4 4 ,   P 1 2 5 1 ,   D O I   1 0 . 2 3 0 7 / 3 0 6 9 3 9 9 ;   M U L L E N   B ,   1 9 9 4 ,   P S Y C H O L   B U L L ,   V 1 1 5 ,   P 2 1 0 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 0 9 . 1 1 5 . 2 . 2 1 0 ;   M U L L E N   B ,   1 9 9 4 ,   S M A L L   G R   R E S ,   V 2 5 ,   P 1 8 9 ,   D O I   1 0 . 1 1 7 7 / 1 0 4 6 4 9 6 4 9 4 2 5 2 0 0 3 ;   M U R A D O G L U   G ,   1 9 9 4 ,   J   F O R E C A S T I N G ,   V 1 3 ,   P 5 6 5 ,   D O I   1 0 . 1 0 0 2 / f o r . 3 9 8 0 1 3 0 7 0 2 ;   M Y E R S   D G ,   1 9 7 6 ,   P S Y C H O L   B U L L ,   V 8 3 ,   P 6 0 2 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 0 9 . 8 3 . 4 . 6 0 2 ;   O D D O N E   E Z ,   1 9 9 4 ,   M E D   D E C I S   M A K I N G ,   V 1 4 ,   P 1 9 ,   D O I   1 0 . 1 1 7 7 / 0 2 7 2 9 8 9 X 9 4 0 1 4 0 0 1 0 3 ;   O k o l i   C ,   2 0 0 4 ,   I N F O R M   M A N A G E - A M S T E R ,   V 4 2 ,   P 1 5 ,   D O I   1 0 . 1 0 1 6 / j . i m . 2 0 0 3 . 1 1 . 0 0 2 ;   O n k a l   D ,   1 9 9 6 ,   I N T   J   F O R E C A S T I N G ,   V 1 2 ,   P 9 ,   D O I   1 0 . 1 0 1 6 / 0 1 6 9 - 2 0 7 0 ( 9 5 ) 0 0 6 3 3 - 8 ;   P a g e   S E ,   2 0 0 7 ,   D I F F E R E N C E :   H O W   T H E   P O W E R   O F   D I V E R S I T Y   C R E A T E S   B E T T E R   G R O U P S ,   F I R M S ,   S C H O O L S ,   A N D   S O C I E T I E S ,   P 1 ;   P a g l i a r i   C ,   2 0 0 1 ,   J   E V A L   C L I N   P R A C T ,   V 7 ,   P 1 6 5 ,   D O I   1 0 . 1 0 4 6 / j . 1 3 6 5 - 2 7 5 3 . 2 0 0 1 . 0 0 2 7 2 . x ;   P a t a r i   S ,   2 0 1 0 ,   T E C H N O L   F O R E C A S T   S O C ,   V 7 7 ,   P 9 4 ,   D O I   1 0 . 1 0 1 6 / j . t e c h f o r e . 2 0 0 9 . 0 6 . 0 0 4 ;   P U T N A M   J W ,   1 9 9 5 ,   E X C E P T   C H I L D R E N ,   V 6 1 ,   P 5 5 3 ;   R i k k o n e n   P ,   2 0 0 9 ,   T E C H N O L   F O R E C A S T   S O C ,   V 7 6 ,   P 9 7 8 ,   D O I   1 0 . 1 0 1 6 / j . t e c h f o r e . 2 0 0 8 . 1 2 . 0 0 1 ;   R o w e   G . ,   2 0 0 1 ,   P R I N C I P L E S   F O R E C A S T I ,   P 1 2 5 ;   R o w e   G ,   1 9 9 6 ,   I N T   J   F O R E C A S T I N G ,   V 1 2 ,   P 7 3 ,   D O I   1 0 . 1 0 1 6 / 0 1 6 9 - 2 0 7 0 ( 9 5 ) 0 0 6 5 8 - 3 ;   R o w e   G ,   1 9 9 9 ,   I N T   J   F O R E C A S T I N G ,   V 1 5 ,   P 3 5 3 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 9 - 2 0 7 0 ( 9 9 ) 0 0 0 1 8 - 7 ;   S A M B A M U R T H Y   V ,   1 9 9 3 ,   S M A L L   G R   R E S ,   V 2 4 ,   P 5 2 3 ,   D O I   1 0 . 1 1 7 7 / 1 0 4 6 4 9 6 4 9 3 2 4 4 0 0 6 ;   S h e r i d a n   T .   B . ,   1 9 7 5 ,   D E L P H I   M E T H O D   T E C H N I ,   P 5 2 5 ;   S I E G E L   J ,   1 9 8 6 ,   O R G A N   B E H A V   H U M   D E C ,   V 3 7 ,   P 1 5 7 ,   D O I   1 0 . 1 0 1 6 / 0 7 4 9 - 5 9 7 8 ( 8 6 ) 9 0 0 5 0 - 6 ;   S k r o n d a l   A ,   2 0 0 4 ,   G E N   L A T E N T   V A R I A B L E ;   S T A S S E R   G ,   1 9 9 2 ,   J   P E R S   S O C   P S Y C H O L ,   V 6 3 ,   P 4 2 6 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 2 - 3 5 1 4 . 6 3 . 3 . 4 2 6 ;   S T A S S E R   G ,   1 9 8 5 ,   J   P E R S   S O C   P S Y C H O L ,   V 4 8 ,   P 1 4 6 7 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 4 8 . 6 . 1 4 6 7 ;   S t e i n e r   I .   D . ,   1 9 7 2 ,   G R O U P   P R O C E S S   P R O D U C ;   S t e i n e r t   M ,   2 0 0 9 ,   T E C H N O L   F O R E C A S T   S O C ,   V 7 6 ,   P 2 9 1 ,   D O I   1 0 . 1 0 1 6 / j . t e c h f o r e . 2 0 0 8 . 1 0 . 0 0 6 ;   S t r a u s   S G ,   1 9 9 6 ,   S M A L L   G R   R E S ,   V 2 7 ,   P 1 1 5 ,   D O I   1 0 . 1 1 7 7 / 1 0 4 6 4 9 6 4 9 6 2 7 1 0 0 6 ;   S t r a u s   S G ,   2 0 0 0 ,   R E S   M A N A G   G R P   T E A M ,   V 3 ,   P 2 5 7 ,   D O I   1 0 . 1 0 1 6 / S 1 5 3 4 - 0 8 5 6 ( 0 0 ) 0 3 0 1 3 - 9 ;   S t r a u s   S G ,   2 0 1 1 ,   G R O U P   D Y N - T H E O R   R E S ,   V 1 5 ,   P 1 2 8 ,   D O I   1 0 . 1 0 3 7 / a 0 0 2 2 7 3 4 ;   S u n s t e i n   C .   R . ,   2 0 0 6 ,   H A R V   B U S   R E V ,   V 0 9 ;   S u n s t e i n   C R ,   2 0 0 4 ,   V A   L A W   R E V ,   V 9 0 ,   P 3 0 1 ,   D O I   1 0 . 2 3 0 7 / 3 2 0 2 4 2 9 ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   T i c h y   G ,   2 0 0 4 ,   T E C H N O L   F O R E C A S T   S O C ,   V 7 1 ,   P 3 4 1 ,   D O I   1 0 . 1 0 1 6 / j . t e c h f o r e . 2 0 0 4 . 0 1 . 0 0 3 ;   T U R O F F   M ,   1 9 8 9 ,   T E C H N O L   F O R E C A S T   S O C ,   V 3 6 ,   P 1 0 7 ,   D O I   1 0 . 1 0 1 6 / 0 0 4 0 - 1 6 2 5 ( 8 9 ) 9 0 0 1 7 - 6 ;   T u r o f f   M . ,   1 9 9 9 ,   3 2   A N N   H A W   I N T   C   S Y S ;   T u r o f f   M . ,   1 9 9 1 ,   J o u r n a l   o f   O r g a n i z a t i o n a l   C o m p u t i n g ,   V 1 ;   T U R O F F   M . ,   1 9 9 6 ,   G A Z I N G   O R A C L E   D E L P H I ,   P 5 6 ;   T U R O F F   M ,   1 9 9 3 ,   M I S   Q U A R T ,   V 1 7 ,   P 3 9 9 ,   D O I   1 0 . 2 3 0 7 / 2 4 9 5 8 5 ;   T U R O F F   M ,   1 9 7 2 ,   T E C H N O L   F O R E C A S T   S O C ,   V 3 ,   P 1 5 9 ,   D O I   1 0 . 1 0 1 6 / 0 0 4 0 - 1 6 2 5 ( 7 2 ) 9 0 0 3 4 - 0 ;   T u r o f f   M . ,   2 0 0 6 ,   T U R K I S H   O N L I N E   J   D I S ,   V 7 ;   V A N D E V E N   A H ,   1 9 7 4 ,   A C A D   M A N A G E   J ,   V 1 7 ,   P 6 0 5 ;   W a i n f a n   L . ,   2 0 0 4 ,   C H A L L E N G E S   V I R T U A L   C ;   W a l t h e r   J B ,   1 9 9 6 ,   C O M M U N   R E S ,   V 2 3 ,   P 3 ,   D O I   1 0 . 1 1 7 7 / 0 0 9 3 6 5 0 9 6 0 2 3 0 0 1 0 0 1 ;   W a s k o   M M ,   2 0 0 5 ,   M I S   Q U A R T ,   V 2 9 ,   P 3 5 ;   W h i t e   C . ,   2 0 0 7 ,   P   4   I N T   C   I N F   S Y S T   C ,   P 7 ;   W i l d   C ,   2 0 0 0 ,   E U R   J   P U B L I C   H E A L T H ,   V 1 0 ,   P 1 1 4 ,   D O I   1 0 . 1 0 9 3 / e u r p u b / 1 0 . 2 . 1 1 4 ;   W O U D E N B E R G   F ,   1 9 9 1 ,   T E C H N O L   F O R E C A S T   S O C ,   V 4 0 ,   P 1 3 1 ,   D O I   1 0 . 1 0 1 6 / 0 0 4 0 - 1 6 2 5 ( 9 1 ) 9 0 0 0 2 - W ;   Y o o   Y . ,   2 0 0 2 ,   S P R O U T S   W O R K I N G   P A P E ,   V 2 ;   Z h u   E P ,   1 9 9 8 ,   E L E C T R O N I C   C O L L A B O R A T O R S ,   P 2 3 3 ;   Z i p f i n g e r   S . ,   2 0 0 7 ,   C O M P U T E R   A I D E D   D E L P H 	 1 1 0 	 1 4 	 1 4 	 E L S E V I E R   S C I E N C E   I N C 	 N E W   Y O R K 	 3 6 0   P A R K   A V E   S O U T H ,   N E W   Y O R K ,   N Y   1 0 0 1 0 - 1 7 1 0   U S A 	 0 0 4 0 - 1 6 2 5 	 	 	 T E C H N O L   F O R E C A S T   S O C 	 T e c h n o l .   F o r e c a s t .   S o c .   C h a n g . 	 O C T 	 2 0 1 1 	 7 8 	 8 	 	 	 	 	 1 4 2 6 	 1 4 4 4 	 	 1 0 . 1 0 1 6 / j . t e c h f o r e . 2 0 1 1 . 0 3 . 0 2 1 	 	 1 9 	 B u s i n e s s ;   P l a n n i n g   &   D e v e l o p m e n t 	 B u s i n e s s   &   E c o n o m i c s ;   P u b l i c   A d m i n i s t r a t i o n 	 8 4 1 V H 	 W O S : 0 0 0 2 9 6 5 4 2 8 0 0 0 1 4 	 	 
 J 	 G h o s h ,   S ;   H u y c k ,   C K ;   G r e e n e ,   M ;   G i l l ,   S P ;   B e v i n g t o n ,   J ;   S v e k l a ,   W ;   D e s R o c h e s ,   R ;   E g u c h i ,   R T 	 	 	 	 G h o s h ,   S h u b h a r o o p ;   H u y c k ,   C h a r l e s   K . ;   G r e e n e ,   M a r j o r i e ;   G i l l ,   S t u a r t   P . ;   B e v i n g t o n ,   J o h n ;   S v e k l a ,   W a l t e r ;   D e s R o c h e s ,   R e g i n a l d ;   E g u c h i ,   R o n a l d   T . 	 	 	 C r o w d s o u r c i n g   f o r   R a p i d   D a m a g e   A s s e s s m e n t :   T h e   G l o b a l   E a r t h   O b s e r v a t i o n   C a t a s t r o p h e   A s s e s s m e n t   N e t w o r k   ( G E O - C A N ) 	 E A R T H Q U A K E   S P E C T R A 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c a r t o g r a p h y ;   d i s a s t e r s ;   e a r t h q u a k e s ;   g e o g r a p h i c   i n f o r m a t i o n   s y s t e m s ;   r e m o t e   s e n s i n g 	 	 T h i s   p a p e r   p r o v i d e s   a n   a c c o u n t   o f   h o w   t h e   G l o b a l   E a r t h   O b s e r v a t i o n   C a t a s t r o p h e   A s s e s s m e n t   N e t w o r k   ( G E O - C A N )   w a s   f o r m e d   t o   f a c i l i t a t e   a   r a p i d   d a m a g e   a s s e s s m e n t   a f t e r   t h e   1 2   J a n u a r y   2 0 1 0   H a i t i   e a r t h q u a k e .   G E O - C A N   e m e r g e d   f r o m   t h e   t h e o r y   o f   c r o w d s o u r c i n g   a n d   r e m o t e   s e n s i n g - b a s e d   d a m a g e   i n t e r p r e t a t i o n   a n d   r e p r e s e n t s   a   n e w   p a r a d i g m   i n   p o s t - d i s a s t e r   d a m a g e   a s s e s s m e n t .   T h e   G E O - C A N   c o m m u n i t y ,   w o r k i n g   w i t h   t h e   W o r l d   B a n k   ( W B ) ,   t h e   U n i t e d   N a t i o n   I n s t i t u t e   f o r   T r a i n i n g   a n d   R e s e a r c h   ( U N I T A R )   O p e r a t i o n a l   S a t e l l i t e   A p p l i c a t i o n s   P r o g r a m m e   ( U N O S A T )   a n d   t h e   E u r o p e a n   C o m m i s s i o n ' s   J o i n t   R e s e a r c h   C e n t r e   ( J R C )   l e d   t h e   w a y   f o r   a   r a p i d   P o s t   D i s a s t e r   N e e d s   A s s e s s m e n t   ( P D N A )   u t i l i z i n g   r e m o t e - s e n s i n g   b a s e d   a n a l y s i s   a s   t h e   p r i m a r y   s o u r c e   o f   i n f o r m a t i o n   f o r   b u i l d i n g   d a m a g e .   T h e   r e s u l t s   o f   t h e   G E O - C A N   d a m a g e   a s s e s s m e n t   w e r e   i n c o r p o r a t e d   i n t o   t h e   f i n a l   P D N A   f r a m e w o r k   d e v e l o p e d   b y   t h e   W B - U N O S A T - J R C   a n d   a d o p t e d   b y   t h e   H a i t i a n   g o v e r n m e n t .   T h e   G E O - C A N   i n i t i a t i v e   p r o v i d e s   v a l u a b l e   l e s s o n s   o n   m u l t i - a g e n c y   c o l l a b o r a t i o n ,   r a p i d   a n d   i m p l e m e n t a b l e   d a m a g e   a s s e s s m e n t   p r o t o c o l s   u n d e r   e x t r e m e   s i t u a t i o n s   f o r   t h e   d i s a s t e r   m a n a g e m e n t   p r o f e s s i o n ,   d e v e l o p m e n t a l   o r g a n i z a t i o n s ,   a n d   s o c i e t y .   [ D O I : 1 0 . 1 1 9 3 / 1 . 3 6 3 6 4 1 6 ] 	 [ G h o s h ,   S h u b h a r o o p ;   H u y c k ,   C h a r l e s   K . ;   S v e k l a ,   W a l t e r ;   E g u c h i ,   R o n a l d   T . ]   I m a g e C a t   I n c ,   L o n g   B e a c h ,   C A   9 0 8 0 2   U S A ;   [ G r e e n e ,   M a r j o r i e ]   E a r t h q u a k e   E n g n   R e s   I n s t ,   O a k l a n d ,   C A   9 4 6 1 2   U S A ;   [ G i l l ,   S t u a r t   P . ]   W o r l d   B a n k   G r p ,   G F D R R ,   D i s a s t e r   R i s k   M a n a g e m e n t   L A B S ,   W a s h i n g t o n ,   D C   2 0 4 3 3   U S A ;   [ B e v i n g t o n ,   J o h n ]   I m a g e C a t   L t d ,   S u r r e y   K T 2 1   2 B T ,   E n g l a n d ;   [ D e s R o c h e s ,   R e g i n a l d ]   G e o r g i a   I n s t   T e c h n o l ,   S c h   C i v i l   &   E n v i r o n m   E n g n ,   A t l a n t a ,   G A   3 0 3 3 2   U S A 	 G h o s h ,   S   ( r e p r i n t   a u t h o r ) ,   I m a g e C a t   I n c ,   4 0 0   O c e a n g a t e , S u i t e   1 0 5 0 ,   L o n g   B e a c h ,   C A   9 0 8 0 2   U S A . 	 	 	 	 	 	 B E V I N G T O N   J ,   2 0 1 0 ,   I M A G I N G   N O T E S ,   V 2 5 ;   * E E R I ,   2 0 1 0 ,   R E M   S E N S   G E O   C A N   C O M ;   E u r o p e a n   C o m m i s s i o n   -   E C ,   2 0 1 0 ,   B U I L D   D A M   A S S   R E P   H A ;   F I E R R O   E ,   2 0 1 0 ,   S U R V E Y   R E P O R T   7 0   B U I ;   G I L L   S P ,   2 0 1 0 ,   1 2   J A N   2 0 1 0   I N   P R E S S ;   G r u n t h a l   G ,   1 9 9 8 ,   E U R O P E A N   M A C R O S E I S M I ,   V 1 5 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ;   H U Y C K   C K ,   2 0 1 0 ,   P   9   U S N   1 0 C C E E   C   T O R ;   M I R A N D A   E ,   2 0 1 0 ,   P R E L I M I N A R Y   E V A L U A T I ;   S a i t o   K . ,   2 0 1 0 ,   P   8   I N T   W O R K S H   R E M   S ;   S h a n k a r   R . ,   2 0 1 0 ,   T H E S I S   U   C O P E N H A G E N ;   W o r l d   B a n k ,   2 0 1 0 ,   P O S T D   B U I L D   D A   U N P U B 	 1 2 	 7 	 7 	 E A R T H Q U A K E   E N G I N E E R I N G   R E S E A R C H   I N S T 	 O A K L A N D 	 4 9 9   1 4 T H   S T ,   S T E   3 2 0 ,   O A K L A N D ,   C A   9 4 6 1 2 - 1 9 3 4   U S A 	 8 7 5 5 - 2 9 3 0 	 	 	 E A R T H Q   S P E C T R A 	 E a r t h q .   S p e c t r a 	 O C T 	 2 0 1 1 	 2 7 	 	 	 1 	 	 	 S 1 7 9 	 S 1 9 8 	 	 1 0 . 1 1 9 3 / 1 . 3 6 3 6 4 1 6 	 	 2 0 	 E n g i n e e r i n g ,   C i v i l ;   E n g i n e e r i n g ,   G e o l o g i c a l 	 E n g i n e e r i n g 	 8 4 1 M L 	 W O S : 0 0 0 2 9 6 5 1 6 3 0 0 0 0 9 	 	 
 J 	 S c h a l l ,   D 	 	 	 	 S c h a l l ,   D a n i e l 	 	 	 A   h u m a n - c e n t r i c   r u n t i m e   f r a m e w o r k   f o r   m i x e d   s e r v i c e - o r i e n t e d   s y s t e m s 	 D I S T R I B U T E D   A N D   P A R A L L E L   D A T A B A S E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 H u m a n   p r o v i d e d   s e r v i c e s ;   M i x e d   s e r v i c e - o r i e n t e d   s y s t e m s ;   C r o w d s o u r c i n g ;   S o c i a l   c o m p u t i n g 	 V I R T U A L   T E A M S ;   P A T T E R N S 	 A   w i d e   r a n g e   o f   W e b - b a s e d   t o o l s   a n d   s o c i a l l y - e n h a n c e d   c o l l a b o r a t i o n   s e r v i c e s   h a v e   c h a n g e d   m o d e l s   o f   w o r k .   I n   t o d a y ' s   c o l l a b o r a t i o n   s y s t e m s ,   i n t e r a c t i o n s   t y p i c a l l y   s p a n   a   n u m b e r   o f   p e o p l e   a n d   s e r v i c e s   t o   w o r k   o n   j o i n t   t a s k s   o r   t o   s o l v e   e m e r g i n g   p r o b l e m s .   F i n d i n g   t h e   r i g h t   c o l l a b o r a t i o n   p a r t n e r   i n   W e b - b a s e d   i n t e r a c t i o n s   r e m a i n s   c h a l l e n g i n g   d u e   t o   s c a l e   a n d   t h e   t e m p o r a r y   n a t u r e   o f   c o l l a b o r a t i o n s .   W e   a r g u e   t h a t   h u m a n s   n e e d   d i f f e r e n t   w a y s   t o   i n d i c a t e   t h e i r   a v a i l a b i l i t y   a n d   d e s i r e   t o   j o i n   c o l l a b o r a t i o n s .   I n   t h i s   w o r k ,   w e   d i s c u s s   c o l l a b o r a t i o n   s c e n a r i o s   w h e r e   p e o p l e   d e f i n e   s e r v i c e s   b a s e d   o n   t h e i r   d y n a m i c a l l y   c h a n g i n g   s k i l l s   a n d   e x p e r t i s e   b y   u s i n g   H u m a n - P r o v i d e d   S e r v i c e s .   T h i s   a p p r o a c h   i s   m o t i v a t e d   b y   t h e   n e e d   t o   s u p p o r t   n o v e l   s e r v i c e - o r i e n t e d   a p p l i c a t i o n s   i n   e m e r g i n g   c r o w d s o u r c i n g   e n v i r o n m e n t s .   I n   s u c h   o p e n   a n d   d y n a m i c   e n v i r o n m e n t s ,   u s e r   p a r t i c i p a t i o n   i s   o f t e n   d r i v e n   b y   i n t r i n s i c   i n c e n t i v e s   a n d   a c t o r s   p r o p e r t i e s   s u c h   a s   r e p u t a t i o n .   W e   p r e s e n t   a   f r a m e w o r k   e n a b l i n g   u s e r s   t o   d e f i n e   p e r s o n a l   s e r v i c e s   t o   c o p e   w i t h   c o m p l e x   i n t e r a c t i o n s .   W e   f o c u s   o n   t h e   d i s c o v e r y   a n d   p r o v i s i o n i n g   o f   h u m a n   e x p e r t i s e   i n   s e r v i c e - o r i e n t e d   e n v i r o n m e n t s . 	 	 S c h a l l ,   D   ( r e p r i n t   a u t h o r ) ,   A r g e n t i n i e r s t r   8 - 1 8 4 - 1 ,   A - 1 0 4 0   V i e n n a ,   A u s t r i a . 	 s c h a l l @ i n f o s y s . t u w i e n . a c . a t 	 	 	 E u r o p e a n   U n i o n   [ F P 7 - 2 1 6 2 5 6 ] 	 T h i s   w o r k   i s   s u p p o r t e d   b y   t h e   E u r o p e a n   U n i o n   t h r o u g h   t h e   I P   p r o j e c t   C O I N   ( F P 7 - 2 1 6 2 5 6 ) . 	 A D A M S   M ,   2 0 0 6 ,   O T M   C ,   P 2 9 1 ;   A g i c h t e i n   E . ,   2 0 0 8 ,   W S D M   0 8 ,   P 1 8 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 4 1 5 3 1 . 1 3 4 1 5 5 7 ;   A g r a w a l   A . ,   2 0 0 7 ,   W S   B P E L   E X T E N S I O N   P E ;   A m e n d   M . ,   2 0 0 7 ,   W E B   S E R V I C E S   H U M A N   T ;   B a l t h a z a r d   P . ,   2 0 0 4 ,   D a t a   B a s e   f o r   A d v a n c e s   i n   I n f o r m a t i o n   S y s t e m s ,   V 3 5 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B r e s l i n   J . ,   2 0 0 9 ,   S O C I A L   S E M A N T I C   W E B ,   V 4 8 ,   P 2 5 1 ;   C u g o l a   G . ,   1 9 9 6 ,   A C M   T r a n s a c t i o n s   o n   S o f t w a r e   E n g i n e e r i n g   a n d   M e t h o d o l o g y ,   V 5 ,   D O I   1 0 . 1 1 4 5 / 2 3 4 4 2 6 . 2 3 4 4 2 7 ;   D o m   B . ,   2 0 0 3 ,   D M K D   0 3   P   8   A C M   S I G M ,   P 4 2 ;   D u s t d a r   S ,   2 0 0 4 ,   D I S T R I B   P A R A L L E L   D A T ,   V 1 5 ,   P 4 5 ,   D O I   1 0 . 1 0 2 3 / B : D A P D . 0 0 0 0 0 0 9 4 3 1 . 2 0 2 5 0 . 5 6 ;   E a s l e y   D . ,   2 0 1 0 ,   N E T W O R K S   C R O W D S   M A R K ;   G a r l a n   D . ,   2 0 0 4 ,   W O S S ,   P 5 4 ;   G e n t r y   C . ,   2 0 0 5 ,   E C   0 5 ,   P 1 5 5 ;   G y o n g y i   Z . ,   2 0 0 4 ,   V L D B ,   P 5 7 6 ;   H a v e l i w a l a   T . H . ,   2 0 0 2 ,   W W W   0 2 ,   P 5 1 7 ;   J e h   G . ,   2 0 0 3 ,   W W W   0 3 ,   P 2 7 1 ;   J U S Z C Z Y K   L ,   2 0 1 0 ,   I C W S   1 0 ;   K l e i n b e r g   J M ,   1 9 9 9 ,   J   A C M ,   V 4 6 ,   P 6 0 4 ,   D O I   1 0 . 1 1 4 5 / 3 2 4 1 3 3 . 3 2 4 1 4 0 ;   K O S O R U K O F F   A ,   2 0 0 1 ,   G E N E T I C   A L G O R I T H M S   S ;   K u m a r   A . ,   2 0 0 2 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 1 8 ,   P 1 5 7 ;   M e n d l i n g   J ,   2 0 0 8 ,   L E C T   N O T E S   B U S   I N F ,   V 7 ,   P 2 7 3 ;   M o o d y   P ,   2 0 0 6 ,   I B M   S Y S T   J ,   V 4 5 ,   P 6 8 3 ;   P a g e   L . ,   1 9 9 8 ,   P A G E R A N K   C I T A T I O N   R A ;   P a n t e l i   N ,   2 0 0 5 ,   I E E E   T   P R O F   C O M M U N ,   V 4 8 ,   P 1 9 1 ,   D O I   1 0 . 1 1 0 9 / T P C . 2 0 0 5 . 8 4 9 6 5 1 ;   P e t r i e   C h a r l e s ,   2 0 1 0 ,   I E E E   I n t e r n e t   C o m p u t i n g ,   V 1 4 ,   D O I   [ 1 0 . 1 1 0 9 / M I C . 2 0 1 0 . 1 6 ,   1 0 . 1 1 0 9 / M I C . 2 0 1 0 . 7 1 ] ;   P S A I E R   H ,   2 0 1 0 ,   S A S O ;   R u s s e l l   N . ,   2 0 0 7 ,   E V A L U A T I O N   B P E L 4 P E O P ;   S C H A L L   D ,   2 0 0 8 ,   E E E   0 8 ;   S c h a l l   D ,   2 0 1 0 ,   C O M P U T E R ,   V 4 3 ,   P 8 2 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 1 0 . 2 0 5 ;   S C H A L L   D ,   2 0 1 0 ,   C E C   1 0 ;   S c h a l l   D . ,   2 0 0 9 ,   T H E S I S   V I E N N A   U   T E C H ;   S c h a l l   D ,   2 0 0 8 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 2 ,   P 6 2 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 0 8 . 6 6 ;   S C H A L L   D ,   2 0 1 0 ,   L N C S ;   S H A H A F   D ,   2 0 1 0 ,   G E N   T A S K   M A R K E T S   H U M ;   S h e t t y   J . ,   2 0 0 5 ,   L I N K K D D   0 5 ,   P 7 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 1 3 4 2 7 1 . 1 1 3 4 2 8 2 ;   S K O P I K   F ,   2 0 1 0 ,   S A C   1 0 ,   P 7 9 9 ;   S k o p i k   F ,   2 0 1 0 ,   I N F O R M   S Y S T ,   V 3 5 ,   P 7 3 5 ,   D O I   1 0 . 1 0 1 6 / j . i s . 2 0 1 0 . 0 3 . 0 0 1 ;   S u   Q . ,   2 0 0 7 ,   W W W   0 7 ,   P 2 3 1 ;   T h o m a s   J . ,   2 0 0 7 ,   I N T   C   W E B   S E R V   I C W S ,   P 6 0 ,   D O I   D O I   1 0 . 1 1 0 9 / I C W S . 2 0 0 7 . 1 8 2 ;   v o n   A h n   L ,   2 0 0 6 ,   C O M P U T E R ,   V 3 9 ,   P 9 2 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 6 . 1 9 6 ;   V U K O V I C   M ,   2 0 0 9 ,   I E E E   C   S E R V ,   P 6 8 6 ;   Y a n g   J . ,   2 0 0 8 ,   I N T   C   W E B L   S O C   M E D ;   Z h a n g   J . ,   2 0 0 7 ,   W W W   0 7 ,   P 2 2 1 	 4 3 	 2 	 2 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 0 9 2 6 - 8 7 8 2 	 	 	 D I S T R I B   P A R A L L E L   D A T 	 D i s t r i b .   P a r a l l e l   D a t a b a s e s 	 O C T 	 2 0 1 1 	 2 9 	 5 - 6 	 	 	 	 	 3 3 3 	 3 6 0 	 	 1 0 . 1 0 0 7 / s 1 0 6 1 9 - 0 1 1 - 7 0 8 1 - z 	 	 2 8 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 8 0 5 V P 	 W O S : 0 0 0 2 9 3 7 5 7 4 0 0 0 0 1 	 	 
 J 	 P r i l l ,   R J ;   S a e z - R o d r i g u e z ,   J ;   A l e x o p o u l o s ,   L G ;   S o r g e r ,   P K ;   S t o l o v i t z k y ,   G 	 	 	 	 P r i l l ,   R o b e r t   J . ;   S a e z - R o d r i g u e z ,   J u l i o ;   A l e x o p o u l o s ,   L e o n i d a s   G . ;   S o r g e r ,   P e t e r   K . ;   S t o l o v i t z k y ,   G u s t a v o 	 	 	 C r o w d s o u r c i n g   N e t w o r k   I n f e r e n c e :   T h e   D R E A M   P r e d i c t i v e   S i g n a l i n g   N e t w o r k   C h a l l e n g e 	 S C I E N C E   S I G N A L I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 M A S S   C Y T O M E T R Y ;   G E N E   N E T W O R K S ;   C E L L ;   R E C E P T O R 	 C o m p u t a t i o n a l   a n a l y s e s   o f   s y s t e m a t i c   m e a s u r e m e n t s   o n   t h e   s t a t e s   a n d   a c t i v i t i e s   o f   s i g n a l i n g   p r o t e i n s   ( a s   c a p t u r e d   b y   p h o s p h o p r o t e o m i c   d a t a ,   f o r   e x a m p l e )   h a v e   t h e   p o t e n t i a l   t o   u n c o v e r   u n c h a r a c t e r i z e d   p r o t e i n - p r o t e i n   i n t e r a c t i o n s   a n d   t o   i d e n t i f y   t h e   s u b s e t   t h a t   a r e   i m p o r t a n t   f o r   c e l l u l a r   r e s p o n s e   t o   s p e c i f i c   b i o l o g i c a l   s t i m u l i .   H o w e v e r ,   i n f e r r i n g   m e c h a n i s t i c a l l y   p l a u s i b l e   p r o t e i n   s i g n a l i n g   n e t w o r k s   ( P S N s )   f r o m   p h o s p h o p r o t e o m i c s   d a t a   i s   a   d i f f i c u l t   t a s k ,   o w i n g   i n   p a r t   t o   t h e   l a c k   o f   s u f f i c i e n t l y   c o m p r e h e n s i v e   e x p e r i m e n t a l   m e a s u r e m e n t s ,   t h e   i n h e r e n t   l i m i t a t i o n s   o f   n e t w o r k   i n f e r e n c e   a l g o r i t h m s ,   a n d   a   l a c k   o f   s t a n d a r d s   f o r   a s s e s s i n g   t h e   a c c u r a c y   o f   i n f e r r e d   P S N s .   A   c a s e   s t u d y   i n   w h i c h   1 2   r e s e a r c h   g r o u p s   i n f e r r e d   P S N s   f r o m   a   p h o s p h o p r o t e o m i c s   d a t a   s e t   d e m o n s t r a t e s   a n   a s s e s s m e n t   o f   i n f e r r e d   P S N s   o n   t h e   b a s i s   o f   t h e   a c c u r a c y   o f   t h e i r   p r e d i c t i o n s .   T h e   c o n c u r r e n t   p r e d i c t i o n   o f   t h e   s a m e   p r e v i o u s l y   u n r e p o r t e d   s i g n a l i n g   i n t e r a c t i o n s   b y   d i f f e r e n t   p a r t i c i p a t i n g   t e a m s   s u g g e s t s   r e l e v a n t   v a l i d a t i o n   e x p e r i m e n t s   a n d   e s t a b l i s h e s   a   f r a m e w o r k   f o r   c o m b i n i n g   P S N s   i n f e r r e d   b y   m u l t i p l e   r e s e a r c h   g r o u p s   i n t o   a   c o m p o s i t e   P S N .   W e   c o n c l u d e   t h a t   c r o w d s o u r c i n g   t h e   c o n s t r u c t i o n   o f   P S N s - t h a t   i s ,   o u t s o u r c i n g   t h e   t a s k   t o   t h e   i n t e r e s t e d   c o m m u n i t y - m a y   b e   a n   e f f e c t i v e   s t r a t e g y   f o r   n e t w o r k   i n f e r e n c e . 	 [ P r i l l ,   R o b e r t   J . ;   S t o l o v i t z k y ,   G u s t a v o ]   I B M   C o m p u t a t   B i o l   C t r ,   Y o r k t o w n   H t s ,   N Y   1 0 5 9 8   U S A ;   [ P r i l l ,   R o b e r t   J . ;   S a e z - R o d r i g u e z ,   J u l i o ]   E u r o p e a n   B i o i n f o r m a t   I n s t   E M B L   E B I ,   C a m b r i d g e   C B 1 0   1 S D ,   E n g l a n d ;   [ S a e z - R o d r i g u e z ,   J u l i o ]   E u r o p e a n   M o l   B i o l   L a b ,   G e n o m e   B i o l   U n i t ,   D - 6 9 1 1 7   H e i d e l b e r g ,   G e r m a n y ;   [ A l e x o p o u l o s ,   L e o n i d a s   G . ]   N a t l   T e c h   U n i v   A t h e n s ,   D e p t   M e c h   E n g n ,   A t h e n s   1 5 7 8 0 ,   G r e e c e ;   [ S o r g e r ,   P e t e r   K . ]   H a r v a r d   U n i v ,   S c h   M e d ,   D e p t   S y s t   B i o l ,   B o s t o n ,   M A   0 2 1 1 5   U S A ;   [ S o r g e r ,   P e t e r   K . ]   M I T ,   D e p t   B i o l   E n g n ,   C a m b r i d g e ,   M A   0 2 1 3 9   U S A 	 S t o l o v i t z k y ,   G   ( r e p r i n t   a u t h o r ) ,   I B M   C o m p u t a t   B i o l   C t r ,   Y o r k t o w n   H t s ,   N Y   1 0 5 9 8   U S A . 	 g u s t a v o @ u s . i b m . c o m 	 	 	 N a t i o n a l   I n s t i t u t e s   o f   H e a l t h   ( N I H )   t h r o u g h   t h e   C o l u m b i a   U n i v e r s i t y   C e n t e r   f o r   M u l t i s c a l e   A n a l y s i s   G e n o m i c   a n d   C e l l u l a r   N e t w o r k s   ( M A G N e t ) ;   L I N C S   [ U 5 4 H G 0 0 6 0 9 7 ] ;     [ G M 6 8 7 6 2 ] 	 W e   a c k n o w l e d g e   s u p p o r t   f o r   t h e   D R E A M   p r o j e c t   b y   t h e   N a t i o n a l   I n s t i t u t e s   o f   H e a l t h   ( N I H )   R o a d m a p   I n i t i a t i v e ,   t h r o u g h   t h e   C o l u m b i a   U n i v e r s i t y   C e n t e r   f o r   M u l t i s c a l e   A n a l y s i s   G e n o m i c   a n d   C e l l u l a r   N e t w o r k s   ( M A G N e t ) ,   a n d   g r a n t   G M 6 8 7 6 2   f o r   d a t a   g e n e r a t i o n ;   t h e   L I N C S   p r o g r a m   i s   c u r r e n t l y   f u n d i n g   d a t a   c o l l e c t i o n   f o r   f u t u r e   D R E A M   c h a l l e n g e s   ( U 5 4 H G 0 0 6 0 9 7 ) . 	 A l e x o p o u l o s   L G ,   2 0 1 0 ,   M O L   C E L L   P R O T E O M I C S ,   V 9 ,   P 1 8 4 9 ,   D O I   1 0 . 1 0 7 4 / m c p . M 1 1 0 . 0 0 0 4 0 6 ;   B a n d u r a   D R ,   2 0 0 9 ,   A N A L   C H E M ,   V 8 1 ,   P 6 8 1 3 ,   D O I   1 0 . 1 0 2 1 / a c 9 0 1 0 4 9 w ;   B a n s a l   M ,   2 0 0 7 ,   M O L   S Y S T   B I O L ,   V 3 ,   D O I   1 0 . 1 0 3 8 / m s b 4 1 0 0 1 2 0 ;   B e n d a l l   S C ,   2 0 1 1 ,   S C I E N C E ,   V 3 3 2 ,   P 6 8 7 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 9 8 7 0 4 ;   C i a c c i o   M F ,   2 0 1 0 ,   N A T   M E T H O D S ,   V 7 ,   P 1 4 8 ,   D O I   [ 1 0 . 1 0 3 8 / n m e t h . 1 4 1 8 ,   1 0 . 1 0 3 8 / N M E T H . 1 4 1 8 ] ;   E d u a t i   F ,   2 0 1 0 ,   P L O S   O N E ,   V 5 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 1 2 7 8 9 ;   L e c l e r c   R D ,   2 0 0 8 ,   M O L   S Y S T   B I O L ,   V 4 ,   D O I   1 0 . 1 0 3 8 / m s b . 2 0 0 8 . 5 2 ;   M a ' a y a n   A ,   2 0 0 8 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 5 ,   P 1 9 2 3 5 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 8 0 5 3 4 4 1 0 5 ;   M a ' a y a n   A ,   2 0 0 5 ,   S C I E N C E ,   V 3 0 9 ,   P 1 0 7 8 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 0 8 8 7 6 ;   M a r b a c h   D ,   2 0 1 0 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 7 ,   P 6 2 8 6 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 9 1 3 3 5 7 1 0 7 ;   M a r b a c h   D ,   2 0 0 9 ,   A N N   N Y   A C A D   S C I ,   V 1 1 5 8 ,   P 1 0 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 4 9 - 6 6 3 2 . 2 0 0 8 . 0 3 9 4 5 . x ;   M i t s o s   A ,   2 0 0 9 ,   P L O S   C O M P U T   B I O L ,   V 5 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p c b i . 1 0 0 0 5 9 1 ;   M o r r i s   M K ,   2 0 1 0 ,   B I O C H E M I S T R Y - U S ,   V 4 9 ,   P 3 2 1 6 ,   D O I   1 0 . 1 0 2 1 / b i 9 0 2 2 0 2 q ;   N e l a n d e r   S ,   2 0 0 8 ,   M O L   S Y S T   B I O L ,   V 4 ,   D O I   1 0 . 1 0 3 8 / m s b . 2 0 0 8 . 5 3 ;   S a c h s   K ,   2 0 0 5 ,   S C I E N C E ,   V 3 0 8 ,   P 5 2 3 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 0 5 8 0 9 ;   S a e z - R o d r i g u e z   J ,   2 0 0 9 ,   M O L   S Y S T   B I O L ,   V 5 ,   D O I   1 0 . 1 0 3 8 / m s b . 2 0 0 9 . 8 7 ;   S t o l o v i t z k y   G ,   2 0 0 9 ,   A N N   N Y   A C A D   S C I ,   V 1 1 5 8 ,   P 1 5 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 4 9 - 6 6 3 2 . 2 0 0 9 . 0 4 4 9 7 . x ;   W o l f - Y a d l i n   A ,   2 0 0 9 ,   C U R R   O P I N   C H E M   B I O L ,   V 1 3 ,   P 3 9 8 ,   D O I   1 0 . 1 0 1 6 / j . c b p a . 2 0 0 9 . 0 6 . 0 2 7 	 1 8 	 2 9 	 2 9 	 A M E R   A S S O C   A D V A N C E M E N T   S C I E N C E 	 W A S H I N G T O N 	 1 2 0 0   N E W   Y O R K   A V E ,   N W ,   W A S H I N G T O N ,   D C   2 0 0 0 5   U S A 	 1 9 3 7 - 9 1 4 5 	 	 	 S C I   S I G N A L 	 S c i .   S i g n a l . 	 S E P   6 	 2 0 1 1 	 4 	 1 8 9 	 	 	 	 	 	 	 m r 7 	 1 0 . 1 1 2 6 / s c i s i g n a l . 2 0 0 2 2 1 2 	 	 6 	 B i o c h e m i s t r y   &   M o l e c u l a r   B i o l o g y ;   C e l l   B i o l o g y 	 B i o c h e m i s t r y   &   M o l e c u l a r   B i o l o g y ;   C e l l   B i o l o g y 	 8 1 6 L Q 	 W O S : 0 0 0 2 9 4 6 0 1 9 0 0 0 0 3 	 2 1 9 0 0 2 0 4 	 
 J 	 B e h r e n d ,   T S ;   S h a r e k ,   D J ;   M e a d e ,   A W ;   W i e b e ,   E N 	 	 	 	 B e h r e n d ,   T a r a   S . ;   S h a r e k ,   D a v i d   J . ;   M e a d e ,   A d a m   W . ;   W i e b e ,   E r i c   N . 	 	 	 T h e   v i a b i l i t y   o f   c r o w d s o u r c i n g   f o r   s u r v e y   r e s e a r c h 	 B E H A V I O R   R E S E A R C H   M E T H O D S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   M e c h a n i c a l   T u r k ;   I n d u s t r i a l / o r g a n i z a t i o n a l   p s y c h o l o g y ;   S u r v e y   r e s e a r c h ;   S a m p l i n g ;   P e r s o n a l i t y 	 P A P E R - A N D - P E N C I L ;   S O C I A L   D E S I R A B I L I T Y ;   M E A S U R E M E N T   E Q U I V A L E N C E ;   P S Y C H O L O G I C A L - R E S E A R C H ;   C O M P U T E R   E X P E R I E N C E ;   C O E F F I C I E N T - A L P H A ;   I N T E R N E T ;   O N L I N E ;   T E S T S ;   Q U E S T I O N N A I R E S 	 O n l i n e   c o n t r a c t   l a b o r   p o r t a l s   ( i . e . ,   c r o w d s o u r c i n g )   h a v e   r e c e n t l y   e m e r g e d   a s   a t t r a c t i v e   a l t e r n a t i v e s   t o   u n i v e r s i t y   p a r t i c i p a n t   p o o l s   f o r   t h e   p u r p o s e s   o f   c o l l e c t i n g   s u r v e y   d a t a   f o r   b e h a v i o r a l   r e s e a r c h .   H o w e v e r ,   p r i o r   r e s e a r c h   h a s   n o t   p r o v i d e d   a   t h o r o u g h   e x a m i n a t i o n   o f   c r o w d s o u r c e d   d a t a   f o r   o r g a n i z a t i o n a l   p s y c h o l o g y   r e s e a r c h .   W e   f o u n d   t h a t ,   a s   c o m p a r e d   w i t h   a   t r a d i t i o n a l   u n i v e r s i t y   p a r t i c i p a n t   p o o l ,   c r o w d s o u r c i n g   r e s p o n d e n t s   w e r e   o l d e r ,   w e r e   m o r e   e t h n i c a l l y   d i v e r s e ,   a n d   h a d   m o r e   w o r k   e x p e r i e n c e .   A d d i t i o n a l l y ,   t h e   r e l i a b i l i t y   o f   t h e   d a t a   f r o m   t h e   c r o w d s o u r c i n g   s a m p l e   w a s   a s   g o o d   a s   o r   b e t t e r   t h a n   t h e   c o r r e s p o n d i n g   u n i v e r s i t y   s a m p l e .   M o r e o v e r ,   m e a s u r e m e n t   i n v a r i a n c e   g e n e r a l l y   h e l d   a c r o s s   t h e s e   g r o u p s .   W e   c o n c l u d e   t h a t   t h e   u s e   o f   t h e s e   l a b o r   p o r t a l s   i s   a n   e f f i c i e n t   a n d   a p p r o p r i a t e   a l t e r n a t i v e   t o   a   u n i v e r s i t y   p a r t i c i p a n t   p o o l ,   d e s p i t e   s m a l l   d i f f e r e n c e s   i n   p e r s o n a l i t y   a n d   s o c i a l l y   d e s i r a b l e   r e s p o n d i n g   a c r o s s   t h e   s a m p l e s .   T h e   r i s k s   a n d   a d v a n t a g e s   o f   c r o w d s o u r c i n g   a r e   o u t l i n e d ,   a n d   a n   o v e r v i e w   o f   p r a c t i c a l   a n d   e t h i c a l   g u i d e l i n e s   i s   p r o v i d e d . 	 [ B e h r e n d ,   T a r a   S . ]   G e o r g e   W a s h i n g t o n   U n i v ,   W a s h i n g t o n ,   D C   2 0 0 5 2   U S A ;   [ S h a r e k ,   D a v i d   J . ;   M e a d e ,   A d a m   W . ;   W i e b e ,   E r i c   N . ]   N   C a r o l i n a   S t a t e   U n i v ,   R a l e i g h ,   N C   2 7 6 9 5   U S A 	 B e h r e n d ,   T S   ( r e p r i n t   a u t h o r ) ,   G e o r g e   W a s h i n g t o n   U n i v ,   W a s h i n g t o n ,   D C   2 0 0 5 2   U S A . 	 b e h r e n d @ g w u . e d u 	 	 	 	 	 A m a z o n .   c o m ,   2 0 1 0 ,   M E C H   T U R K ;   A n d e r s o n   N ,   2 0 0 3 ,   I N T   J   S E L E C T   A S S E S S ,   V 1 1 ,   P 1 2 1 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 8 - 2 3 8 9 . 0 0 2 3 5 ;   B a r c h a r d   K A ,   2 0 0 8 ,   B E H A V   R E S   M E T H O D S ,   V 4 0 ,   P 1 1 1 1 ,   D O I   1 0 . 3 7 5 8 / B R M . 4 0 . 4 . 1 1 1 1 ;   B O O T H K E W L E Y   S ,   1 9 9 2 ,   J   A P P L   P S Y C H O L ,   V 7 7 ,   P 5 6 2 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 1 - 9 0 1 0 . 7 7 . 4 . 5 6 2 ;   C o h e n   J . ,   1 9 6 9 ,   S T A T   P O W E R   A N A L   B E H A ;   C o l e   F ,   2 0 0 9 ,   A C M   T   G R A P H I C ,   V 2 8 ,   D O I   1 0 . 1 1 4 5 / 1 5 3 1 3 2 6 . 1 5 3 1 3 3 4 ;   C o l e   M S ,   2 0 0 6 ,   O R G A N   R E S   M E T H O D S ,   V 9 ,   P 3 3 9 ,   D O I   1 0 . 1 1 7 7 / 1 0 9 4 4 2 8 1 0 6 2 8 7 4 3 4 ;   C R O W N E   D P ,   1 9 6 0 ,   J   C O N S U L T   P S Y C H O L ,   V 2 4 ,   P 3 4 9 ,   D O I   1 0 . 1 0 3 7 / h 0 0 4 7 3 5 8 ;   D a n d u r a n d   F ,   2 0 0 8 ,   B E H A V   R E S   M E T H O D S ,   V 4 0 ,   P 4 2 8 ,   D O I   1 0 . 3 7 5 8 / B R M . 4 0 . 2 . 4 2 8 ;   D e   B e u c k e l a e r   A ,   2 0 0 9 ,   A P P L   P S Y C H O L - I N T   R E V ,   V 5 8 ,   P 3 3 6 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 4 - 0 5 9 7 . 2 0 0 8 . 0 0 3 5 0 . x ;   E m b r e t s o n   S ,   2 0 0 0 ,   I T E M   R E S P O N S E   T H E O R Y ;   F E L D T   L S ,   1 9 8 7 ,   A P P L   P S Y C H   M E A S ,   V 1 1 ,   P 9 3 ,   D O I   1 0 . 1 1 7 7 / 0 1 4 6 6 2 1 6 8 7 0 1 1 0 0 1 0 7 ;   G a r l a n d   K J ,   2 0 0 4 ,   C O M P U T   H U M   B E H A V ,   V 2 0 ,   P 8 2 3 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 0 3 . 1 1 . 0 1 0 ;   G o l d b e r g   L .   R . ,   1 9 9 9 ,   P E R S O N A L I T Y   P S Y C H O L ,   V 7 ,   P 7 ;   G O L D B E R G   L R ,   1 9 8 5 ,   J   P E R S   S O C   P S Y C H O L ,   V 4 8 ,   P 8 2 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 4 8 . 1 . 8 2 ;   G o s l i n g   S D ,   2 0 1 0 ,   B E H A V   B R A I N   S C I ,   V 3 3 ,   P 9 4 ,   D O I   1 0 . 1 0 1 7 / S 0 1 4 0 5 2 5 X 1 0 0 0 0 3 0 0 ;   H e i l m a n   M . ,   2 0 1 0 ,   N A A C L   W O R K S H   C R E A T   S ;   H e n r i c h   J ,   2 0 1 0 ,   B E H A V   B R A I N   S C I ,   V 3 3 ,   P 6 1 ,   D O I   1 0 . 1 0 1 7 / S 0 1 4 0 5 2 5 X 0 9 9 9 1 5 2 X ;   H e n r i c h   J ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 2 9 ,   D O I   1 0 . 1 0 3 8 / 4 6 6 0 2 9 a ;   H o w e   J . ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ;   I p e i r o t i s   P .   G ,   2 0 1 0 ,   C T R   D I G I T A L   E C   R E S   W ,   P 1 0 ;   J o h n s o n   J A ,   2 0 0 5 ,   J   R E S   P E R S ,   V 3 9 ,   P 1 0 3 ,   D O I   1 0 . 1 0 1 6 / j . j r p . 2 0 0 4 . 0 9 . 0 0 9 ;   K i t t u r   A . ,   2 0 0 8 ,   P   2 6   A N N   S I G C H I   C   H U ;   K l e e m a n n   F . ,   2 0 0 8 ,   S C I   T E C H N O L O G Y   I N N O V ,   V 4 ,   P 5 ;   K r a u t   R ,   2 0 0 4 ,   A M   P S Y C H O L ,   V 5 9 ,   P 1 0 5 ,   D O I   1 0 . 1 0 3 7 / 0 0 0 3 - 0 6 6 X . 5 9 . 2 . 1 0 5 ;   L a n d y   F J ,   2 0 0 8 ,   I N D   O R G A N   P S Y C H O L - U S ,   V 1 ,   P 3 7 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 5 4 - 9 4 3 4 . 2 0 0 8 . 0 0 0 7 1 . x ;   L a u t e n s c h l a g e r   G J ,   2 0 0 8 ,   A P P L   P S Y C H   M E A S ,   V 3 2 ,   P 5 0 2 ,   D O I   1 0 . 1 1 7 7 / 0 1 4 6 6 2 1 6 0 7 3 1 2 3 0 7 ;   L i t t l e   G . ,   2 0 0 9 ,   A C M   S I G K D D   W O R K S H   H U ;   L o c k e   E .   A ,   1 9 8 6 ,   G E N E R A L I Z I N G   L A B   F I E ;   M a n f r e d a   K L ,   2 0 0 8 ,   I N T   J   M A R K E T   R E S ,   V 5 0 ,   P 7 9 ;   M e a d e   A W ,   2 0 0 7 ,   O R G A N   R E S   M E T H O D S ,   V 1 0 ,   P 3 2 2 ,   D O I   1 0 . 1 1 7 7 / 1 0 9 4 4 2 8 1 0 6 2 8 9 3 9 3 ;   M e a d e   A W ,   2 0 1 0 ,   J   A P P L   P S Y C H O L ,   V 9 5 ,   P 7 2 8 ,   D O I   1 0 . 1 0 3 7 / a 0 0 1 8 9 6 6 ;   M e y e r s o n   P ,   2 0 0 3 ,   B E H A V   R E S   M E T H   I N S   C ,   V 3 5 ,   P 6 1 4 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 1 9 5 5 4 1 ;   P l o y h a r t   R E ,   2 0 0 3 ,   P E R S   P S Y C H O L ,   V 5 6 ,   P 7 3 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 4 4 - 6 5 7 0 . 2 0 0 3 . t b 0 0 7 5 7 . x ;   P o t o s k y   D ,   1 9 9 8 ,   C O M P U T   H U M   B E H A V ,   V 1 4 ,   P 3 3 7 ,   D O I   1 0 . 1 0 1 6 / S 0 7 4 7 - 5 6 3 2 ( 9 8 ) 0 0 0 1 1 - 9 ;   P o t o s k y   D ,   2 0 0 7 ,   C O M P U T   H U M   B E H A V ,   V 2 3 ,   P 2 7 6 0 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 0 6 . 0 5 . 0 0 3 ;   R a j u   N S ,   1 9 9 5 ,   A P P L   P S Y C H   M E A S ,   V 1 9 ,   P 3 5 3 ;   R e i p s   U D ,   2 0 0 2 ,   E X P   P S Y C H O L ,   V 4 9 ,   P 2 4 3 ,   D O I   1 0 . 1 0 2 7 / / 1 6 1 8 - 3 1 6 9 . 4 9 . 4 . 2 4 3 ;   R i c h m a n   W L ,   1 9 9 9 ,   J   A P P L   P S Y C H O L ,   V 8 4 ,   P 7 5 4 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 1 - 9 0 1 0 . 8 4 . 5 . 7 5 4 ;   R i v a s   L . ,   2 0 0 9 ,   A P P L   P S Y C H   M E A S ,   V 3 3 ,   P 2 5 1 ;   R O S N O W   R L ,   1 9 7 6 ,   A U S T   J   P S Y C H O L ,   V 2 8 ,   P 9 7 ,   D O I   1 0 . 1 0 8 0 / 0 0 0 4 9 5 3 7 6 0 8 2 5 5 2 6 8 ;   S a m e j i m a   F ,   1 9 6 9 ,   P S Y C H O M E T R I C   M O N O G R A ,   V 1 7 ;   S h a r e k   D ,   2 0 1 0 ,   T H E S I S ;   S p r o u s e   J ,   2 0 1 1 ,   B E H A V   R E S   M E T H O D S ,   V 4 3 ,   P 1 5 5 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 0 - 0 0 3 9 - 7 ;   S t a n t o n   J M ,   2 0 0 1 ,   O R G A N   R E S   M E T H O D S ,   V 4 ,   P 2 0 0 ,   D O I   1 0 . 1 1 7 7 / 1 0 9 4 4 2 8 1 0 1 4 3 0 0 2 ;   S t a n t o n   J M ,   1 9 9 8 ,   P E R S   P S Y C H O L ,   V 5 1 ,   P 7 0 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 4 4 - 6 5 7 0 . 1 9 9 8 . t b 0 0 2 5 9 . x ;   T h i s s e n   D . ,   2 0 0 1 ,   S O F T W A R E   C O M P U T A T I O N ;   T h i s s e n   D . ,   1 9 9 3 ,   D I F F E R E N T I A L   I T E M   F U ,   P 6 7 ;   T h o m p s o n   L F ,   2 0 0 7 ,   O R G A N   R E S   M E T H O D S ,   V 1 0 ,   P 2 4 1 ,   D O I   1 0 . 1 1 7 7 / 1 0 9 4 4 2 8 1 0 6 / 2 9 4 6 9 6 ;   T i p p i n s   N .   T ,   2 0 0 2 ,   O R G   D E V   D A T A   D R I V E N ,   P 2 4 5 ;   T r u e l l   A D ,   2 0 0 2 ,   B E H A V   R E S   M E T H   I N S   C ,   V 3 4 ,   P 4 6 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 1 9 5 4 2 2 ;   T u r k   a n d   r e s c u e ,   2 0 0 7 ,   E C O N O M I S T ,   V 3 8 4 ,   P 9 7 ;   V a n d e W a l l e   D ,   1 9 9 7 ,   E D U C   P S Y C H O L   M E A S ,   V 5 7 ,   P 9 9 5 ,   D O I   1 0 . 1 1 7 7 / 0 0 1 3 1 6 4 4 9 7 0 5 7 0 0 6 0 0 9 ;   W A R D   E A ,   1 9 9 3 ,   J   S O C   P S Y C H O L ,   V 1 3 3 ,   P 5 1 3 	 5 4 	 3 8 	 3 9 	 S P R I N G E R 	 N E W   Y O R K 	 2 3 3   S P R I N G   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 3   U S A 	 1 5 5 4 - 3 5 1 X 	 	 	 B E H A V   R E S   M E T H O D S 	 B e h a v .   R e s .   M e t h o d s 	 S E P 	 2 0 1 1 	 4 3 	 3 	 	 	 S I 	 	 8 0 0 	 8 1 3 	 	 1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 0 8 1 - 0 	 	 1 4 	 P s y c h o l o g y ,   M a t h e m a t i c a l ;   P s y c h o l o g y ,   E x p e r i m e n t a l 	 P s y c h o l o g y 	 8 8 9 T D 	 W O S : 0 0 0 3 0 0 0 9 5 3 0 0 0 1 8 	 2 1 4 3 7 7 4 9 	 
 J 	 C o x ,   L P 	 	 	 	 C o x ,   L a n d o n   P . 	 	 	 T r u t h   i n   C r o w d s o u r c i n g 	 I E E E   S E C U R I T Y   &   P R I V A C Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 	 D u k e   U n i v ,   D u r h a m ,   N C   2 7 7 0 6   U S A 	 C o x ,   L P   ( r e p r i n t   a u t h o r ) ,   D u k e   U n i v ,   D u r h a m ,   N C   2 7 7 0 6   U S A . 	 l p c o x @ c s . d u k e . e d u 	 	 	 	 	 D U A   A ,   2 0 0 9 ,   P   4   W O R K S H   H O T   T O P   S ;   G I L B E R T   P ,   2 0 1 1 ,   P   9   A C M   C   E   I N   P R E S S ;   L e n d e r s   V ,   2 0 0 8 ,   P   9   W O R K S H   M O B   C O M P ,   P 6 0 ,   D O I   1 0 . 1 1 4 5 / 1 4 1 1 7 5 9 . 1 4 1 1 7 7 5 ;   S a r o i u   S . ,   2 0 1 0 ,   P   1 1   W O R K S H   M O B   C O M P ,   P 3 7 ,   D O I   1 0 . 1 1 4 5 / 1 7 3 4 5 8 3 . 1 7 3 4 5 9 3 ;   S a r o i u   S t e f a n ,   2 0 0 9 ,   P   1 0   W O R K S H   M O B   C O M P ;   W A N G   D ,   2 0 0 9 ,   P   1 4   I N T   C   I N F   F U S 	 6 	 3 	 3 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 3 1 4   U S A 	 1 5 4 0 - 7 9 9 3 	 	 	 I E E E   S E C U R   P R I V 	 I E E E   S e c u r .   P r i v . 	 S E P - O C T 	 2 0 1 1 	 9 	 5 	 	 	 	 	 7 4 	 7 6 	 	 	 	 3 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 8 2 6 D S 	 W O S : 0 0 0 2 9 5 3 3 2 2 0 0 0 1 3 	 	 
 J 	 S t o t h a r d ,   J R ;   S o u s a - F i g u e i r e d o ,   J C ;   B e t s o n ,   M ;   S e t o ,   E Y W ;   K a b a t e r e i n e ,   N B 	 	 	 	 S t o t h a r d ,   J .   R u s s e l l ;   S o u s a - F i g u e i r e d o ,   J o s e   C . ;   B e t s o n ,   M a r t h a ;   S e t o ,   E d m u n d   Y .   W . ;   K a b a t e r e i n e ,   N a r c i s   B . 	 	 	 I n v e s t i g a t i n g   t h e   s p a t i a l   m i c r o - e p i d e m i o l o g y   o f   d i s e a s e s   w i t h i n   a   p o i n t - p r e v a l e n c e   s a m p l e :   a   f i e l d   a p p l i c a b l e   m e t h o d   f o r   r a p i d   m a p p i n g   o f   h o u s e h o l d s   u s i n g   l o w - c o s t   G P S - d a t a l o g g e r s 	 T R A N S A C T I O N S   O F   T H E   R O Y A L   S O C I E T Y   O F   T R O P I C A L   M E D I C I N E   A N D   H Y G I E N E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 I n t e s t i n a l   s c h i s t o s o m i a s i s ;   M a l a r i a ;   H o o k w o r m ;   C o - i n f e c t i o n ;   I - G o t U ;   C r o w d s o u r c i n g 	 N E G L E C T E D   T R O P I C A L   D I S E A S E S ;   G L O B A L   P O S I T I O N I N G   S Y S T E M ;   U R I N A R Y   S C H I S T O S O M I A S I S ;   M A L A R I A   T R A N S M I S S I O N ;   I N T E G R A T E D   C O N T R O L ;   W A T E R - C O N T A C T ;   Z A N Z I B A R ;   C H I L D R E N ;   A F R I C A 	 P o i n t - p r e v a l e n c e   r e c o r d i n g   o f   t h e   d i s t r i b u t i o n   o f   t r o p i c a l   p a r a s i t i c   d i s e a s e s   a t   v i l l a g e   l e v e l   i s   u s u a l l y   s u f f i c i e n t   f o r   g e n e r a l   m o n i t o r i n g   a n d   s u r v e i l l a n c e .   W h i l s t   w i t h i n - v i l l a g e   s p a t i a l   p a t t e r n i n g   o f   d i s e a s e s   e x i s t s ,   a n d   c a n   b e   i m p o r t a n t ,   m a p p i n g   i n f e c t e d   c a s e s   i n   a   h o u s e h o l d - b y - h o u s e h o l d   s e t t i n g   i s   a r d u o u s   a n d   t i m e   c o n s u m i n g .   W i t h   t h e   d e v e l o p m e n t   o f   l o w - c o s t   G P S - d a t a   l o g g e r s   ( <   ( s i c ) 4 0 )   a n d   a v a i l a b l e   G o o g l e E a r t h   ( T M )   s a t e l l i t e   i m a g e r y ,   w e   p r e s e n t   a   f i e l d - a p p l i c a b l e   m e t h o d   b a s e d   o n   c r o w d s o u r c i n g   f o r   r a p i d   i d e n t i f i c a t i o n   o f   i n f e c t e d   c a s e s   ( i n t e s t i n a l   s c h i s t o s o m i a s i s ,   m a l a r i a   a n d   h o o k w o r m )   b y   h o u s e h o l d .   A   t o t a l   o f   1 2 6   m o t h e r s   w i t h   t h e i r   2 4 7   p r e s c h o o l   c h i l d r e n   f r o m   B u k o b a   v i l l a g e   ( M a y u g e   D i s t r i c t ,   U g a n d a )   w e r e   e x a m i n e d   w i t h   h a l f   o f   t h e s e   m o t h e r s   g i v e n   a   G P S - d a t a   l o g g e r   t o   w a l k   h o m e   w i t h ,   r e t u r n i n g   t h e   u n i t   t h e   s a m e   d a y   f o r   d a t a   o f f - l o a d i n g ,   a f t e r   w h i c h ,   h o u s e h o l d s   w e r e   a s s i g n e d   G P S   c o o r d i n a t e s .   A   s a t e l l i t e   i m a g e   o f   B u k o b a   w a s   a n n o t a t e d   w i t h   h o u s e h o l d s   d e n o t i n g   t h e   i n f e c t i o n   s t a t u s   o f   e a c h   m o t h e r   a n d   c h i l d .   G e n e r a l   p r e v a l e n c e   o f   i n t e s t i n a l   s c h i s t o s o m i a s i s ,   m a l a r i a   a n d   h o o k w o r m   i n   m o t h e r s   a n d   c h i l d r e n   w a s :   2 7 . 2   v s   7 . 7 % ,   2 8 . 6   v s   8 7 . 0 %   a n d   6 0 . 0   v s   2 2 . 3 % ,   r e s p e c t i v e l y .   D i f f e r e n t   s p a t i a l   p a t t e r n s   o f   d i s e a s e   c o u l d   b e   i d e n t i f i e d   l i k e l y   r e p r e s e n t i n g   t h e   i n t r i n s i c   d i f f e r e n c e s   i n   p a r a s i t e   b i o l o g y   a n d   i n t e r p l a y   w i t h   h u m a n   b e h a v i o u r ( s )   a c r o s s   t h i s   l o c a l   l a n d s c a p e   p r o v i d i n g   a   b e t t e r   i n s i g h t   i n t o   r e a s o n s   f o r   d i s e a s e   m i c r o - p a t t e r n i n g .   C r o w n   C o p y r i g h t   ( C )   2 0 1 1   P u b l i s h e d   b y   E l s e v i e r   L t d   o n   b e h a l f   o f   R o y a l   S o c i e t y   o f   T r o p i c a l   M e d i c i n e   a n d   H y g i e n e .   A l l   r i g h t s   r e s e r v e d . 	 [ S t o t h a r d ,   J .   R u s s e l l ;   S o u s a - F i g u e i r e d o ,   J o s e   C . ;   B e t s o n ,   M a r t h a ]   U n i v   L i v e r p o o l ,   L i v e r p o o l   S c h   T r o p   M e d ,   C T I D ,   L i v e r p o o l   L 3   5 Q A ,   M e r s e y s i d e ,   E n g l a n d ;   [ S o u s a - F i g u e i r e d o ,   J o s e   C . ]   L o n d o n   S c h   H y g   &   T r o p   M e d ,   D e p t   I n f e c t   &   T r o p   D i s ,   L o n d o n   W C 1 E   7 H T ,   E n g l a n d ;   [ S e t o ,   E d m u n d   Y .   W . ]   U n i v   C a l i f   B e r k e l e y ,   S c h   P u b l   H l t h ,   B e r k e l e y ,   C A   9 4 7 2 0   U S A ;   [ K a b a t e r e i n e ,   N a r c i s   B . ]   M i n i s t   H l t h ,   V e c t o r   C o n t r o l   D i v ,   K a m p a l a ,   U g a n d a 	 S t o t h a r d ,   J R   ( r e p r i n t   a u t h o r ) ,   U n i v   L i v e r p o o l ,   L i v e r p o o l   S c h   T r o p   M e d ,   C T I D ,   P e m b r o k e   P l ,   L i v e r p o o l   L 3   5 Q A ,   M e r s e y s i d e ,   E n g l a n d . 	 j r s t o t h @ l i v . a c . u k 	 B e t s o n ,   M a r t h a / D - 3 8 1 8 - 2 0 1 4 	 B e t s o n ,   M a r t h a / 0 0 0 0 - 0 0 0 2 - 4 2 2 0 - 3 2 9 0 	 W e l l c o m e   T r u s t ,   L o n d o n ,   U K   [ N W 1   2 B E ] 	 T h e   w o r k   w a s   s u p p o r t e d   b y   a   p r o j e c t   g r a n t   a w a r d e d   t o   J R S   a n d   N B K   f r o m   t h e   W e l l c o m e   T r u s t ,   G i b b s   B u i l d i n g ,   2 1 5   E u s t o n   R o a d ,   L o n d o n   N W 1   2 B E ,   U K . 	 B o o t h   M ,   2 0 0 4 ,   T   R O Y   S O C   T R O P   M E D   H ,   V 9 8 ,   P 1 2 5 ,   D O I   1 0 . 1 0 1 6 / S 0 0 3 5 - 9 2 0 3 ( 0 3 ) 0 0 0 1 8 - X ;   B O O T H   M ,   2 0 0 4 ,   B M C   I N F E C T   D I S ,   P 4 ;   B r o o k e r   S ,   2 0 0 9 ,   P A R A S I T O L O G Y ,   V 1 3 6 ,   P 1 7 0 7 ,   D O I   1 0 . 1 0 1 7 / S 0 0 3 1 1 8 2 0 0 9 0 0 5 9 4 0 ;   B r o o k e r   S ,   2 0 0 7 ,   G E O S P A T I A L   H E A L T H ,   V 1 ,   P 1 4 1 ;   B R O O K E R   S ,   2 0 0 9 ,   M A L A R I A   J ,   P 8 ;   B r o o k e r   S ,   2 0 0 9 ,   I N T   J   P A R A S I T O L ,   V 3 9 ,   P 5 9 1 ,   D O I   1 0 . 1 0 1 6 / j . i j p a r a . 2 0 0 8 . 1 0 . 0 1 4 ;   C l e m e n t s   A C A ,   2 0 1 0 ,   T R O P   M E D   I N T   H E A L T H ,   V 1 5 ,   P 1 9 8 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 3 1 5 6 . 2 0 0 9 . 0 2 4 4 0 . x ;   D E M O I R A   A P ,   2 0 1 0 ,   P L O S   N E G L E C T   T R O P   D ,   P 4 ;   d e   M o i r a   A P ,   2 0 0 7 ,   T R O P   M E D   I N T   H E A L T H ,   V 1 2 ,   P 7 2 4 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 3 1 5 6 . 2 0 0 7 . 0 1 8 4 2 . x ;   G A U D A R T   J ,   2 0 0 6 ,   B M C   P U B L I C   H E A L T H ,   P 6 ;   G o v e l l a   N J ,   2 0 1 0 ,   A M   J   T R O P   M E D   H Y G ,   V 8 2 ,   P 4 1 5 ,   D O I   1 0 . 4 2 6 9 / a j t m h . 2 0 1 0 . 0 9 - 0 5 7 9 ;   H A Y   S I ,   2 0 0 9 ,   P L O S   M E D ,   P 6 ;   H O T E Z   P J ,   2 0 0 9 ,   P L O S   N E G L E C T   T R O P   D ,   P 3 ;   H u d s o n - S m i t h   A ,   2 0 0 9 ,   S O C   S C I   C O M P U T   R E V ,   V 2 7 ,   P 5 2 4 ,   D O I   1 0 . 1 1 7 7 / 0 8 9 4 4 3 9 3 0 9 3 3 2 2 9 9 ;   * I M P   C O L L   L O N D   S C H ,   2 0 1 0 ,   G L O B   A T L   H E L M   I N F ;   K n o p p   S ,   2 0 0 8 ,   G E O S P A T I A L   H E A L T H ,   V 3 ,   P 4 7 ;   K u l l d o r f f   M ,   1 9 9 7 ,   C O M M U N   S T A T - T H E O R   M ,   V 2 6 ,   P 1 4 8 1 ,   D O I   1 0 . 1 0 8 0 / 0 3 6 1 0 9 2 9 7 0 8 8 3 1 9 9 5 ;   M A Z I G O   H D ,   2 0 1 0 ,   P A R A S I T   V E C T ,   P 3 ;   M b o e r a   L E G ,   2 0 1 0 ,   G E O S P A T I A L   H E A L T H ,   V 4 ,   P 1 6 7 ;   * O N   H L T H   I N ,   2 0 1 1 ,   O N   H L T H   I N   W I L L   U N   H ;   P a z - S o l d a n   V A ,   2 0 1 0 ,   A M   J   T R O P   M E D   H Y G ,   V 8 2 ,   P 7 2 3 ,   D O I   1 0 . 4 2 6 9 / a j t m h . 2 0 1 0 . 0 9 - 0 4 9 6 ;   R u d g e   J W ,   2 0 0 8 ,   A C T A   T R O P ,   V 1 0 5 ,   P 4 5 ,   D O I   1 0 . 1 0 1 6 / j . a c t a t r o p i c a . 2 0 0 7 . 0 9 - 0 0 6 ;   S e t o   E Y W ,   2 0 0 7 ,   G E O S P A T I A L   H E A L T H ,   V 1 ,   P 2 3 3 ;   S h o v a l   N ,   2 0 0 6 ,   P R O F   G E O G R ,   V 5 8 ,   P 1 7 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 2 7 2 . 2 0 0 6 . 0 0 5 2 4 . x ;   S i m o o n g a   C ,   2 0 0 9 ,   P A R A S I T O L O G Y ,   V 1 3 6 ,   P 1 6 8 3 ,   D O I   1 0 . 1 0 1 7 / S 0 0 3 1 1 8 2 0 0 9 0 0 6 2 2 2 ;   S o u s a - F i g u e i r e d o   J C ,   2 0 0 8 ,   A N N   T R O P   M E D   P A R A S I T ,   V 1 0 2 ,   P 6 7 9 ,   D O I   1 0 . 1 1 7 9 / 1 3 6 4 8 5 9 0 8 X 3 3 7 6 0 7 ;   T a t e m   A J ,   2 0 1 0 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 7 ,   P 1 2 2 2 2 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 0 0 2 9 7 1 1 0 7 ;   Y E   Y ,   2 0 0 7 ,   M A L A R I A   J ,   P 6 	 2 8 	 5 	 5 	 E L S E V I E R   S C I E N C E   I N C 	 N E W   Y O R K 	 3 6 0   P A R K   A V E   S O U T H ,   N E W   Y O R K ,   N Y   1 0 0 1 0 - 1 7 1 0   U S A 	 0 0 3 5 - 9 2 0 3 	 	 	 T   R O Y   S O C   T R O P   M E D   H 	 T r a n s .   R o y .   S o c .   T r o p .   M e d .   H y g . 	 S E P 	 2 0 1 1 	 1 0 5 	 9 	 	 	 	 	 5 0 0 	 5 0 6 	 	 1 0 . 1 0 1 6 / j . t r s t m h . 2 0 1 1 . 0 5 . 0 0 7 	 	 7 	 P u b l i c ,   E n v i r o n m e n t a l   &   O c c u p a t i o n a l   H e a l t h ;   T r o p i c a l   M e d i c i n e 	 P u b l i c ,   E n v i r o n m e n t a l   &   O c c u p a t i o n a l   H e a l t h ;   T r o p i c a l   M e d i c i n e 	 8 2 5 T H 	 W O S : 0 0 0 2 9 5 3 0 4 5 0 0 0 0 3 	 2 1 7 1 4 9 7 9 	 
 J 	 S a n c h e z ,   M A ;   O t t o ,   J S ;   B i s c h o f ,   Z S ;   B u s t a m a n t e ,   F E 	 	 	 	 S a n c h e z ,   M a r i o   A . ;   O t t o ,   J o h n   S . ;   B i s c h o f ,   Z a c h a r y   S . ;   B u s t a m a n t e ,   F a b i a n   E . 	 	 	 D a s u   -   I S P   C h a r a c t e r i z a t i o n   f r o m   t h e   E d g e 	 A C M   S I G C O M M   C O M P U T E R   C O M M U N I C A T I O N   R E V I E W 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 E x p e r i m e n t a t i o n ;   P e r f o r m a n c e ;   M e a s u r e m e n t ;   B r o a d b a n d   a c c e s s   n e t w o r k s ;   I S P ;   C h a r a c t e r i z a t i o n 	 	 E v a l u a t i n g   a n d   c h a r a c t e r i z i n g   a c c e s s   I S P s   i s   c r i t i c a l   t o   c o n s u m e r s   s h o p p i n g   f o r   a l t e r n a t i v e   s e r v i c e s   a n d   g o v e r n m e n t s   s u r v e y i n g   t h e   a v a i l a b i l i t y   o f   b r o a d b a n d   s e r v i c e s   t o   t h e i r   c i t i z e n s .   W e   p r e s e n t   D a s u ,   a   s e r v i c e   f o r   c r o w d s o u r c i n g   I S P   c h a r a c t e r i z a t i o n   t o   t h e   e d g e   o f   t h e   n e t w o r k .   D a s u   i s   i m p l e m e n t e d   a s   a n   e x t e n s i o n   t o   a   p o p u l a r   B i t T o r r e n t   c l i e n t   [ 5 ]   a n d   h a s   b e e n   a v a i l a b l e   s i n c e   J u l y   2 0 1 0 .   W h i l e   t h e   p r o t o t y p e   u s e s   B i t T o r r e n t   a s   i t s   h o s t   a p p l i c a t i o n ,   i t s   d e s i g n   i s   a g n o s t i c   t o   t h e   p a r t i c u l a r   h o s t   a p p l i c a t i o n .   T h e   d e m o   s h o w c a s e s   o u r   c u r r e n t   i m p l e m e n t a t i o n   u s i n g   b o t h   a   p r e r e c o r d e d   e x e c u t i o n   t r a c e   a n d   a   l i v e   r u n . 	 [ S a n c h e z ,   M a r i o   A . ;   O t t o ,   J o h n   S . ;   B i s c h o f ,   Z a c h a r y   S . ;   B u s t a m a n t e ,   F a b i a n   E . ]   N o r t h w e s t e r n   U n i v ,   E v a n s t o n ,   I L   6 0 2 0 8   U S A 	 S a n c h e z ,   M A   ( r e p r i n t   a u t h o r ) ,   N o r t h w e s t e r n   U n i v ,   E v a n s t o n ,   I L   6 0 2 0 8   U S A . 	 	 B u s t a m a n t e ,   F a b i a n / E - 8 8 8 8 - 2 0 1 3 ;   B u s t a m a n t e ,   F a b i a n / B - 7 1 1 2 - 2 0 0 9 	 	 	 	 [ A n o n y m o u s ] ,   2 0 0 9 ,   S A M K N   F C C   A M   B R O A D B ;   B I S C H O F   Z .   S . ,   2 0 1 1 ,   P   A C M   S I G C O M M   W   M U S T ;   D I S C H I N G E R   M . ,   2 0 1 0 ,   P   U S E N I X   N S D I ;   S A M K N O W S ,   2 0 0 9 ,   S A M K N   O F C   U K   B R O A D B 	 4 	 0 	 0 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 2   P E N N   P L A Z A ,   S T E   7 0 1 ,   N E W   Y O R K ,   N Y   1 0 1 2 1 - 0 7 0 1   U S A 	 0 1 4 6 - 4 8 3 3 	 1 9 4 3 - 5 8 1 9 	 	 A C M   S I G C O M M   C O M P   C O M 	 A C M   S I G C O M M   C o m p .   C o m m u n .   R e v . 	 A U G 	 2 0 1 1 	 4 1 	 4 	 	 	 	 	 4 5 4 	 4 5 5 	 	 1 0 . 1 1 4 5 / 2 0 4 3 1 6 4 . 2 0 1 8 5 1 7 	 	 2 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 9 1 6 S Z 	 W O S : 0 0 0 3 0 2 1 2 4 8 0 0 0 6 7 	 	 
 J 	 H o g u e ,   C 	 	 	 	 H o g u e ,   C h e r y l 	 	 	 C R O W D S O U R C I N G   F O R   S C I E N C E 	 C H E M I C A L   &   E N G I N E E R I N G   N E W S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 0 	 1 	 1 	 A M E R   C H E M I C A L   S O C 	 W A S H I N G T O N 	 1 1 5 5   1 6 T H   S T ,   N W ,   W A S H I N G T O N ,   D C   2 0 0 3 6   U S A 	 0 0 0 9 - 2 3 4 7 	 	 	 C H E M   E N G   N E W S 	 C h e m .   E n g .   N e w s 	 J U L   4 	 2 0 1 1 	 8 9 	 2 7 	 	 	 	 	 2 2 	 2 3 	 	 	 	 2 	 C h e m i s t r y ,   M u l t i d i s c i p l i n a r y ;   E n g i n e e r i n g ,   C h e m i c a l 	 C h e m i s t r y ;   E n g i n e e r i n g 	 7 9 0 I Y 	 W O S : 0 0 0 2 9 2 5 8 2 9 0 0 0 3 7 	 	 
 J 	 G h a f e l e ,   R ;   G i b e r t ,   B ;   D i G i a m m a r i n o ,   P 	 	 	 	 G h a f e l e ,   R o y a ;   G i b e r t ,   B e n j a m i n ;   D i G i a m m a r i n o ,   P a u l 	 	 	 D r i v i n g   I n n o v a t i o n   T h r o u g h   P a t e n t   A p p l i c a t i o n   R e v i e w :   T h e   P o w e r   o f   C r o w d s o u r c i n g   P r i o r   A r t   S e a r c h 	 J O U R N A L   O F   I N T E L L E C T U A L   P R O P E R T Y   R I G H T S 	 	 	 E n g l i s h 	 R e v i e w 	 	 	 	 	 	 I n t e l l e c t u a l   p r o p e r t y ;   p a t e n t   a p p l i c a t i o n   r e v i e w ;   p r i o r   a r t   s e a r c h ;   c r o w d s o u r c i n g ;   p u b l i c - p r i v a t e   p a r t n e r s h i p s 	 	 W o r l d w i d e   f i l i n g   o f   p a t e n t   a p p l i c a t i o n s   a n d   t h e   e n s u i n g   i n v a l i d a t i o n   r e q u e s t s   h a v e   s e e n   s t a g g e r i n g   g r o w t h   o v e r   t h e   l a s t   d e c a d e .   T h e   r e s u l t   i s   i n c r e a s i n g   p a t e n t   b a c k l o g ,   d e t e r i o r a t i n g   p a t e n t   q u a l i t y   a n d   a n   u n c e r t a i n   e c o n o m i c   e n v i r o n m e n t .   P a t e n t   a p p l i c a t i o n   r e v i e w   i s   a n   i n t e g r a l   p a r t   o f   t h e   e x a m i n a t i o n   p r o c e d u r e s   u n d e r t a k e n   b y   p a t e n t   o f f i c e s   b e f o r e   a   p a t e n t   g r a n t   i s   g i v e n .   P r i o r   a r t   s e a r c h   i s   a   c o m p l e x   a n d   t i m e   c o n s u m i n g   p a r t   o f   t h i s   p r o c e s s .   C r o w d s o u r c i n g   t h i s   c r i t i c a l   s t a g e   i s   a   v a l u a b l e   o p p o r t u n i t y   t o   r e n d e r   t h e   p a t e n t   a p p l i c a t i o n   r e v i e w   p r o c e s s   m o r e   e f f i c i e n t .   T h i s   p a p e r   d e s c r i b e s   t h e   c r o w d s o u r c i n g   p h e n o m e n o n   a n d   d e t a i l s   h o w   i t   c a n   a i d   p a t e n t   r e v i e w .   T h e   o p e n   s o u r c e   r e v i e w   p i l o t   p r o j e c t s   o f   t h e   U S P T O   a n d   J P O   a r e   p r e s e n t e d   i n   o r d e r   t o   a s s e s s   t h e   p o t e n t i a l   o f   o p e n i n g   p r i o r   a r t   s e a r c h   t o   t h e   w i d e r   c o m m u n i t y   o f   e x p e r t s   a n d   p r a c t i t i o n e r s .   P u b l i c - p r i v a t e   p a r t n e r s h i p s   b e t w e e n   p a t e n t   o f f i c e s   a n d   c o m p a n i e s   m a n a g i n g   o n l i n e   r e v i e w   c o m m u n i t i e s   a r e   p r o p o s e d   a s   a   v a l u a b l e   o p p o r t u n i t y   t o   l e v e r a g e   t h e   b e n e f i t s   o f   o p e n   r e v i e w   w h i l e   p r o v i d i n g   s u f f i c i e n t   i n c e n t i v e s   a n d   q u a l i t y   a s s u r a n c e s   t o   y i e l d   u s e f u l   c o n t r i b u t i o n s . 	 [ G h a f e l e ,   R o y a ;   G i b e r t ,   B e n j a m i n ]   O x f i r s t   L t d ,   O x f o r d   O X 1   3 B J ,   E n g l a n d ;   [ D i G i a m m a r i n o ,   P a u l ]   A r t i c l e   O n e   P a r t n e r s ,   N e w   Y o r k ,   N Y   1 0 0 2 2   U S A 	 G h a f e l e ,   R   ( r e p r i n t   a u t h o r ) ,   O x f i r s t   L t d ,   O x f o r d   S c i   P k , T h o m a s   E c c l e s t o n   H o u s e ,   O x f o r d   O X 1   3 B J ,   E n g l a n d . 	 r o y a . g h a f e l e @ o x f i r s t . c o m 	 	 	 	 	 A l b o r s   J ,   2 0 0 8 ,   I N T   J   I N F O R M   M A N A G E ,   V 2 8 ,   P 1 9 4 ,   D O I   1 0 . 1 0 1 6 / j . i j i n f o m g t . 2 0 0 7 . 0 9 . 0 0 6 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   C H R I S T I N A   S ,   I T S   B R A I N E R   P E E R   P A T ;   * C P I   N Y   L A W   S C H ,   2 0 0 8 ,   P E E R   T O   P A T   R E P   J U N ;   * C P I   N Y   L A W   S C H ,   2 0 0 9 ,   P E E R   T O   P A T   R E P   J U N ;   * E P O ,   A N N   R E P   2 0 0 8 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   * J P O ,   2 0 1 0 ,   C O M M   P I L   R E V   R E P ;   N o v e c k   B . ,   2 0 0 6 ,   H A R V   J   L   T E C H ,   V 2 0 ,   P 1 2 3 ;   * Q U E E N S L   U   T E C H N ,   2 0 1 0 ,   P E E R   T O   P A T   A U S T R   1 ;   S U R O W I E C K I   J A M E S ,   2 0 0 4 ,   W I S D O M   C R O W D S ;   T e r r a n o v a   T i z i a n a ,   2 0 0 4 ,   N E T W O R K   C U L T U R E   P O L I ;   W I P O ,   2 0 1 0 ,   W O R L D   I N T   P R O P   I N D ;   W I P O ,   2 0 0 9 ,   W O R L D   I N T   P R O P   I N D 	 1 4 	 0 	 0 	 N A T L   I N S T   S C I E N C E   C O M M U N I C A T I O N - N I S C A I R 	 N E W   D E L H I 	 D R   K   S   K R I S H N A N   M A R G ,   P U S A   C A M P U S ,   N E W   D E L H I   1 1 0   0 1 2 ,   I N D I A 	 0 9 7 1 - 7 5 4 4 	 	 	 J   I N T E L L E C T   P R O P   R I G 	 J .   I n t e l l e c t .   P r o p .   R i g h t s 	 J U L 	 2 0 1 1 	 1 6 	 4 	 	 	 	 	 3 0 3 	 3 0 8 	 	 	 	 6 	 L a w 	 G o v e r n m e n t   &   L a w 	 7 9 5 Y A 	 W O S : 0 0 0 2 9 3 0 1 4 1 0 0 0 0 1 	 	 
 J 	 v a n   E t t e n ,   J 	 	 	 	 v a n   E t t e n ,   J a c o b 	 	 	 C r o w d s o u r c i n g   C r o p   I m p r o v e m e n t   i n   S u b - S a h a r a n   A f r i c a :   A   P r o p o s a l   f o r   a   S c a l a b l e   a n d   I n c l u s i v e   A p p r o a c h   t o   F o o d   S e c u r i t y 	 I D S   B U L L E T I N - I N S T I T U T E   O F   D E V E L O P M E N T   S T U D I E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 M A R K E T S 	 I n   s u b - S a h a r a n   A f r i c a ,   m o d e r n   v a r i e t i e s   r e l e a s e d   b y   t h e   f o r m a l   s e e d   s e c t o r   c o v e r   o n l y   a   s m a l l   p a r t   o f   t h e   t o t a l   c r o p   a c r e a g e .   P a r t i c i p a t o r y   a p p r o a c h e s   t o   c r o p   i m p r o v e m e n t   a n d   s e e d   p r o d u c t i o n   h a v e   b e e n   d e v e l o p e d   t o   o v e r c o m e   s o m e   o f   t h e   b a r r i e r s   t o   m o d e r n   v a r i e t y   d e v e l o p m e n t   a n d   s e e d   d i s t r i b u t i o n ,   b u t   h a v e   n o t   b e e n   w i d e l y   s c a l e d   u p .   C r o w d s o u r c i n g ,   s u c h   a s   s e e n   i n   o n l i n e   c i t i z e n   s c i e n c e   p r o j e c t s ,   m i g h t   i n s p i r e   n e w   a p p r o a c h e s   t o   u p s c a l e   f a r m e r - p a r t i c i p a t o r y   s e e d   i n n o v a t i o n ,   s p e c i f i c a l l y   a i m i n g   a t   h o u s e h o l d   f o o d   p r o d u c t i o n .   U s i n g   m o b i l e   t e c h n o l o g y ,   A f r i c a n   f a r m e r s   m a y   b e   e n g a g e d   i n   m a s s i v e l y   e v a l u a t i n g   a n d   d i s t r i b u t i n g   s e e d s .   I t   i s   a r g u e d   t h a t   a   c r o w d s o u r c i n g   a p p r o a c h   t o   s e e d   i n n o v a t i o n   w o u l d   n o t   o n l y   b e   s c a l a b l e ,   b u t   a l s o   i n c l u s i v e   t h r o u g h   t h e   s t r e n g t h e n i n g   o f   c r o p   d i v e r s i t y   a s   a n   o p e n   i n f o r m a t i o n a l   r e s o u r c e . 	 [ v a n   E t t e n ,   J a c o b ]   I E   U n i v ,   M a d r i d ,   S p a i n ;   [ v a n   E t t e n ,   J a c o b ]   I E   U n i v ,   S e g o v i a ,   S p a i n 	 v a n   E t t e n ,   J   ( r e p r i n t   a u t h o r ) ,   I E   U n i v ,   M a d r i d ,   S p a i n . 	 	 	 	 	 	 A k e r   J C ,   2 0 1 0 ,   J   E C O N   P E R S P E C T ,   V 2 4 ,   P 2 0 7 ,   D O I   1 0 . 1 2 5 7 / j e p . 2 4 . 3 . 2 0 7 ;   A n d e r s o n   C . ,   2 0 0 6 ,   L O N G   T A I L   W H Y   F U T U R E ;   B r u s h   S .   B . ,   2 0 0 5 ,   W A S H I N G T O N   U   J   L A W   P ,   V 1 7 ,   P 5 9 ;   C l e v e l a n d   D A ,   2 0 0 0 ,   E C O N   B O T ,   V 5 4 ,   P 3 7 7 ,   D O I   1 0 . 1 0 0 7 / B F 0 2 8 6 4 7 8 8 ;   D e n n i n g   G ,   2 0 0 9 ,   P L O S   B I O L ,   V 7 ,   P 2 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p b i o . 1 0 0 0 0 2 3 ;   D i   F a l c o   S ,   2 0 1 0 ,   E C O L   E C O N ,   V 6 9 ,   P 1 6 9 5 ,   D O I   1 0 . 1 0 1 6 / j . e c o l e c o n . 2 0 1 0 . 0 3 . 0 2 4 ;   D u v i c k   D N ,   1 9 9 6 ,   C R O P   S C I ,   V 3 6 ,   P 5 3 9 ;   F r i s o n   E A ,   2 0 1 1 ,   S U S T A I N A B I L I T Y - B A S E L ,   V 3 ,   P 2 3 8 ,   D O I   1 0 . 3 3 9 0 / s u 3 0 1 0 2 3 8 ;   F u r n k r a n z   J ,   2 0 1 0 ,   P R E F E R E N C E   L E A R N I N G ,   P 1 ;   G U A R I N O   L ,   2 0 0 9 ,   A G R   B I O D I V E R S I T Y   B L O ;   H a n d   E ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 6 8 5 ,   D O I   1 0 . 1 0 3 8 / 4 6 6 6 8 5 a ;   H e n r i c h   J ,   2 0 0 1 ,   A M   A N T H R O P O L ,   V 1 0 3 ,   P 9 9 2 ,   D O I   1 0 . 1 5 2 5 / a a . 2 0 0 1 . 1 0 3 . 4 . 9 9 2 ;   M a r t i n   G . J . ,   2 0 0 4 ,   E T H N O B O T A N Y   M E T H O D S ;   M c G u i r e   S . ,   2 0 0 5 ,   T H E S I S   W A G E N I N G E N   U ;   M o r r i s   M .   L . ,   1 9 9 8 ,   M A I Z E   S E E D   I N D   D E V   C ;   N u i j t e n   E ,   2 0 1 0 ,   J   P O L I T I C A L   E C O L O G Y ,   V 1 7 ,   P 4 2 ;   N u i j t e n   E ,   2 0 0 5 ,   T H E S I S   W A G E N I N G E N   U ;   P u c c i o   G J ,   2 0 0 1 ,   P E R C E P T   M O T O R   S K I L L ,   V 9 2 ,   P 6 7 5 ,   D O I   1 0 . 2 4 6 6 / P M S . 9 2 . 3 . 6 7 5 - 6 8 1 ;   R i c h a r d s   P . ,   1 9 9 9 ,   C U L T U R A L   S P I R I T U A L   V ;   R I C H A R D S   P ,   2 0 0 9 ,   F A R M E R   1   R E V I S I T E D   I ;   R i c h a r d s   P ,   2 0 0 9 ,   I N T   J   T E C H N O L   M A N A G E ,   V 4 5 ,   P 1 9 6 ,   D O I   1 0 . 1 5 0 4 / I J T M . 2 0 0 9 . 0 2 1 5 2 8 ;   R i c h a r d s   P ,   1 9 8 6 ,   C O P I N G   H U N G E R   H A Z A R D ;   S i a r t   S . ,   2 0 0 8 ,   S T R E N G T H E N I N G   L O C A L ;   S p e r l i n g   L ,   2 0 1 0 ,   E X P   A G R ,   V 4 6 ,   P 1 1 9 ,   D O I   1 0 . 1 0 1 7 / S 0 0 1 4 4 7 9 7 0 9 9 9 1 0 7 4 ;   S T I G L I T Z   J E ,   1 9 8 9 ,   A M   E C O N   R E V ,   V 7 9 ,   P 1 9 7 ;   S t o n e   G D ,   2 0 0 7 ,   C U R R   A N T H R O P O L ,   V 4 8 ,   P 6 7 ,   D O I   1 0 . 1 0 8 6 / 5 0 8 6 8 9 ;   T A B O   R ,   2 0 0 7 ,   A D V   I N T E G R A T E D   S O I L ;   V o n   H i p p e l   E . ,   2 0 0 5 ,   J   T E C H N O L O G Y   T R A N S F E ,   V 3 0 ,   P 7 3 ;   V O N B R A U N   J ,   1 9 8 6 ,   1   I N T   F O O D   P O L   R E S   I ;   v o n   K r o g h   G ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 9 7 5 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 6 0 	 3 0 	 3 	 3 	 W I L E Y - B L A C K W E L L 	 M A L D E N 	 C O M M E R C E   P L A C E ,   3 5 0   M A I N   S T ,   M A L D E N   0 2 1 4 8 ,   M A   U S A 	 0 2 6 5 - 5 0 1 2 	 	 	 I D S   B U L L - I   D E V   S T U D 	 I D S   B u l l . - I n s t .   D e v .   S t u d . 	 J U L 	 2 0 1 1 	 4 2 	 4 	 	 	 S I 	 	 1 0 2 	 1 1 0 	 	 1 0 . 1 1 1 1 / j . 1 7 5 9 - 5 4 3 6 . 2 0 1 1 . 0 0 2 4 0 . x 	 	 9 	 A r e a   S t u d i e s ;   P l a n n i n g   &   D e v e l o p m e n t 	 A r e a   S t u d i e s ;   P u b l i c   A d m i n i s t r a t i o n 	 7 8 4 O O 	 W O S : 0 0 0 2 9 2 1 6 6 8 0 0 0 0 9 	 	 
 J 	 L u t z ,   R J 	 	 	 	 L u t z ,   R i c h a r d   J . 	 	 	 M a r k e t i n g   S c h o l a r s h i p   2 . 0 	 J O U R N A L   O F   M A R K E T I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 s c h o l a r s h i p ;   o p e n   s o u r c e ;   W e b   2 . 0 ;   a c a d e m i c s ;   p r a c t i t i o n e r s 	 	 T h e   s y s t e m   f o r   t h e   d e s i g n ,   p r o d u c t i o n ,   a n d   d i s s e m i n a t i o n   o f   m a r k e t i n g   s c h o l a r s h i p   a i m e d   a t   c o n t r i b u t i n g   t o   m a r k e t i n g   p r a c t i c e   i s   u n d e r   i n c r e a s i n g   s t r a i n   d u e   t o   p r e s s u r e s   e x e r t e d   b y   g l o b a l i z a t i o n ,   d i g i t i z a t i o n ,   a n d   e n v i r o n m e n t a l i s m .   S c h o l a r l y   r e s e a r c h   i n   m a r k e t i n g   a d h e r e s   l a r g e l y   t o   a   t w e n t i e t h - c e n t u r y   m a n u f a c t u r i n g   m o d e l .   C h a n g e   i s   n e e d e d   n o w .   M a r k e t i n g   s c h o l a r s h i p   c a n   b e n e f i t   f r o m   e m b r a c i n g   a   t w e n t y - f i r s t - c e n t u r y ,   c o l l a b o r a t i v e   a p p r o a c h   t o   t h e   c o n c e p t i o n ,   d e s i g n ,   a n d   d i s s e m i n a t i o n   o f   r e s e a r c h .   " C r o w d s o u r c i n g "   i s   b e c o m i n g   a   f r e q u e n t l y   e m p l o y e d   s t r a t e g y   i n   i n d u s t r y .   M a r k e t i n g   a c a d e m e   s h o u l d   a d o p t   s o m e   o f   t h e   s a m e   t e c h n i q u e s   a n d   t e c h n o l o g i e s   t o   m a k e   s t r o n g e r   r e s e a r c h   c o n t r i b u t i o n s   t h a t   w i l l   b e n e f i t   m a r k e t i n g   p r a c t i c e .   I n   p a r t i c u l a r ,   m o r e   c o l l a b o r a t i o n   i s   n e e d e d ,   b o t h   a m o n g   a c a d e m i c   r e s e a r c h e r s   a n d   b e t w e e n   a c a d e m e   a n d   i n d u s t r y ,   t o   b e   s u r e   i m p o r t a n t   p r o b l e m s   a r e   b e i n g   i n v e s t i g a t e d   u s i n g   s o u n d   t h e o r i e s   a n d   m e t h o d s .   A n   o p e n ,   c o l l a b o r a t i v e   m o d e l   w i l l   a l l o w   t h e   f i e l d   t o   e v o l v e   f r o m   M a r k e t i n g   S c h o l a r s h i p   1 . 0   t o   M a r k e t i n g   S c h o l a r s h i p   2 . 0 . 	 U n i v   F l o r i d a ,   W a r r i n g t o n   C o l l   B u s i n e s s ,   G a i n e s v i l l e ,   F L   3 2 6 1 1   U S A 	 L u t z ,   R J   ( r e p r i n t   a u t h o r ) ,   U n i v   F l o r i d a ,   W a r r i n g t o n   C o l l   B u s i n e s s ,   G a i n e s v i l l e ,   F L   3 2 6 1 1   U S A . 	 R i c h a r d . l u t z @ w a r r i n g t o n . u f l . e d u 	 c h e n ,   j u a n / E - 8 4 4 1 - 2 0 1 4 	 	 	 	 A r m s t r o n g   J S ,   2 0 0 3 ,   J   B U S   R E S ,   V 5 6 ,   P 6 9 ,   D O I   1 0 . 1 0 1 6 / S 0 1 4 8 - 2 9 6 3 ( 0 2 ) 0 0 3 8 6 - 7 ;   B A L D W I N   C ,   2 0 0 9 ,   L E A R N   P U B L ,   V 1 3 ,   P 2 2 9 ;   B e l k   R ,   2 0 1 0 ,   J   C O N S U M   R E S ,   V 3 6 ,   P 7 1 5 ,   D O I   1 0 . 1 0 8 6 / 6 1 2 6 4 9 ;   B j o r k   B . C . ,   2 0 0 9 ,   J   E L E C T   P U B L I S H I N G ,   V 1 2 ;   C h u i   M . ,   2 0 0 9 ,   M C K I N S E Y   Q               F E B ;   D A N I E L   C A ,   2 0 0 9 ,   C H R O N I C L E   H I G H E   1 1 0 8 ;   D A Y   G S ,   1 9 8 8 ,   J   M A R K E T I N G ,   V 5 2 ,   P 1 ,   D O I   1 0 . 2 3 0 7 / 1 2 5 1 2 6 1 ;   G A B O R   A ,   2 0 0 9 ,   S T R A T E G Y   B U S I N E S S ,   V 5 6 ,   P 2 4 ;   G r a y   B .   J . ,   2 0 0 5 ,   M A R K E T I N G   I N T E L L I G E N ,   V 2 3 ,   P 1 2 4 ,   D O I   1 0 . 1 1 0 8 / 0 2 6 3 4 5 0 0 5 1 0 5 8 9 8 9 5 ;   H a r n a d   S ,   2 0 0 8 ,   S E R I A L S   R E V ,   V 3 4 ,   P 3 6 ,   D O I   1 0 . 1 0 1 6 / j . s e r r e v . 2 0 0 7 . 1 2 . 0 0 5 ;   H a r n a d   S ,   1 9 9 6 ,   S C H O L A R L Y   P U B L ,   P 1 0 3 ;   H A R N A D   S ,   2 0 0 2 ,   E X P L O I T   I N T E R A C T I V E ,   V 5 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   J o h n s o n   E J ,   2 0 0 1 ,   J   C O N S U M   R E S ,   V 2 8 ,   P 3 3 1 ,   D O I   1 0 . 1 0 8 6 / 3 2 2 9 0 8 ;   L a w r e n c e   S ,   2 0 0 1 ,   N A T U R E ,   V 4 1 1 ,   P 5 2 1 ,   D O I   1 0 . 1 0 3 8 / 3 5 0 7 9 1 5 1 ;   L E E   E ,   2 0 1 0 ,   A D V E R T I S I N G   A G E   0 6 2 8 ;   L y n c h   J G ,   1 9 9 8 ,   A D V   C O N S U M   R E S ,   V 2 5 ,   P 1 ;   * M A R K E T I N G P O W E R ,   2 0 1 0 ,   J   M A R K E T I N G   M O S T   C I T ;   * M A R K E T I N G P O W E R ,   2 0 1 0 ,   J   M A R K E T I N G   R E S   M O S T ;   M a r o n   N .   L . ,   2 0 0 9 ,   J   E L E C T   P U B L I S H I N G ,   V 1 2 ;   M C F A D D E N   G ,   2 0 0 9 ,   U   F L O R   O P   A C C   W E E K   G ;   M C K A Y   P ,   2 0 0 9 ,   C O M M U N I C A T I O N         S E P ;   M o n t g o m e r y   C .   H . ,   2 0 0 2 ,   D   L I B   M A G A Z I N E ,   V 8 ;   P a r k   C W ,   2 0 1 0 ,   J   C O N S U M   P S Y C H O L ,   V 2 0 ,   P 1 0 5 ,   D O I   1 0 . 1 0 1 6 / j . j c p s . 2 0 1 0 . 0 3 . 0 0 7 ;   R e i b s t e i n   D J ,   2 0 0 9 ,   J   M A R K E T I N G ,   V 7 3 ,   P 1 ;   S O L O M O N   D J ,   2 0 0 2 ,   1   M O N D A Y                   A U G ,   V 7 ;   S u b e r   P . ,   2 0 0 9 ,   J   E L E C T   P U B L I S H I N G ,   V 1 2 ;   * T H E I N D Y C H A N N E L ,   2 0 0 9 ,   I N D   B R O T H   W I N   1   M I L L ;   W E I N E R   G ,   2 0 0 1 ,   E D   P O L I C Y   A N A L   A R C H ,   V 9 ;   W e l l e r   A C ,   2 0 0 0 ,   J   A M   S O C   I N F O R M   S C I ,   V 5 1 ,   P 1 3 2 8 ,   D O I   1 0 . 1 0 0 2 / 1 0 9 7 - 4 5 7 1 ( 2 0 0 0 ) 9 9 9 9 : 9 9 9 9 < : : A I D - A S I 1 0 4 9 > 3 . 0 . C O ; 2 - N 	 3 0 	 3 	 4 	 A M E R   M A R K E T I N G   A S S O C 	 C H I C A G O 	 3 1 1 S   W A C K E R   D R ,   S T E   5 8 0 0 ,   C H I C A G O ,   I L   6 0 6 0 6 - 6 6 2 9   U S A 	 0 0 2 2 - 2 4 2 9 	 	 	 J   M A R K E T I N G 	 J .   M a r k . 	 J U L 	 2 0 1 1 	 7 5 	 4 	 	 	 	 	 2 2 5 	 2 3 4 	 	 	 	 1 0 	 B u s i n e s s 	 B u s i n e s s   &   E c o n o m i c s 	 7 8 3 F B 	 W O S : 0 0 0 2 9 2 0 6 5 8 0 0 0 1 9 	 	 
 J 	 N o r m a n ,   T C ;   B o u n t r a ,   C ;   E d w a r d s ,   A M ;   Y a m a m o t o ,   K R ;   F r i e n d ,   S H 	 	 	 	 N o r m a n ,   T h e a   C . ;   B o u n t r a ,   C h a s ;   E d w a r d s ,   A l e d   M . ;   Y a m a m o t o ,   K e i t h   R . ;   F r i e n d ,   S t e p h e n   H . 	 	 	 L e v e r a g i n g   C r o w d s o u r c i n g   t o   F a c i l i t a t e   t h e   D i s c o v e r y   o f   N e w   M e d i c i n e s 	 S C I E N C E   T R A N S L A T I O N A L   M E D I C I N E 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 	 	 G l o o m y   p r e d i c t i o n s   a b o u t   t h e   f u t u r e   o f   p h a r m a   h a v e   f o r c e d   t h e   i n d u s t r y   t o   i n v e s t i g a t e   a l t e r n a t i v e   m o d e l s   o f   d r u g   d i s c o v e r y .   P u b l i c - p r i v a t e   p a r t n e r s h i p s   ( P P P s )   h a v e   t h e   p o t e n t i a l   t o   r e v i t a l i z e   t h e   d i s c o v e r y   a n d   d e v e l o p m e n t   o f   f i r s t - i n - c l a s s   t h e r a p e u t i c s .   T h e   n e w   P P P   A r c h 2 P O C M   h o p e s   t o   f o s t e r   b i o m e d i c a l   i n n o v a t i o n   t h r o u g h   p r e c o m p e t i t i v e   v a l i d a t i o n   o f   p i o n e e r   t h e r a p e u t i c   t a r g e t s   f o r   h u m a n   d i s e a s e s .   I n   t h i s   m e e t i n g   r e p o r t ,   w e   c a p t u r e   i n s i g h t s   g a r n e r e d   f r o m   t h e   A p r i l   2 0 1 1   A r c h 2 P O C M   c o n f e r e n c e . 	 [ F r i e n d ,   S t e p h e n   H . ]   S a g e   B i o n e t w o r k s ,   S e a t t l e ,   W A   9 8 1 0 9   U S A ;   [ N o r m a n ,   T h e a   C . ]   I n d e p e n d e n t ,   S a n   D i e g o ,   C A   9 2 1 0 2   U S A ;   [ B o u n t r a ,   C h a s ]   U n i v   O x f o r d ,   S t r u c t   G e n o m   C o n s o r t i u m ,   O x f o r d   O X 3   7 D Q ,   E n g l a n d ;   [ E d w a r d s ,   A l e d   M . ]   U n i v   T o r o n t o ,   S t r u c t   G e n o m   C o n s o r t i u m ,   T o r o n t o ,   O N   M 5 G   1 L 7 ,   C a n a d a ;   [ Y a m a m o t o ,   K e i t h   R . ]   U n i v   C a l i f   S a n   F r a n c i s c o ,   S a n   F r a n c i s c o ,   C A   9 4 1 4 3   U S A 	 F r i e n d ,   S H   ( r e p r i n t   a u t h o r ) ,   S a g e   B i o n e t w o r k s ,   S e a t t l e ,   W A   9 8 1 0 9   U S A . 	 f r i e n d @ s a g e b a s e . o r g 	 	 	 	 	 A l t s h u l e r   J S ,   2 0 1 0 ,   S C I   T R A N S L   M E D ,   V 2 ,   D O I   1 0 . 1 1 2 6 / s c i t r a n s l m e d . 3 0 0 1 5 1 5 ;   B e n k l e r   Y o c h a i ,   2 0 0 6 ,   W E A L T H   N E T W O R K S ;   D i M a s i   J A ,   2 0 0 3 ,   J   H E A L T H   E C O N ,   V 2 2 ,   P 1 5 1 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 7 - 6 2 9 6 ( 0 2 ) 0 0 1 2 6 - 1 ;   F R I E N D   S ,   2 0 1 1 ,   A R C H 2 P O C M   M   S A N   F R A N ;   G o l d m a n   M ,   2 0 1 1 ,   N A T   R E V   D R U G   D I S C O V ,   V 1 0 ,   P 3 2 1 ,   D O I   1 0 . 1 0 3 8 / n r d 3 4 3 4 ;   M E G G E T   K ,   2 0 1 1 ,   O N L I N E   P H A R M   T I   0 1 2 1 ;   N o r m a n   T ,   2 0 1 1 ,   S C I   T R A N S L   M E D ,   V 3 ,   D O I   1 0 . 1 1 2 6 / s c i t r a n s l m e d . 3 0 0 2 3 9 9 ;   R O C K O F F   J D ,   2 0 1 1 ,   W A L L   S T R E E T   J       0 3 1 7 ;   T a p s c o t t   D . ,   2 0 0 6 ,   W I K I N O M I C S   M A S S   C O L L ;   2 0 1 1 ,   G L O B A L D A T A   R E P O   0 5 0 6 	 1 0 	 1 2 	 1 2 	 A M E R   A S S O C   A D V A N C E M E N T   S C I E N C E 	 W A S H I N G T O N 	 1 2 0 0   N E W   Y O R K   A V E ,   N W ,   W A S H I N G T O N ,   D C   2 0 0 0 5   U S A 	 1 9 4 6 - 6 2 3 4 	 	 	 S C I   T R A N S L   M E D 	 S c i .   T r a n s l .   M e d . 	 J U N   2 2 	 2 0 1 1 	 3 	 8 8 	 	 	 	 	 	 	 8 8 m r 1 	 1 0 . 1 1 2 6 / s c i t r a n s l m e d . 3 0 0 2 6 7 8 	 	 3 	 C e l l   B i o l o g y ;   M e d i c i n e ,   R e s e a r c h   &   E x p e r i m e n t a l 	 C e l l   B i o l o g y ;   R e s e a r c h   &   E x p e r i m e n t a l   M e d i c i n e 	 7 9 5 N V 	 W O S : 0 0 0 2 9 2 9 8 1 8 0 0 0 0 6 	 2 1 6 9 7 5 2 7 	 
 J 	 Z h e n g ,   H C ;   L i ,   D H ;   H o u ,   W H 	 	 	 	 Z h e n g ,   H a i c h a o ;   L i ,   D a h u i ;   H o u ,   W e n h u a 	 	 	 T a s k   D e s i g n ,   M o t i v a t i o n ,   a n d   P a r t i c i p a t i o n   i n   C r o w d s o u r c i n g   C o n t e s t s 	 I N T E R N A T I O N A L   J O U R N A L   O F   E L E C T R O N I C   C O M M E R C E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 A n a l y z a b i l i t y ;   a u t o n o m y ;   c o - c r e a t i o n ;   c r o w d s o u r c i n g ;   e x t r i n s i c   m o t i v a t i o n ;   i n t r i n s i c   m o t i v a t i o n ;   t a c i t n e s s ;   t a s k   d e s i g n ;   v a r i a b i l i t y 	 J O B   C H A R A C T E R I S T I C S ;   I N N O V A T I O N   C O N T E S T S ;   E L E C T R O N I C   C O M M E R C E ;   I D E A S   C O M P E T I T I O N ;   V I R T U A L   C O M M U N I T Y ;   C O - C R E A T I O N ;   K N O W L E D G E ;   T O U R N A M E N T S ;   P E R F O R M A N C E ;   T R U S T 	 F i r m s   c a n   s e e k   i n n o v a t i v e   e x t e r n a l   i d e a s   a n d   s o l u t i o n s   t o   b u s i n e s s   t a s k s   b y   s p o n s o r i n g   c o - c r e a t i o n   a c t i v i t i e s   s u c h   a s   c r o w d s o u r c i n g .   T o   g e t   o p t i m a l   s o l u t i o n s   f r o m   c r o w d s o u r c i n g   c o n t e s t   p a r t i c i p a n t s ,   f i r m s   n e e d   t o   i m p r o v e   t a s k   d e s i g n   a n d   m o t i v a t e   c o n t e s t   s o l v e r s '   p a r t i c i p a t i o n   i n   t h e   c o - c r e a t i o n   p r o c e s s .   B a s e d   o n   t h e   t h e o r y   o f   e x t r i n s i c   a n d   i n t r i n s i c   m o t i v a t i o n   a s   w e l l   a s   t h e   t h e o r y   o f   j o b   d e s i g n ,   w e   d e v e l o p e d   a   r e s e a r c h   m o d e l   t o   e x p l a i n   p a r t i c i p a t i o n   i n   c r o w d s o u r c i n g   c o n t e s t s ,   a s   w e l l   a s   t h e   e f f e c t s   o f   t a s k   a t t r i b u t e s   o n   i n t r i n s i c   m o t i v a t i o n .   S u b j e c t i v e   a n d   o b j e c t i v e   d a t a   w e r e   c o l l e c t e d   f r o m   2 8 3   c o n t e s t   s o l v e r s   a t   t w o   d i f f e r e n t   t i m e   p o i n t s .   W e   f o u n d   t h a t   i n t r i n s i c   m o t i v a t i o n   w a s   m o r e   i m p o r t a n t   t h a n   e x t r i n s i c   m o t i v a t i o n   i n   i n d u c i n g   p a r t i c i p a t i o n .   C o n t e s t   a u t o n o m y ,   v a r i e t y ,   a n d   a n a l y z a b i l i t y   w e r e   p o s i t i v e l y   a s s o c i a t e d   w i t h   i n t r i n s i c   m o t i v a t i o n ,   w h e r e a s   c o n t e s t   t a c i t n e s s   w a s   n e g a t i v e l y   a s s o c i a t e d   w i t h   i n t r i n s i c   m o t i v a t i o n .   T h e   f i n d i n g s   s u g g e s t   a   b a l a n c e d   v i e w   o f   e x t r i n s i c   a n d   i n t r i n s i c   m o t i v a t i o n   i n   o r d e r   t o   e n c o u r a g e   p a r t i c i p a t i o n   i n   c r o w d s o u r c i n g .   W e   a l s o   s u g g e s t   t h a t   c r o w d s o u r c i n g   c o n t e s t   t a s k s   s h o u l d   p r e f e r a b l y   b e   h i g h l y   a u t o n o m o u s ,   e x p l i c i t l y   s p e c i f i e d ,   a n d   l e s s   c o m p l e x ,   a s   w e l l   a s   r e q u i r e   a   v a r i e t y   o f   s k i l l s . 	 [ Z h e n g ,   H a i c h a o ]   S W   U n i v   F i n a n c e   &   E c o n ,   F i n a n c i a l   I n t e l l i g e n c e   &   F i n a n c i a l   E n g n   R e s   C t r ,   C h e n g d u ,   P e o p l e s   R   C h i n a ;   [ Z h e n g ,   H a i c h a o ;   L i ,   D a h u i ]   U n i v   M i n n e s o t a   D u l u t h ,   M I S ,   D u l u t h ,   M N   U S A ;   [ H o u ,   W e n h u a ]   N a n k a i   U n i v ,   T i a n j i n ,   P e o p l e s   R   C h i n a 	 Z h e n g ,   H C   ( r e p r i n t   a u t h o r ) ,   U n i v   M i n n e s o t a   D u l u t h ,   M I S ,   D u l u t h ,   M N   U S A . 	 h a i c h a o z h e n g @ y a h o o . c n ;   d l i @ d . u m n . e d u ;   w h h o u @ n a n k a i . e d u . c n 	 	 	 N a t i o n a l   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   [ 7 1 0 7 1 0 8 0 ] 	 T h i s   r e s e a r c h   w a s   s u p p o r t e d   b y   N a t i o n a l   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   G r a n t   n o .   7 1 0 7 1 0 8 0 . 	 A J Z E N   I ,   1 9 9 1 ,   O R G A N   B E H A V   H U M   D E C ,   V 5 0 ,   P 1 7 9 ,   D O I   1 0 . 1 0 1 6 / 0 7 4 9 - 5 9 7 8 ( 9 1 ) 9 0 0 2 0 - T ;   A l a v i   M ,   2 0 0 1 ,   M I S   Q U A R T ,   V 2 5 ,   P 1 0 7 ,   D O I   1 0 . 2 3 0 7 / 3 2 5 0 9 6 1 ;   A l e x a n d r i s   K ,   2 0 0 7 ,   J   L E I S U R E   R E S ,   V 3 9 ,   P 6 4 8 ;   A M A B I L E   T M ,   1 9 9 4 ,   J   P E R S   S O C   P S Y C H O L ,   V 6 6 ,   P 9 5 0 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 6 6 . 5 . 9 5 0 ;   A R C H A K   N ,   2 0 0 9 ,   P   1 3   I N T   C   I N F   S Y S T ;   A r c h a k   N . ,   2 0 1 0 ,   P   1 9   I N T   C   W O R L D   W I D ,   P 2 1 ,   D O I   1 0 . 1 1 4 5 / 1 7 7 2 6 9 0 . 1 7 7 2 6 9 4 ;   A r g y r e s   N S ,   2 0 0 4 ,   S T R A T E G I C   M A N A G E   J ,   V 2 5 ,   P 9 2 9 ,   D O I   1 0 . 1 0 0 2 / s m j . 3 8 7 ;   B L O H M   I ,   2 0 1 0 ,   P   4 3   A N N   H A W   I N T   C   S ;   B r a b h a m   D C ,   2 0 1 0 ,   I N F O R M   C O M M U N   S O C ,   V 1 3 ,   P 1 1 2 2 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 1 0 0 3 6 2 4 0 9 0 ;   C A M P B E L L   D J ,   1 9 8 8 ,   A C A D   M A N A G E   R E V ,   V 1 3 ,   P 4 0 ,   D O I   1 0 . 2 3 0 7 / 2 5 8 3 5 3 ;   C A M P I O N   M A ,   1 9 8 8 ,   J   A P P L   P S Y C H O L ,   V 7 3 ,   P 4 6 7 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 1 - 9 0 1 0 . 7 3 . 3 . 4 6 7 ;   C h a n g   R D ,   2 0 0 3 ,   I N F O R M   M A N A G E - A M S T E R ,   V 4 0 ,   P 6 9 1 ,   D O I   1 0 . 1 0 1 6 / S 0 3 7 8 - 7 2 0 6 ( 0 2 ) 0 0 0 9 7 - 6 ;   C h e n   Y ,   2 0 1 0 ,   J   P U B L I C   E C O N   T H E O R Y ,   V 1 2 ,   P 6 4 1 ;   C h e s b r o u g h   H . ,   2 0 0 6 ,   O P E N   B U S I N E S S   M O D E L S ;   C h e s b r o u g h   H . ,   2 0 0 3 ,   O P E N   I N N O V A T I O N   N E W ;   C h i n   W .   W . ,   1 9 9 8 ,   M I S   Q ,   V 2 2 ,   P 7 ;   C O E L H O   F . ,   2 0 0 8 ,   J   S T R A T E G I C   M A R K E T I N ,   V 1 6 ,   P 1 5 7 ,   D O I   1 0 . 1 0 8 0 / 0 9 6 5 2 5 4 0 8 0 1 9 8 1 5 9 5 ;   C o r d e r y   J L ,   2 0 1 0 ,   J   O R G A N   B E H A V ,   V 3 1 ,   P 2 4 0 ,   D O I   1 0 . 1 0 0 2 / j o b . 6 5 7 ;   D a v e n p o r t   T . H . ,   1 9 9 8 ,   W O R K I N G   K N O W L E D G E   O R ;   D e c i   E .   L . ,   1 9 8 5 ,   I N T R I N S I C   M O T I V A T I O N ;   D e c i   E L ,   1 9 7 5 ,   I N T R I N S I C   M O T I V A T I O N ;   D i P a l a n t i n o   D . ,   2 0 0 9 ,   P   1 0   A C M   C   E L   C O M M ,   P 1 1 9 ,   D O I   1 0 . 1 1 4 5 / 1 5 6 6 3 7 4 . 1 5 6 6 3 9 2 ;   E b n e r   W ,   2 0 0 9 ,   R & D   M A N A G E ,   V 3 9 ,   P 3 4 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 9 . 0 0 5 6 4 . x ;   F O R N E L L   C ,   1 9 8 1 ,   J   M A R K E T I N G   R E S ,   V 1 8 ,   P 3 9 ,   D O I   1 0 . 2 3 0 7 / 3 1 5 1 3 1 2 ;   F R I E D   Y ,   1 9 8 7 ,   P E R S   P S Y C H O L ,   V 4 0 ,   P 2 8 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 4 4 - 6 5 7 0 . 1 9 8 7 . t b 0 0 6 0 5 . x ;   F u l l e r   J ,   2 0 1 0 ,   C A L I F   M A N A G E   R E V ,   V 5 2 ,   P 9 8 ;   F u l l e r t o n   R L ,   1 9 9 9 ,   J   P O L I T   E C O N ,   V 1 0 7 ,   P 5 7 3 ,   D O I   1 0 . 1 0 8 6 / 2 5 0 0 7 2 ;   F u l l e r t o n   R L ,   2 0 0 2 ,   R A N D   J   E C O N ,   V 3 3 ,   P 6 2 ,   D O I   1 0 . 2 3 0 7 / 2 6 9 6 3 7 5 ;   G a l b r a i t h   J . ,   1 9 7 7 ,   O R G   D E S I G N ;   G e l d e r m a n   M ,   2 0 0 2 ,   I N F O R M   M A N A G E - A M S T E R ,   V 3 9 ,   P 5 9 3 ,   D O I   1 0 . 1 0 1 6 / S 0 3 7 8 - 7 2 0 6 ( 0 1 ) 0 0 1 2 4 - 0 ;   H a c k m a n   J .   R . ,   1 9 8 0 ,   W O R K   R E D E S I G N ;   H A C K M A N   J R ,   1 9 7 6 ,   O R G A N   B E H A V   H U M   P E R F ,   V 1 6 ,   P 2 5 0 ,   D O I   1 0 . 1 0 1 6 / 0 0 3 0 - 5 0 7 3 ( 7 6 ) 9 0 0 1 6 - 7 ;   H a r s   A ,   2 0 0 2 ,   I N T   J   E L E C T R O N   C O M M ,   V 6 ,   P 2 5 ;   H A U T Z   J ,   2 0 1 0 ,   P   4 3   A N N   H A W   I N T   C   S ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   J a n g   H ,   2 0 0 8 ,   I N T   J   E L E C T R O N   C O M M ,   V 1 2 ,   P 5 7 ,   D O I   1 0 . 2 7 5 3 / J E C 1 0 8 6 - 4 4 1 5 1 2 0 3 0 4 ;   J e p p e s e n   L B ,   2 0 1 0 ,   O R G A N   S C I ,   V 2 1 ,   P 1 0 1 6 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 9 0 . 0 4 9 1 ;   J e p p e s e n   L B ,   2 0 0 6 ,   O R G A N   S C I ,   V 1 7 ,   P 4 5 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 5 0 . 0 1 5 6 ;   K a n k a n h a l l i   A ,   2 0 0 5 ,   J   A M   S O C   I N F   S C I   T E C ,   V 5 6 ,   P 1 1 5 6 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 0 2 1 9 ;   K e   W L ,   2 0 0 9 ,   I N T   J   E L E C T R O N   C O M M ,   V 1 3 ,   P 3 9 ,   D O I   1 0 . 2 7 5 3 / J E C 1 0 8 6 - 4 4 1 5 1 3 0 4 0 3 ;   K i m   D J ,   2 0 0 8 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 4 ,   P 5 4 4 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 7 . 0 7 . 0 0 1 ;   K o h   J ,   2 0 0 3 ,   I N T   J   E L E C T R O N   C O M M ,   V 8 ,   P 7 5 ;   L a k h a n i   K .   R . ,   2 0 0 7 ,   0 7 0 5 0   H A R V   B U S   S C H ;   L e i m e i s t e r   J M ,   2 0 0 9 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 6 ,   P 1 9 7 ,   D O I   1 0 . 2 7 5 3 / M I S 0 7 4 2 - 1 2 2 2 2 6 0 1 0 8 ;   L i   D ,   2 0 1 0 ,   C O M M U N I C A T I O N S   A S S   I ,   V 2 6 ,   P 8 5 ;   L i n d e g a a r d   S ,   2 0 1 0 ,   O P E N   I N N O V A T I O N   R E V O ;   M a l o n e   T . W . ,   1 9 8 7 ,   A P T I T U D E   L E A R N I N G   I N ,   V 3 ,   P 2 2 3 ;   M c K n i g h t   D H ,   2 0 0 2 ,   I N F O R M   S Y S T   R E S ,   V 1 3 ,   P 3 3 4 ,   D O I   1 0 . 1 2 8 7 / i s r e . 1 3 . 3 . 3 3 4 . 8 1 ;   M o r g a n   J ,   2 0 1 0 ,   C A L I F   M A N A G E   R E V ,   V 5 2 ,   P 7 7 ;   M o r g e s o n   F P ,   2 0 0 6 ,   J   A P P L   P S Y C H O L ,   V 9 1 ,   P 1 3 2 1 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 1 - 9 0 1 0 . 9 1 . 6 . 1 3 2 1 ;   N o n a k a   I . ,   1 9 9 5 ,   K N O W L E D G E   C R E A T I N G   C ;   N O N A K A   I ,   1 9 9 4 ,   O R G A N   S C I ,   V 5 ,   P 1 4 ,   D O I   1 0 . 1 2 8 7 / o r s c . 5 . 1 . 1 4 ;   N u n e z   A l b a   N . ,   2 0 0 9 ,   J o u r n a l   o f   E n t e r p r i s e   I n f o r m a t i o n   M a n a g e m e n t ,   V 2 2 ,   D O I   1 0 . 1 1 0 8 / 1 7 4 1 0 3 9 0 9 1 0 9 4 9 7 6 0 ;   P E R R O W   C ,   1 9 6 7 ,   A M   S O C I O L   R E V ,   V 3 2 ,   P 1 9 4 ,   D O I   1 0 . 2 3 0 7 / 2 0 9 1 8 1 1 ;   R o b e r t s   J A ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 9 8 4 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 5 4 ;   R o g e r s   E .   M ,   1 9 9 5 ,   D I F F I T S I O N   I N N O V A T I O ;   R O S E N   J ,   2 0 0 7 ,   P R E S S T H I N K             1 0 0 9 ;   S c h o t t n e r   A ,   2 0 0 8 ,   E C O N   T H E O R ,   V 3 5 ,   P 5 7 ,   D O I   1 0 . 1 0 0 7 / s 0 0 1 9 9 - 0 0 7 - 0 2 0 8 - 9 ;   S e n   R ,   2 0 0 8 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 5 ,   P 2 0 7 ,   D O I   1 0 . 2 7 5 3 / M I S 0 7 4 2 - 1 2 2 2 2 5 0 3 0 6 ;   S I M S   H P ,   1 9 7 6 ,   A C A D   M A N A G E   J ,   V 1 9 ,   P 1 9 5 ,   D O I   1 0 . 2 3 0 7 / 2 5 5 7 7 2 ;   S P E C H T   P H ,   1 9 8 6 ,   M I S   Q U A R T ,   V 1 0 ,   P 2 7 1 ,   D O I   1 0 . 2 3 0 7 / 2 4 9 2 6 1 ;   S t e w a r t   K J ,   2 0 0 9 ,   I N T   J   E L E C T R O N   C O M M ,   V 1 3 ,   P 7 1 ,   D O I   1 0 . 2 7 5 3 / J E C 1 0 8 6 - 4 4 1 5 1 3 0 3 0 3 ;   T A Y L O R   C R ,   1 9 9 5 ,   A M   E C O N   R E V ,   V 8 5 ,   P 8 7 2 ;   T e r w i e s c h   C ,   2 0 0 8 ,   M A N A G E   S C I ,   V 5 4 ,   P 1 5 2 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 8 0 . 0 8 8 4 ;   T e r w i e s c h   C . ,   2 0 0 9 ,   I N N O V A T I O N   T O U R N A M E N ;   T h a t c h e r   J .   B . ,   2 0 0 6 ,   D a t a   B a s e   f o r   A d v a n c e s   i n   I n f o r m a t i o n   S y s t e m s ,   V 3 7 ,   D O I   1 0 . 1 1 4 5 / 1 1 6 1 3 4 5 . 1 1 6 1 3 6 1 ;   T h o n g   J Y L ,   2 0 0 9 ,   I N T   J   E L E C T R O N   C O M M ,   V 1 3 ,   P 5 ,   D O I   1 0 . 2 7 5 3 / J E C 1 0 8 6 - 4 4 1 5 1 3 0 4 0 1 ;   T r i a n d i s   H .   C . ,   1 9 9 5 ,   I N D I V I D U A L I S M   C O L L E C ;   V a n   d e   V e n   A .   H . ,   1 9 8 0 ,   M E A S U R I N G   A S S E S S I N G ;   v o n   H i p p e l   E r i c ,   2 0 0 5 ,   D E M O C R A T I Z I N G   I N N O V A ;   W e s t   J . ,   2 0 0 6 ,   O P E N   I N N O V A T I O N   R E S ,   P 2 8 5 ;   W e s t   J ,   2 0 0 8 ,   I N D   I N N O V ,   V 1 5 ,   P 2 2 3 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 6 2 7 1 0 8 0 2 0 3 3 7 3 4 ;   W O O D   R E ,   1 9 8 6 ,   O R G A N   B E H A V   H U M   D E C ,   V 3 7 ,   P 6 0 ,   D O I   1 0 . 1 0 1 6 / 0 7 4 9 - 5 9 7 8 ( 8 6 ) 9 0 0 4 4 - 0 ;   Y a n g   J ,   2 0 0 8 ,   P   9   A C M   C   E L   C O M M ,   P 2 4 6 ,   D O I   1 0 . 1 1 4 5 / 1 3 8 6 7 9 0 . 1 3 8 6 8 2 9 ;   Y a n g   J C ,   2 0 0 8 ,   P R O C E E D I N G S   O F   T H E   2 0 0 8   I N T E R N A T I O N A L   S Y M P O S I U M   O N   C O M P U T A T I O N A L   I N T E L L I G E N C E   A N D   D E S I G N ,   V O L   2 ,   P 1 6 1 ,   D O I   1 0 . 1 1 0 9 / I S C I D . 2 0 0 8 . 2 1 1 ;   Y A N G   Y ,   2 0 0 9 ,   P   1 3   I N T   C   I N F   S Y S T ;   Z w a s s   V ,   2 0 1 0 ,   I N T   J   E L E C T R O N   C O M M ,   V 1 5 ,   P 1 1 ,   D O I   1 0 . 2 7 5 3 / J E C 1 0 8 6 - 4 4 1 5 1 5 0 1 0 1 ;   Z w a s s   V ,   2 0 0 3 ,   I N T   J   E L E C T R O N   C O M M ,   V 7 ,   P 7 	 7 8 	 1 7 	 1 7 	 M   E   S H A R P E   I N C 	 A R M O N K 	 8 0   B U S I N E S S   P A R K   D R ,   A R M O N K ,   N Y   1 0 5 0 4   U S A 	 1 0 8 6 - 4 4 1 5 	 	 	 I N T   J   E L E C T R O N   C O M M 	 I n t .   J .   E l e c t r o n .   C o m m e r . 	 S U M 	 2 0 1 1 	 1 5 	 4 	 	 	 	 	 5 7 	 8 8 	 	 1 0 . 2 7 5 3 / J E C 1 0 8 6 - 4 4 1 5 1 5 0 4 0 2 	 	 3 2 	 B u s i n e s s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 B u s i n e s s   &   E c o n o m i c s ;   C o m p u t e r   S c i e n c e 	 7 9 4 Z X 	 W O S : 0 0 0 2 9 2 9 4 2 4 0 0 0 0 3 	 	 
 J 	 A n t t i r o i k o ,   A V ;   S a v o l a i n e n ,   R 	 	 	 	 A n t t i r o i k o ,   A r i - V e i k k o ;   S a v o l a i n e n ,   R e i j o 	 	 	 T o w a r d s   L i b r a r y   2 . 0 :   T h e   A d o p t i o n   o f   W e b   2 . 0   T e c h n o l o g i e s   i n   P u b l i c   L i b r a r i e s 	 L I B R I 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 W e b   2 . 0   i s   t h e   g e n e r a l   t e r m   f o r   n e w   t e c h n o l o g i e s ,   a p p l i c a t i o n s   a n d   s e r v i c e s   t h a t   e n a b l e   u s e r s   t o   i n t e r a c t   a n d   p e r s o n a l i z e   w e b s i t e s .   T h e   d e r i v a t i v e   t e r m   L i b r a r y   2 . 0   w a s   p r o p o s e d   i n   t h e   m i d - 2 0 0 0 s .   T h i s   a r t i c l e   r e v i e w s   h o w   p u b l i c   l i b r a r i e s   h a v e   m a d e   a t t e m p t s   t o   r e n e w   t h e i r   s e r v i c e s   b y   a d o p t i n g   W e b   2 . 0   t e c h n o l o g i e s .   T h e   r e s e a r c h   m a t e r i a l   m a i n l y   c o n s i s t s   o f   a r t i c l e s   a n d   r e p o r t s   d i s c u s s i n g   t h e   d e v e l o p m e n t s   o f   L i b r a r y   2 . 0 .   I n   a d d i t i o n ,   t h e   s t u d y   m a k e s   u s e   o f   d a t a   o b t a i n e d   f r o m   t h e   w e b s i t e s   o f   p u b l i c   l i b r a r i e s   t h a t   h a v e   p i o n e e r e d   i n   t h e   f i e l d   o f   L i b r a r y   2 . 0 .   T h e   s t u d y   i d e n t i f i e d   f o u r   m a i n   p u r p o s e s   f o r   w h i c h   p u b l i c   l i b r a r i e s   h a v e   a d o p t e d   W e b   2 . 0   t e c h n o l o g i e s :   c o m m u n i c a t i o n ,   c o n t e n t   s h a r i n g ,   s o c i a l   n e t w o r k i n g ,   a n d   c r o w d s o u r c i n g .   T o   s e r v e   t h e   e n d s   o f   c o m m u n i c a t i o n ,   p u b l i c   l i b r a r i e s   h a v e   a d o p t e d   t e c h n o l o g i e s   s u c h   a s   R S S   f e e d s   a n d   s h o r t   m e s s a g i n g .   T h e   n e e d s   o f   c o n t e n t   s h a r i n g   a r e   p r i m a r i l y   s e r v e d   b y   u s i n g   b l o g s   a n d   c o n t e n t   s h a r i n g   s i t e s   s u c h   a s   Y o u T u b e .   P u b l i c   l i b r a r i e s   h a v e   a l s o   u s e d   W e b   2 . 0   t e c h n o l o g i e s   t o   s u p p o r t   s o c i a l   n e t w o r k i n g .   F i n a l l y ,   t o   a d v a n c e   c r o w d s o u r c i n g ,   p u b l i c   l i b r a r i e s   h a v e   m a i n l y   u s e d   t a g g i n g   f u n c t i o n a l i t i e s   a n d   s y s t e m s   o f   b o o k   r a t i n g .   O v e r a l l ,   t h e   f i n d i n g s   i n d i c a t e   t h a t   e x p e r i e n c e s   g a i n e d   f r o m   t h e   u t i l i z a t i o n   o f   W e b   2 . 0   a p p l i c a t i o n s   a r e   f a i r l y   p o s i t i v e   a n d   a r e   t h u s   e n c o u r a g i n g   f o r   t h e   d e v e l o p m e n t   o f   P u b l i c   L i b r a r y   2 . 0 . 	 [ A n t t i r o i k o ,   A r i - V e i k k o ]   U n i v   T a m p e r e ,   S c h   M a n a g e m e n t ,   F I N - 3 3 1 0 1   T a m p e r e ,   F i n l a n d ;   [ S a v o l a i n e n ,   R e i j o ]   U n i v   T a m p e r e ,   S c h   I n f o r m a t   S c i ,   F I N - 3 3 1 0 1   T a m p e r e ,   F i n l a n d 	 A n t t i r o i k o ,   A V   ( r e p r i n t   a u t h o r ) ,   U n i v   T a m p e r e ,   S c h   M a n a g e m e n t ,   F I N - 3 3 1 0 1   T a m p e r e ,   F i n l a n d . 	 a r i - v e i k k o . a n t t i r o i k o @ u t a . f i ;   r e i j o . s a v o l a i n e n @ u t a . f i 	 A n t t i r o i k o ,   A r i - V e i k k o / I - 2 5 2 7 - 2 0 1 3 	 A n t t i r o i k o ,   A r i - V e i k k o / 0 0 0 0 - 0 0 0 3 - 0 2 8 6 - 7 4 9 5 	 	 	 A L S B J E R   P ,   2 0 0 8 ,   S C A N D I N A V I A N   P U B L I C ,   V 4 1 ;   A n t t i r o i k o   A V ,   2 0 0 7 ,   A D V   L I B R   A D M   O R G A N ,   V 2 5 ,   P 6 1 ,   D O I   1 0 . 1 0 1 6 / S 0 7 3 2 - 0 6 7 1 ( 0 7 ) 2 5 0 0 3 - 5 ;   A N T T I R O I K O   A V ,   2 0 0 9 ,   A D V   E G O V E R N M E N T   E G O V ,   V 1 ;   B U U R   T D ,   2 0 0 8 ,   S C A N D I N A V I A N   P U B L I C ,   V 4 1 ;   C a s e y   M E ,   2 0 0 6 ,   L I B R   J ,   V 1 3 1 ,   P 4 0 ;   C h u a   A Y K ,   2 0 1 0 ,   L I B R   I N F O R M   S C I   R E S ,   V 3 2 ,   P 2 0 3 ,   D O I   1 0 . 1 0 1 6 / j . l i s r . 2 0 1 0 . 0 1 . 0 0 2 ;   C o o k   N . ,   2 0 0 8 ,   E N T E R P R I S E   2   0   S O C I A ;   C r a w f o r d   W a l t ,   2 0 0 6 ,   C I T E S   I N S I G H T S ,   V 6 ,   P 1 ;   C u r r a n   K ,   2 0 0 7 ,   L I B R   H I   T E C H ,   V 2 5 ,   P 2 8 8 ,   D O I   1 0 . 1 1 0 8 / 0 7 3 7 8 8 3 0 7 1 0 7 5 5 0 3 6 ;   * D I G   O R G ,   2 0 0 8 ,   W H A T   A R   S O C   N E T W   S E R ;   E l l i s o n   N i c o l e ,   2 0 0 7 ,   J   C O M P U T E R   M E D I A T E D ,   V 1 3 ;   F U R N E R   J ,   2 0 1 0 ,   E N C Y   L I B   I N F O R M   S C I ,   V 1 ,   P 1 8 5 8 ;   H I N C H C L I F F E   D ,   2 0 0 7 ,   Z D   N E T                     1 0 2 2 ;   H o l m b e r g   K ,   2 0 0 9 ,   J   D O C ,   V 6 5 ,   P 6 6 8 ,   D O I   1 0 . 1 1 0 8 / 0 0 2 2 0 4 1 0 9 1 0 9 7 0 2 9 4 ;   H u n t e r   F . ,   1 9 5 3 ,   C O M M U N I T Y   P O W E R   S T R U ;   J o i n t   N i c h o l a s ,   2 0 0 9 ,   L i b r a r y   R e v i e w ,   V 5 8 ,   D O I   1 0 . 1 1 0 8 / 0 0 2 4 2 5 3 0 9 1 0 9 4 2 0 2 7 ;   J U R V A N E N   I ,   2 0 0 8 ,   S C A N D I N A V I A N   P U B L I C ,   V 4 1 ;   L a n k e s   R D ,   2 0 0 7 ,   I N F O R M   T E C H N O L   L I B R ,   V 2 6 ,   P 1 7 ;   L i e t s a l a   K . ,   2 0 0 8 ,   S O C I A L   M E D I A   I N T R O   T ;   L i n h   N C ,   2 0 0 8 ,   L I B R   H I   T E C H ,   V 2 6 ,   P 6 3 0 ,   D O I   1 0 . 1 1 0 8 / 0 7 3 7 8 8 3 0 8 1 0 9 2 0 9 5 0 ;   M a n e s s   J .   M . ,   2 0 0 6 ,   W E B O L O G Y ,   V 3 ;   M c A f e e   A .   P ,   2 0 0 6 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 7 ,   P 2 0 ;   N I E L S E N   H ,   2 0 0 8 ,   S C A N D I N A V I A N   P U B L I C ,   V 4 1 ;   O ' R e i l l y   T . ,   2 0 0 5 ,   W H A T   I S   W E B   2   0   D E S I ;   O s i m o   D . ,   2 0 0 8 ,   W E B   2   0   G O V T   W H Y ;   P E N A L O P E Z   I ,   2 0 0 8 ,   R E V   I N T E R N E T   D E R E C H O ,   V 7 ;   P O L L A R D   D ,   2 0 0 6 ,   S O C I A L   N E T W O R K I N G   S T ;   S C H U L Z   M ,   2 0 1 0 ,   C O M M U N I C A T I O N       0 1 0 4 ;   S e r a n t e s   L u c i a   C e d e i r a ,   2 0 0 9 ,   L i b r a r y   R e v i e w ,   V 5 8 ,   D O I   1 0 . 1 1 0 8 / 0 0 2 4 2 5 3 0 9 1 0 9 4 2 0 8 1 ;   S H O J I   M ,   2 0 0 7 ,   R E G I O N A L   S O C I A L   N E T W ;   * S L I C ,   G U I D   W E B 2   0   L I B ;   S T E R N S T E I N   A ,   2 0 0 6 ,   F E D E R A L C O M P U T E R   1 1 2 0 ;   S T R I C K L A N D   J ,   2 0 0 9 ,   W E B   3   0   W I L L   W O R K ;   T A Y   A ,   2 0 0 9 ,   L I B   C R O W D S O U R C I N G   6 ;   T O Y A M A   S ,   2 0 0 7 ,   C O M M U N I T I E S   A C T I O N ;   V E N K A T R A M A N   V ,   1 9 9 4 ,   S L O A N   M A N A G E   R E V ,   V 3 5 ,   P 7 3 ;   V E R H O   S ,   2 0 0 8 ,   S C A N D I N A V I A N   P U B L I C ,   V 4 1 ;   W E I S S   T R ,   2 0 0 8 ,   C O M P U T E R W O R L D       0 6 1 7 ;   Y O S H I D A   M ,   2 0 0 7 ,   T 4 P   0 7 ,   P 7 3 	 3 9 	 4 	 4 	 K   G   S A U R   V E R L A G   K G 	 M U N I C H 	 O R T L E R S T R   8 ,   D - 8 1 3 7 3   M U N I C H ,   G E R M A N Y 	 0 0 2 4 - 2 6 6 7 	 	 	 L I B R I 	 L i b r i 	 J U N 	 2 0 1 1 	 6 1 	 2 	 	 	 	 	 8 7 	 9 9 	 	 1 0 . 1 5 1 5 / l i b r . 2 0 1 1 . 0 0 8 	 	 1 3 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 7 7 8 Q K 	 W O S : 0 0 0 2 9 1 7 1 9 3 0 0 0 0 1 	 	 
 J 	 H o n i c k y ,   R J 	 	 	 	 H o n i c k y ,   R .   J . 	 	 	 U n d e r s t a n d i n g   a n d   U s i n g   R e n d e z v o u s   t o   E n h a n c e   M o b i l e   C r o w d s o u r c i n g   A p p l i c a t i o n s 	 C O M P U T E R 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 	 	 R e s e a r c h e r s   a r e   e x p l o r i n g   t h e   r e n d e z v o u s   c o n c e p t - b r i n g i n g   s e n s o r s   c l o s e   t o   o n e   a n o t h e r   i n   s p a c e   o r   t i m e - a s   a   w a y   t o   m a k e   s e n s e   o f   d i s p a r a t e   d a t a   c o l l e c t e d   b y   i n d i v i d u a l s .   A p p l i c a t i o n s   s u c h   a s   p a r t i c i p a t o r y   a t m o s p h e r i c   s e n s i n g   i l l u s t r a t e   t h e   p o t e n t i a l   o f   r e n d e z v o u s   t o   h e l p   c r e a t e   p o w e r f u l   m o b i l e   a p p l i c a t i o n s . 	 N o k i a   R e s   C t r ,   B e r k e l e y ,   C A   9 4 7 0 4   U S A 	 H o n i c k y ,   R J   ( r e p r i n t   a u t h o r ) ,   N o k i a   R e s   C t r ,   B e r k e l e y ,   C A   9 4 7 0 4   U S A . 	 h o n i c k y @ g m a i l . c o m 	 	 	 	 	 A O K I   P M ,   2 0 0 9 ,   P   C H I   2 0 0 9   A C M   N E W   Y ,   P 3 7 5 ,   D O I   1 0 . 1 1 4 5 / 1 5 1 8 7 0 1 . 1 5 1 8 7 6 2 ;   C A N E S S A   E ,   2 0 1 0 ,   M S C I E N C E   S E N S I N G   C O M ;   C o r b u r n   J . ,   2 0 0 5 ,   S T R E E T   S C I   C O M M U N I T Y ;   E a g l e   N ,   2 0 0 6 ,   P E R S   U B I Q U I T   C O M P U T ,   V 1 0 ,   P 2 5 5 ,   D O I   1 0 . 1 0 0 7 / s 0 0 7 7 9 - 0 0 5 - 0 0 4 6 - 3 ;   E i s e n m a n   S B ,   2 0 0 8 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 0 6 7 ,   P 1 5 7 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 6 9 1 7 0 - 9 _ 1 1 ;   G o n z a l e z   M C ,   2 0 0 8 ,   N A T U R E ,   V 4 5 3 ,   P 7 7 9 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 6 9 5 8 ;   H O N I C K Y   R J ,   2 0 1 0 ,   T H E S I S   U C   B E R K E L E Y ;   H U I   P ,   P   9   A C M   I N T   S   M O B   A D ,   P 2 4 1 ;   K a p a d i a   A ,   2 0 0 8 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 0 1 3 ,   P 2 8 0 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 7 9 5 7 6 - 6 _ 1 7 ;   L e e   K ,   2 0 0 9 ,   P   I E E E   I N F O C O M   0 9   R I ,   P 8 5 5 ,   D O I   D O I   1 0 . 1 1 0 9 / I N F C O M . 2 0 0 9 . 5 0 6 1 9 9 5 ;   M I L U Z Z O   E ,   2 0 0 8 ,   P   D C O S S   0 8   S A N T   I S L ,   P 3 1 4 ;   P A U L O S   E ,   2 0 0 7 ,   P   5   A C M   C   E M B   N E T W   S ;   W a n g   Y . ,   2 0 0 9 ,   P   7   I N T   C   M O B   S Y S T   A ,   P 1 7 9 ;   W i l l e t t   W ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 0 3 0 ,   P 3 0 1 ;   Z h a n g   Z . ,   2 0 0 6 ,   C O M M U N   S U R V E Y S   T U T S ,   V 8 ,   P 2 4 	 1 5 	 1 	 1 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 3 1 4   U S A 	 0 0 1 8 - 9 1 6 2 	 	 	 C O M P U T E R 	 C o m p u t e r 	 J U N 	 2 0 1 1 	 4 4 	 6 	 	 	 	 	 2 2 	 2 8 	 	 	 	 7 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 7 7 7 E D 	 W O S : 0 0 0 2 9 1 5 9 7 5 0 0 0 1 0 	 	 
 J 	 R a p p ,   D 	 	 	 	 R a p p ,   D a v i d 	 	 	 C R O W D S O U R C I N G   R A 	 L I B R A R Y   J O U R N A L 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 0 	 1 	 1 	 R E E D   B U S I N E S S   I N F O R M A T I O N 	 N E W   Y O R K 	 3 6 0   P A R K   A V E N U E   S O U T H ,   N E W   Y O R K ,   N Y   1 0 0 1 0   U S A 	 0 3 6 3 - 0 2 7 7 	 	 	 L I B R   J 	 L i b r .   J . 	 J U N   1 	 2 0 1 1 	 1 3 6 	 1 0 	 	 	 	 	 5 6 	 5 7 	 	 	 	 2 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 7 7 1 Y B 	 W O S : 0 0 0 2 9 1 1 9 5 5 0 0 0 1 1 	 	 
 J 	 G a o ,   H ;   B a r b i e r ,   G ;   G o o l s b y ,   R 	 	 	 	 G a o ,   H u i j i ;   B a r b i e r ,   G e o f f r e y ;   G o o l s b y ,   R e b e c c a 	 	 	 H a r n e s s i n g   t h e   C r o w d s o u r c i n g   P o w e r   o f   S o c i a l   M e d i a   f o r   D i s a s t e r   R e l i e f 	 I E E E   I N T E L L I G E N T   S Y S T E M S 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 	 	 	 [ G a o ,   H u i j i ;   B a r b i e r ,   G e o f f r e y ]   A r i z o n a   S t a t e   U n i v ,   D a t a   M i n   &   M a c h i n e   L e a r n i n g   D M M L   L a b ,   T e m p e ,   A Z   8 5 2 8 7   U S A 	 G a o ,   H   ( r e p r i n t   a u t h o r ) ,   A r i z o n a   S t a t e   U n i v ,   D a t a   M i n   &   M a c h i n e   L e a r n i n g   D M M L   L a b ,   T e m p e ,   A Z   8 5 2 8 7   U S A . 	 H u i j i . G a o @ a s u . e d u ;   g b a r b i e r @ a s u . e d u ;   r e b e c c a . g o o l s b y @ n a v y . m i l 	 	 	 	 	 B e d r o u n i   A ,   2 0 0 9 ,   D I S T R I B U T E D   I N T E L L I G E N T   S Y S T E M S :   A   C O O R D I N A T I O N   P E R S P E C T I V E ,   P 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 0 - 3 8 7 - 7 7 7 0 2 - 3 _ 1 ;   G A O   H ,   2 0 1 1 ,   P   I N T   C   S O C   C O M P   B E H ,   P 1 9 7 ;   G o o l s b y   R ,   2 0 1 0 ,   A C M   T   I N T E L   S Y S T   T E C ,   V 1 ,   D O I   1 0 . 1 1 4 5 / 1 8 5 8 9 4 8 . 1 8 5 8 9 5 5 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   J   H e i n z e l m a n ,   2 0 1 0 ,   C R O W D S O U R C I N G   C R I S I S ;   M E I E R   P ,   2 0 0 8 ,   I R E V O L U T I O N   B L O   1 0 2 3 ;   * M I S S   4 6 3 6 ,   2 0 1 0 ,   C R O W D F L O W E R ;   M o r g a n   J . ,   2 0 1 0 ,   B B C   N E W S                 0 1 1 5 ;   S u r o w i e c k i   J . ,   2 0 0 7 ,   A M   J   P H Y S ,   V 7 5 ,   P 1 9 0 ,   D O I   1 0 . 1 1 1 9 / 1 . 2 4 2 3 0 4 2 ;   W a n g   F Y ,   2 0 0 7 ,   I E E E   I N T E L L   S Y S T ,   V 2 2 ,   P 7 9 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 0 7 . 4 1 ;   2 0 1 1 ,   D I G I T A L   B L O G G E R   0 3 1 2 	 1 1 	 4 0 	 4 0 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 3 1 4   U S A 	 1 5 4 1 - 1 6 7 2 	 	 	 I E E E   I N T E L L   S Y S T 	 I E E E   I n t e l l .   S y s t . 	 M A Y - J U N 	 2 0 1 1 	 2 6 	 3 	 	 	 	 	 1 0 	 1 4 	 	 	 	 5 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 7 7 6 U W 	 W O S : 0 0 0 2 9 1 5 6 5 0 0 0 0 0 5 	 	 
 J 	 G r i e r ,   D A 	 	 	 	 G r i e r ,   D a v i d   A l a n 	 	 	 N o t   f o r   A l l   M a r k e t s 	 C O M P U T E R 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 	 	 C r o w d s o u r c i n g   i s   o n e   o f   t h e   m o r e   i n t r i g u i n g   f o r m s   o f   c o m p u t a t i o n   t h a t   e m p l o y s   m a r k e t s . 	 G e o r g e   W a s h i n g t o n   U n i v ,   E l l i o t t   S c h   I n t   A f f a i r s ,   W a s h i n g t o n ,   D C   2 0 0 5 2   U S A 	 G r i e r ,   D A   ( r e p r i n t   a u t h o r ) ,   G e o r g e   W a s h i n g t o n   U n i v ,   E l l i o t t   S c h   I n t   A f f a i r s ,   W a s h i n g t o n ,   D C   2 0 0 5 2   U S A . 	 g r i e r @ c o m p u t e r . o r g 	 	 	 	 	 	 0 	 0 	 0 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 3 1 4   U S A 	 0 0 1 8 - 9 1 6 2 	 	 	 C O M P U T E R 	 C o m p u t e r 	 M A Y 	 2 0 1 1 	 4 4 	 5 	 	 	 	 	 6 	 8 	 	 	 	 3 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 7 6 3 C T 	 W O S : 0 0 0 2 9 0 5 3 2 3 0 0 0 0 1 	 	 
 J 	 D a v i s ,   J G 	 	 	 	 D a v i s ,   J o s e p h   G . 	 	 	 F r o m   C r o w d s o u r c i n g   t o   C r o w d s e r v i c i n g 	 I E E E   I N T E R N E T   C O M P U T I N G 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 	 	 	 U n i v   S y d n e y ,   S c h   I n f o r m a t   T e c h n o l ,   S y d n e y ,   N S W   2 0 0 6 ,   A u s t r a l i a 	 D a v i s ,   J G   ( r e p r i n t   a u t h o r ) ,   U n i v   S y d n e y ,   S c h   I n f o r m a t   T e c h n o l ,   S y d n e y ,   N S W   2 0 0 6 ,   A u s t r a l i a . 	 j o s e p h . d a v i s @ s y d n e y . e d u . a u 	 	 	 	 	 A s h b y   W . ,   1 9 5 6 ,   I N T R O   C Y B E R N E T I C S ;   D o m i n g u e   J ,   2 0 0 9 ,   T O W A R D S   T H E   F U T U R E   I N T E R N E T :   A   E U R O P E A N   R E S E A R C H   P E R S P E C T I V E ,   P 2 0 3 ,   D O I   1 0 . 3 2 3 3 / 9 7 8 - 1 - 6 0 7 5 0 - 0 0 7 - 0 - 2 0 3 ;   E n g e l b a r t   D .   C . ,   1 9 6 2 ,   A F O S R 3 2 3 3   S T A N D F   R E S ;   K e e n   P .   G .   W . ,   1 9 7 8 ,   D E C I S I O N   S U P P O R T   S Y S ;   L i c k l i d e r   J . C . R . ,   1 9 6 0 ,   I n s t i t u t e   o f   R a d i o   E n g i n e e r s   T r a n s a c t i o n s   o n   H u m a n   F a c t o r s   i n   E l e c t r o n i c s ,   V H F E - 1 ,   D O I   1 0 . 1 1 0 9 / T H F E 2 . 1 9 6 0 . 4 5 0 3 2 5 9 ;   P a r a m e s w a r a n   A .   G . ,   2 0 1 1 ,   P   5   B I E N N   C   I N N   D A T ,   P 1 6 0 ;   P e t r i e   C h a r l e s ,   2 0 1 0 ,   I E E E   I n t e r n e t   C o m p u t i n g ,   V 1 4 ,   D O I   [ 1 0 . 1 1 0 9 / M I C . 2 0 1 0 . 1 6 ,   1 0 . 1 1 0 9 / M I C . 2 0 1 0 . 7 1 ] ;   S C H A L L   D ,   2 0 1 0 ,   C O M P U T E R                   J U L ,   P 8 2 ;   S I M O N   H ,   1 9 6 0 ,   M A N A G E M E N T   C O R P O R A T I ;   v o n   A h n   L ,   2 0 0 8 ,   C O M M U N   A C M ,   V 5 1 ,   P 5 8 ,   D O I   1 0 . 1 1 4 5 / 1 3 7 8 7 0 4 . 1 3 7 8 7 1 9 ;   W I E N E R   N ,   1 9 8 8 ,   H U M A N   U S E S   H U M A N   B E I ;   W O O D S   D ,   2 0 1 0 ,   F O R B E S                       J U L 	 1 2 	 2 	 2 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 3 1 4   U S A 	 1 0 8 9 - 7 8 0 1 	 	 	 I E E E   I N T E R N E T   C O M P U T 	 I E E E   I n t e r n e t   C o m p u t . 	 M A Y - J U N 	 2 0 1 1 	 1 5 	 3 	 	 	 	 	 9 2 	 9 4 	 	 	 	 3 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 7 5 3 P A 	 W O S : 0 0 0 2 8 9 7 9 0 6 0 0 0 1 7 	 	 
 J 	 H o r t o n ,   J J 	 	 	 	 H o r t o n ,   J o h n   J . 	 	 	 T h e   c o n d i t i o n   o f   t h e   T u r k i n g   c l a s s :   A r e   o n l i n e   e m p l o y e r s   f a i r   a n d   h o n e s t ? 	 E C O N O M I C S   L E T T E R S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   E x p e r i m e n t a t i o n ;   A m a z o n   m e c h a n i c a l   t u r k ;   O n l i n e   l a b o r   m a r k e t s 	 	 C r i t i c s   o f   o n l i n e   l a b o r   m a r k e t s   c l a i m   t h a t   e m p l o y e r   a b u s e s   a r e   e n d e m i c   i n   t h e s e   m a r k e t s .   S u r v e y i n g   a   s a m p l e   o f   w o r k e r s .   I   f i n d   t h a t ,   o n   a v e r a g e ,   w o r k e r s   p e r c e i v e   o n l i n e   e m p l o y e r s   t o   b e   s l i g h t l y   f a i r e r   a n d   m o r e   h o n e s t   t h a n   o f f l i n e   e m p l o y e r s .   ( C )   2 0 1 0   E l s e v i e r   B . V .   A l l   r i g h t s   r e s e r v e d . 	 H a r v a r d   U n i v ,   P f o r z h e i m e r   M a i l   C t r   3 8 3 ,   C a m b r i d g e ,   M A   0 2 1 3 8   U S A 	 H o r t o n ,   J J   ( r e p r i n t   a u t h o r ) ,   H a r v a r d   U n i v ,   P f o r z h e i m e r   M a i l   C t r   3 8 3 ,   5 6   L i n n a e a n   S t ,   C a m b r i d g e ,   M A   0 2 1 3 8   U S A . 	 j o h n . j o s e p h . h o r t o n @ g m a i l . c o m 	 	 	 	 	 C l e m e n s   M . ,   2 0 0 8 ,   4 6 7 1   W O R L D   B A N K ;   F E L S T I N E R   A ,   2 0 1 0 ,   W O R K I N G   C R O W D   E M P L Y M ;   I r a n i   L . ,   2 0 0 9 ,   I N T   P L A Y G R   F A C T   C   N E ;   W I C K H A M   H ,   2 0 0 8 ,   R   P A C K A G E   V E R S I O N   0 ;   Z I T T R A I N   J ,   2 0 0 8 ,   P H I L O S   T   R O Y   S O C   L O N ,   P 3 8 1 3 	 5 	 3 	 3 	 E L S E V I E R   S C I E N C E   S A 	 L A U S A N N E 	 P O   B O X   5 6 4 ,   1 0 0 1   L A U S A N N E ,   S W I T Z E R L A N D 	 0 1 6 5 - 1 7 6 5 	 	 	 E C O N   L E T T 	 E c o n .   L e t t . 	 A P R 	 2 0 1 1 	 1 1 1 	 1 	 	 	 	 	 1 0 	 1 2 	 	 1 0 . 1 0 1 6 / j . e c o n l e t . 2 0 1 0 . 1 2 . 0 0 7 	 	 3 	 E c o n o m i c s 	 B u s i n e s s   &   E c o n o m i c s 	 7 5 6 K R 	 W O S : 0 0 0 2 9 0 0 1 0 6 0 0 0 0 3 	 	 
 J 	 A d a m s ,   S A 	 	 	 	 A d a m s ,   S a m a n t h a   A . 	 	 	 S o u r c i n g   t h e   c r o w d   f o r   h e a l t h   s e r v i c e s   i m p r o v e m e n t :   T h e   r e f l e x i v e   p a t i e n t   a n d   " s h a r e - y o u r - e x p e r i e n c e "   w e b s i t e s 	 S O C I A L   S C I E N C E   &   M E D I C I N E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 W e b   2 . 0 ;   R e f l e x i v e   c o n s u m e r i s m ;   C r o w d s o u r c i n g ;   Q u a l i t y   i m p r o v e m e n t ;   P a t i e n t   v o i c e 	 I N T E R N E T ;   C A R E ;   N E T H E R L A N D S ;   E M P O W E R M E N T ;   I N F O R M A T I O N ;   I L L N E S S ;   P O L I C Y 	 I n   c o u n t r i e s   w h e r e   t h e   n o t i o n   o f   " r e f l e x i v e   p a t i e n t s "   d o m i n a t e s   t h e   h e a l t h   p o l i c y   l a n d s c a p e ,   p a t i e n t s   a r e   i n c r e a s i n g l y   e n c o u r a g e d   t o   p u b l i c i z e   t h e i r   p e r s o n a l   e x p e r i e n c e s   w i t h   h e a l t h   s e r v i c e s   p r o v i s i o n   b y   r e v i e w i n g   h o s p i t a l s   a n d   p r o f e s s i o n a l s   o n   t h e   w e b .   T h e   n u m b e r   o f   w e b s i t e s   w h e r e   p a t i e n t s   c a n   r e v i e w   o n e   o r   m o r e   a s p e c t s   o f   t h e i r   c a r e   ( a n d   r e a d   r e v i e w s   p o s t e d   b y   o t h e r s )   i s   g r o w i n g .   T h e s e   s i t e s   a r e   a n   e x a m p l e   o f   t h e   p r a c t i c e   o f   c r o w d s o u r c i n g ,   w h e r e   a p p l i c a t i o n s   t h a t   f a c i l i t a t e   u s e r - g e n e r a t e d   c o n t e n t   s o l i c i t   f e e d b a c k   f r o m   a   g i v e n   p u b l i c ;   s i t e   a d m i n i s t r a t o r s   t h e n   u s e   t h i s   f e e d b a c k   f o r   p r o d u c t   d e v e l o p m e n t ,   q u a l i t y   i m p r o v e m e n t   a n d   p o l i c y   c h a n g e .   T h e   r e s e a r c h   p r e s e n t e d   h e r e   e x a m i n e s   s u c h   d e v e l o p m e n t s   i n   t h e   c o n t e x t   o f   o n g o i n g   d i s c u s s i o n s   a b o u t   r e f l e x i v e   c o n s u m e r i s m   a n d   i n c r e a s e d   t r a n s p a r e n c y   i n   h e a l t h c a r e .   I t   d r a w s   o n   d a t a   f r o m   a   t h r e e - y e a r   s t u d y   o f   s h a r e - y o u r - e x p e r i e n c e   s i t e s   i n   t h e   U S ,   U K ,   a n d   t h e   N e t h e r l a n d s .   D a t a   i s   t a k e n   p r i m a r i l y   f r o m   a   d i s c o u r s e   a n a l y s i s   o f   f o u r   o f   t h e   s i x   s i t e s   u n d e r   s t u d y ,   i n c l u d i n g   p a t i e n t   r e v i e w s   o f   i n s t i t u t i o n s   a n d   p r o f e s s i o n a l s   ( n   =   4 5 0 ) .   S u p p l e m e n t a r y   d a t a   f r o m   i n t e r v i e w s   w i t h   s t a k e h o l d e r s   r e l a t e d   t o   t h e   D u t c h   s i t e s   ( n   =   1 5 )   i s   a l s o   u s e d .   T h i s   i s   t h e   f i r s t   k n o w n   s t u d y   o f   m u l t i p l e   s h a r e - y o u r - e x p e r i e n c e   w e b s i t e s   i n   d i f f e r e n t   c o u n t r i e s .   I t   s h o w s   t h a t   m o n i t o r i n g   a s   " r e f l e x i v e "   b e h a v i o r   i s   n o t   a u t o m a t i c ,   b u t   i s   e n c o u r a g e d   b y   w e b s i t e   c r e a t o r s   w h o ,   h o p i n g   t o   u s e   t h e   p o s t s   f o r   o t h e r   p u r p o s e s ,   a c t   a s   m e d i a t o r s   b e t w e e n   p a t i e n t s   a n d   o t h e r   h e a l t h c a r e   s t a k e h o l d e r s .   I t   f u r t h e r   a r g u e s   t h a t   p a t i e n t s   d e m o n s t r a t e   m o r e   r e f l e x i v i t y   t h a n   s o m e   s t a k e h o l d e r s   r e a l i z e ,   a l t h o u g h   n o t   n e c e s s a r i l y   i n   t h e   w a y   t h a t   G i d d e n s   p r o p o s e d .   I t   c o n c l u d e s   w i t h   t h e   a r g u m e n t   t h a t   t h e   f o c u s   o n   r e f l e x i v i t y   i n   h e a l t h c a r e   m e a n s   t h a t   n o t   o n l y   i n s t i t u t i o n s   m u s t   b e   m o r e   t r a n s p a r e n t   a b o u t   t h e i r   p e r f o r m a n c e ;   p a t i e n t s   a r e   e x p e c t e d   t o   b e   m o r e   t r a n s p a r e n t   a b o u t   t h e i r   c h o i c e s ,   a s   w e l l .   ( C )   2 0 1 1   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 E r a s m u s   U n i v ,   I n s t   H l t h   P o l i c y   &   M a n a g e m e n t ,   N L - 3 0 0 0   D R   R o t t e r d a m ,   N e t h e r l a n d s 	 A d a m s ,   S A   ( r e p r i n t   a u t h o r ) ,   E r a s m u s   U n i v ,   I n s t   H l t h   P o l i c y   &   M a n a g e m e n t ,   P O B   1 7 3 8 , W o u d e s t e i n   J 8 - 3 9 ,   N L - 3 0 0 0   D R   R o t t e r d a m ,   N e t h e r l a n d s . 	 a d a m s @ b m g . e u r . n l 	 M i d w i n t e r ,   C h l o e / E - 9 9 4 3 - 2 0 1 2 	 	 	 	 A B R A M S   J ,   2 0 0 9 ,   F O X   N E W S   C O M ;   A d a m s   S A ,   2 0 0 7 ,   S T   H E A L   T ,   V 1 3 0 ,   P 1 9 3 ;   A D A M S   S A ,   W H O S   S U R V E I   I N   P R E S S ;   A D A M S   S A ,   2 0 1 0 ,   C O N F I G U R I N G   H L T H   C O N ;   A l l e n   M . ,   2 0 0 8 ,   1   M O N D A Y ,   V 1 3 ;   A n d e r s o n   B e n e d i c t ,   1 9 8 3 ,   I M A G I N E D   C O M M U N I T I E S ;   B e c k   U ,   1 9 9 4 ,   R E F L E X I V E   M O D E R N I Z A T ;   B e c k   U . ,   2 0 0 2 ,   I N D I V I D U A L I Z A T I O N ;   B e c k   U l r i c h ,   1 9 9 2 ,   R I S K   S O C   N E W   M O D E R N I ;   B I R N S T E E L   L ,   2 0 0 8 ,   W E B   2   0   H L T H   S E C T O R ;   B o v e n k a m p   H . M . v . d . ,   2 0 0 8 ,   I N V E N T A R I S A T I E   P A T I E ;   B R A B H A M   D C ,   2 0 0 8 ,   1   M O N D A Y ,   V 6 ;   B r u n s   A x e l ,   2 0 0 8 ,   B L O G S   W I K I P E D I A   2   L I ;   C o r d e l l a   A ,   2 0 0 7 ,   J   I N F   T E C H N O L ,   V 2 2 ,   P 2 6 5 ,   D O I   1 0 . 1 0 5 7 / p a l g r a v e . j i t . 2 0 0 0 1 0 5 ;   C R O O N E N   H ,   2 0 0 9 ,   M E D I S C H   C O N T A C T ,   V 4 0 ,   P 1 6 1 2 ;   E n t h o v e n   A C ,   2 0 0 7 ,   N E W   E N G L   J   M E D ,   V 3 5 7 ,   P 2 4 2 1 ,   D O I   1 0 . 1 0 5 6 / N E J M p 0 7 8 1 9 9 ;   * E U R I M ,   2 0 0 8 ,   A C H   C I T   C T R   S E R V   D E L ;   F o x   N J ,   2 0 0 5 ,   S O C   S C I   M E D ,   V 6 0 ,   P 1 2 9 9 ,   D O I   1 0 . 1 0 1 6 / j . s o c s c i m e d . 2 0 0 4 . 0 7 . 0 0 5 ;   G i d d e n s   A ,   1 9 9 4 ,   L E F T   R I G H T   F U T U R E   R A ;   G i d d e n s   A n t h o n y ,   1 9 9 1 ,   M O D E R N I T Y   S E L F   I D E N T ;   G o r d o n   E . ,   2 0 0 8 ,   1   M O N D A Y ,   V 1 3 ;   H a r d e y   M ,   2 0 0 2 ,   H E A L T H ,   V 6 ,   P 3 1 ,   D O I   1 0 . 1 1 7 7 / 1 3 6 3 4 5 9 3 0 2 0 0 6 0 0 1 0 3 ;   H a r d e y   M ,   1 9 9 9 ,   S O C I O L   H E A L T H   I L L ,   V 2 1 ,   P 8 2 0 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 9 5 6 6 . 0 0 1 8 5 ;   H a r g i t t a i   E . ,   2 0 0 2 ,   1   M O N D A Y ,   V 7 ,   P 4 ;   H a r r i s o n   S ,   1 9 9 8 ,   S O C   P O L I C Y   A D M I N ,   V 3 2 ,   P 6 0 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 9 5 1 5 . 0 0 0 8 6 ;   H e r r i n g   S .   C . ,   2 0 0 5 ,   I n f o r m a t i o n   T e c h n o l o g y   &   P e o p l e ,   V 1 8 ,   D O I   1 0 . 1 1 0 8 / 0 9 5 9 3 8 4 0 5 1 0 6 0 1 5 1 3 ;   K l e c u n - D a b r o w s k a   E ,   2 0 0 0 ,   I N F O R M   S Y S T   J ,   V 1 0 ,   P 4 1 ,   D O I   1 0 . 1 0 4 6 / j . 1 3 6 5 - 2 5 7 5 . 2 0 0 0 . 0 0 0 7 4 . x ;   L e v a y   C ,   2 0 0 9 ,   O R G A N   S T U D ,   V 3 0 ,   P 5 0 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 7 0 8 4 0 6 0 9 1 0 4 3 9 6 ;   M o r t   M ,   2 0 0 9 ,   S O C I O L O G Y ,   V 4 3 ,   P 2 1 5 ,   D O I   1 0 . 1 1 7 7 / 0 0 3 8 0 3 8 5 0 8 1 0 1 1 6 2 ;   N e w m a n   J ,   2 0 0 7 ,   J   E U R   S O C   P O L I C Y ,   V 1 7 ,   P 9 9 ,   D O I   1 0 . 1 1 7 7 / 0 9 5 8 9 2 8 7 0 7 0 7 5 1 9 1 ;   P i t t s   V ,   2 0 0 4 ,   H E A L T H ,   V 8 ,   P 3 3 ,   D O I   1 0 . 1 1 7 7 / 1 3 6 3 4 5 9 3 0 4 0 3 8 7 9 4 ;   R o g e r s   R ,   2 0 0 4 ,   I N F O R M A T I O N   P O L I T I C S   O N   T H E   W E B ,   P 1 ;   S a r a s o h n - K a h n   J . ,   2 0 0 8 ,   W I S D O M   P A T I E N T S   H L T H ;   S c h u l e r   D o u g l a s ,   2 0 0 4 ,   S H A P I N G   N E T W O R K   S O C ;   S c o b l e   R o b e r t ,   2 0 0 6 ,   N A K E D   C O N V E R S A T I O N S ;   S i n g l e t o n   V ,   2 0 0 5 ,   E N V I R O N   P L A N N   D ,   V 2 3 ,   P 7 7 1 ,   D O I   1 0 . 1 0 6 8 / d 3 5 5 t ;   S l e v i n   J a m e s ,   2 0 0 0 ,   I N T E R N E T   S O C ;   T h o r s e n   E ,   2 0 0 8 ,   N E W   M E D I A   S O C ,   V 1 0 ,   P 9 3 5 ,   D O I   1 0 . 1 1 7 7 / 1 4 6 1 4 4 4 8 0 8 0 9 6 2 5 2 ;   T u c k e r   K . H . ,   1 9 9 8 ,   A N T H O N Y   G I D D E N S   M O D E ;   W a t h e n   C .   N . ,   2 0 1 0 ,   C O N F I G U R I N G   H L T H   C O N ;   W a t h e n   C N ,   2 0 0 8 ,   H E A L T H   T E C H N O L   S O C ,   P 1 ,   D O I   1 0 . 1 0 5 7 / 9 7 8 0 2 3 0 2 2 7 3 2 3 	 4 1 	 1 1 	 1 1 	 P E R G A M O N - E L S E V I E R   S C I E N C E   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   E N G L A N D 	 0 2 7 7 - 9 5 3 6 	 	 	 S O C   S C I   M E D 	 S o c .   S c i .   M e d . 	 A P R 	 2 0 1 1 	 7 2 	 7 	 	 	 	 	 1 0 6 9 	 1 0 7 6 	 	 1 0 . 1 0 1 6 / j . s o c s c i m e d . 2 0 1 1 . 0 2 . 0 0 1 	 	 8 	 P u b l i c ,   E n v i r o n m e n t a l   &   O c c u p a t i o n a l   H e a l t h ;   S o c i a l   S c i e n c e s ,   B i o m e d i c a l 	 P u b l i c ,   E n v i r o n m e n t a l   &   O c c u p a t i o n a l   H e a l t h ;   B i o m e d i c a l   S o c i a l   S c i e n c e s 	 7 5 7 D N 	 W O S : 0 0 0 2 9 0 0 6 5 0 0 0 0 0 9 	 2 1 4 1 4 7 0 1 	 
 J 	 D o a n ,   A ;   R a m a k r i s h n a n ,   R ;   H a l e v y ,   A Y 	 	 	 	 D o a n ,   A n h a i ;   R a m a k r i s h n a n ,   R a g h u ;   H a l e v y ,   A l o n   Y . 	 	 	 C r o w d s o u r c i n g   S y s t e m s   o n   t h e   W o r l d - W i d e   W e b 	 C O M M U N I C A T I O N S   O F   T H E   A C M 	 	 	 E n g l i s h 	 R e v i e w 	 	 	 	 	 	 	 	 	 [ D o a n ,   A n h a i ]   U n i v   W i s c o n s i n ,   M a d i s o n ,   W I   5 3 7 0 6   U S A ;   [ R a m a k r i s h n a n ,   R a g h u ]   Y a h o o   R e s ,   C o m m u n i t y   S y s t   G r p ,   S i l i c o n   V a l l e y ,   C A   U S A ;   [ H a l e v y ,   A l o n   Y . ]   G o o g l e   R e s ,   S t r u c t   D a t a   G r p ,   M o u n t a i n   V i e w ,   C A   U S A 	 D o a n ,   A   ( r e p r i n t   a u t h o r ) ,   U n i v   W i s c o n s i n ,   M a d i s o n ,   W I   5 3 7 0 6   U S A . 	 a n h a i @ c s . w i s c . e d u ;   r a m a k r i s @ y a h o o - i n c . c o m ;   h a l e v y @ g o o g l e . c o m 	 	 	 	 	 * A A A I ,   2 0 0 8 ,   A A A I   0 8   W O R K S H   W I K   A ;   A d a m i c   L . A . ,   2 0 0 8 ,   P   W W W ;   C H A I   X ,   2 0 0 9 ,   P   S I G M O D ;   D E R O S E   P ,   2 0 0 8 ,   P   I C D E ;   F R A N K L I N   M ,   P   S I G M O D   2 0 1 1 ;   F U X M A N   A ,   2 0 0 8 ,   P   W W W ;   G o l b e c k   J .   A . ,   2 0 0 5 ,   T H E S I S   U   M A R Y L A N D ;   I V E S   Z G ,   2 0 0 5 ,   P   C I D R ;   K a s n e c i   G ,   2 0 0 8 ,   S I G M O D   R E C O R D ,   V 3 7 ,   P 4 1 ;   K o u t r i k a   G . ,   2 0 0 9 ,   3   I N T   A A A I   C   W E B L   S O ;   L I T T L E   G ,   2 0 0 9 ,   T U R K I T   T O O L S   I T E R A T I ;   M A R C U S   A ,   P   C R D R   2 0 1 1 ;   M C C A N N   R ,   2 0 0 3 ,   W E B D B ;   M C C A N N   R ,   2 0 0 8 ,   P   I C D E ;   M C D O W E L L   L ,   2 0 0 3 ,   P   I S W C ;   M I H A L C E A   R ,   2 0 0 3 ,   P   R A N L P ;   N o y   N F ,   2 0 0 8 ,   I E E E   I N T E L L   S Y S T ,   V 2 3 ,   P 6 4 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 0 8 . 1 4 ;   N o y   N F ,   2 0 0 8 ,   P   I S W C ;   O l s o n   M ,   2 0 0 8 ,   S I G M O D   R E C O R D ,   V 3 7 ,   P 2 1 ;   P A R A M E S W A R A N   A ,   P   C I D R   2 0 1 1 ;   P A R A M E S W A R A N   A ,   P   V L D B   2 0 1 1 ;   P E R K O W I T Z   M ,   2 0 0 0 ,   C O M M   A C M ,   V 4 3 ;   R a h m   E ,   2 0 0 1 ,   V L D B   J ,   V 1 0 ,   P 3 3 4 ,   D O I   1 0 . 1 0 0 7 / s 0 0 7 7 8 0 1 0 0 0 5 7 ;   R A M A K R I S H N A N   R ,   2 0 0 1 ,   C O M M U N I C A T I O N ;   R A M A K R I S H N A N   R ,   2 0 0 4 ,   P   I D E A S ;   R h e i n g o l d   H . ,   2 0 0 3 ,   S M A R T   M O B S ;   R I C H A R D S O N   M ,   2 0 0 2 ,   P   K D D ;   R I C H A R D S O N   M ,   2 0 0 3 ,   P   K   C A P ;   S a r w a r   B . ,   2 0 0 1 ,   P   W W W ;   S t e i n m e t z   R . ,   2 0 0 5 ,   L E C T   N O T E S   C O M P U T E R ,   V 3 4 8 5 ;   S t o r k   D G ,   2 0 0 0 ,   C O M P U T E R ,   V 3 3 ,   P 1 0 4 ;   S u r o w i e c k i   J a m e s ,   2 0 0 5 ,   W I S D O M   C R O W D S ;   T a p s c o t t   D . ,   2 0 0 6 ,   W I K I N O M I C S ;   * T I M ,   2 0 0 6 ,   S P E C   I S S   P E R S   Y E A R   Y ;   v o n   A h n   L ,   2 0 0 8 ,   C O M M U N   A C M ,   V 5 1 ,   P 5 8 ,   D O I   1 0 . 1 1 4 5 / 1 3 7 8 7 0 4 . 1 3 7 8 7 1 9 ;   V O N A H N   L ,   2 0 0 4 ,   P   C H I ;   v o n   A h n   L ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 1 ,   P 1 4 6 5 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 0 3 7 9 ;   W E L D   D S ,   2 0 0 8 ,   A A A I ;   C I M P L E   D B L I F E   P R O J E C ;   2 0 0 9 ,   W O R K S H   C O L L   C O N S T R   M 	 4 0 	 8 1 	 8 1 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 2   P E N N   P L A Z A ,   S T E   7 0 1 ,   N E W   Y O R K ,   N Y   1 0 1 2 1 - 0 7 0 1   U S A 	 0 0 0 1 - 0 7 8 2 	 	 	 C O M M U N   A C M 	 C o m m u n .   A C M 	 A P R 	 2 0 1 1 	 5 4 	 4 	 	 	 	 	 8 6 	 9 6 	 	 1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 	 	 1 1 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 7 5 5 N O 	 W O S : 0 0 0 2 8 9 9 3 9 1 0 0 0 2 5 	 	 
 J 	 [ A n o n y m o u s ] 	 	 	 	 [ A n o n y m o u s ] 	 	 	 C r o w d s o u r c i n g   h u m a n   m u t a t i o n s 	 N A T U R E   G E N E T I C S 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 	 	 T h e   f i r s t   H u m a n   V a r i o m e   m i c r o a t t r i b u t i o n   r e v i e w   s h o w s   t h a t   d a t a   c i t a t i o n   a n d   p u b l i c a t i o n   c r e d i t   c a n   w o r k   a s   i n c e n t i v e s   f o r   s y s t e m a t i c   c u r a t i o n   o f   g e n e   v a r i a n t   a n d   p h e n o t y p e   d a t a .   A n a l y s i s   o f   t h e   f o r m a l   a s s e r t i o n s   i n   b o t h   d a t a b a s e s   a n d   j o u r n a l   a r t i c l e s   a r g u e s   f o r   b e t t e r   s e p a r a t i o n   o f   d a t a   s t r u c t u r e s   f r o m   n a r r a t i v e   s o   t h a t   t h e y   c a n   b e t t e r   s u p p o r t   o n e   a n o t h e r   t o   c o m m u n i c a t e   m e a n i n g . 	 	 	 	 	 	 	 	 	 0 	 0 	 0 	 N A T U R E   P U B L I S H I N G   G R O U P 	 N E W   Y O R K 	 7 5   V A R I C K   S T ,   9 T H   F L R ,   N E W   Y O R K ,   N Y   1 0 0 1 3 - 1 9 1 7   U S A 	 1 0 6 1 - 4 0 3 6 	 1 5 4 6 - 1 7 1 8 	 	 N A T   G E N E T 	 N a t u r e   G e n e t . 	 A P R 	 2 0 1 1 	 4 3 	 4 	 	 	 	 	 2 7 9 	 2 7 9 	 	 1 0 . 1 0 3 8 / n g 0 4 1 1 - 2 7 9 	 	 1 	 G e n e t i c s   &   H e r e d i t y 	 G e n e t i c s   &   H e r e d i t y 	 7 4 1 Y L 	 W O S : 0 0 0 2 8 8 9 0 3 7 0 0 0 0 1 	 	 
 J 	 F a r r e l l ,   M 	 	 	 	 F a r r e l l ,   M a u r e e n 	 	 	 D A T A   D R I V E N   C r o w d s o u r c i n g   T h e   C l i c k 	 F O R B E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 T r a d a   i s   o p e n i n g   u p   a   b i g   m a r k e t   i n   s e a r c h   m a r k e t i n g   b y   t a p p i n g   t h e   w i s d o m   o f   t h e   c r o w d . 	 	 	 	 	 	 	 	 	 0 	 0 	 0 	 F O R B E S   I N C 	 N E W   Y O R K 	 6 0   F I F T H   A V E ,   N E W   Y O R K ,   N Y   1 0 0 1 1   U S A 	 0 0 1 5 - 6 9 1 4 	 	 	 F O R B E S 	 F o r b e s 	 M A R   1 4 	 2 0 1 1 	 1 8 7 	 4 	 	 	 	 	 4 0 	 4 0 	 	 	 	 1 	 B u s i n e s s ,   F i n a n c e 	 B u s i n e s s   &   E c o n o m i c s 	 7 2 8 Q G 	 W O S : 0 0 0 2 8 7 8 8 8 1 0 0 0 1 7 	 	 
 J 	 G o v i n d a r a j ,   D ;   N a i d u ,   K V M ;   N a n d i ,   A ;   N a r l i k a r ,   G ;   P o o s a l a ,   V 	 	 	 	 G o v i n d a r a j ,   D i n e s h ;   N a i d u ,   K .   V .   M . ;   N a n d i ,   A n i m e s h ;   N a r l i k a r ,   G i r i j a ;   P o o s a l a ,   V i s w a n a t h 	 	 	 M o n e y B e e :   T o w a r d s   E n a b l i n g   a   U b i q u i t o u s ,   E f f i c i e n t ,   a n d   E a s y - t o - U s e   M o b i l e   C r o w d s o u r c i n g   S e r v i c e   i n   t h e   E m e r g i n g   M a r k e t 	 B E L L   L A B S   T E C H N I C A L   J O U R N A L 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 W e   p r e s e n t   a   m o b i l e   c r o w d s o u r c i n g   p l a t f o r m   c a l l e d   M o n e y   B e e   t h a t   i s   a c c e s s i b l e   t o   m o b i l e   p h o n e   u s e r s   i n   e m e r g i n g   m a r k e t s   t h r o u g h   t h e i r   m o b i l e   o p e r a t o r s .   T h e   o p e r a t o r   h a s   a   l a r g e   s u b s c r i b e r   b a s e   a n d   t h e   a b i l i t y   t o   p a y   t a s k   w o r k e r s   u s i n g   p r e p a i d   a i r t i m e   m i n u t e s .   T h e s e   a d v a n t a g e s   a l l o w   M o n e y   B e e   t o   r e a c h   f a r   m o r e   p e o p l e   t h a n   c o n v e n t i o n a l   I n t e r n e t   c r o w d s o u r c i n g   a p p r o a c h e s .   T h e   m o b i l e   o p e r a t o r   a l r e a d y   h a s   a c c e s s   t o   i n f o r m a t i o n   o n   u s e r   d e m o g r a p h i c s ,   l o c a t i o n   a n d   p r e s e n c e ,   a n d   m o n t h l y   s p e n d i n g   p a t t e r n s .   I n   a d d i t i o n ,   t h e   M o n e y B e e   p l a t f o r m   g a t h e r s   u s e r   i n f o r m a t i o n   ( s u c h   a s   p r e f e r e n c e s ,   s k i l l s ,   a n d   r e l i a b i l i t y )   f r o m   a   u s e r ' s   i n t e r a c t i o n   w i t h   t h e   c r o w d s o u r c i n g   s e r v i c e .   U s i n g   t h i s   d a t a   t o   i n t e l l i g e n t l y   a s s i g n   c r o w d - s o u r c i n g   t a s k s   t o   r e l e v a n t   w o r k e r s   i s   a   c h a l l e n g i n g   p r o b l e m .   S i m i l a r l y ,   e f f i c i e n t   d i s p a t c h i n g   o f   t a s k s   t o   m i n i m i z e   t h e   n e t w o r k   l o a d   o n   t h e   o p e r a t o r   n e t w o r k   i s   e q u a l l y   i m p o r t a n t .   F u r t h e r ,   s i m p l e   i n t e r f a c e s   ( i n c l u d i n g   s p e e c h )   a r e   n e e d e d   t o   s u b m i t   a s   w e l l   a s   e x e c u t e   c r o w d s o u r c i n g   t a s k s   o n   t h e   m o b i l e   d e v i c e .   W e   d e s c r i b e   i n i t i a l   s o l u t i o n s   t o   s o m e   o f   t h e s e   c h a l l e n g e s   i n   t h i s   p a p e r .   ( C )   2 0 1 1   A l c a t e l - L u c e n t . 	 [ P o o s a l a ,   V i s w a n a t h ]   A l c a t e l   L u c e n t   B e l l   L a b s   I n d i a ,   B a n g a l o r e ,   K a r n a t a k a ,   I n d i a ;   [ P o o s a l a ,   V i s w a n a t h ]   C T O   G e o p e p p e r ,   B a n g a l o r e ,   K a r n a t a k a ,   I n d i a 	 	 	 	 	 	 	 E A G L E   N ,   2 0 0 9 ,   P   1 3   I N T   C   H U M   C O M P ,   P 4 4 7 ;   H O R O W I T Z   D ,   2 0 1 0 ,   P   1 9   I N T   W O R L D   W I D   W 	 2 	 0 	 0 	 W I L E Y   P E R I O D I C A L S ,   I N C 	 M A L D E N 	 C O M M E R C E   P L A C E ,   3 5 0   M A I N   S T R E E T ,   M A L D E N ,   M A   0 2 1 4 8 - 5 2 9   U S A 	 1 0 8 9 - 7 0 8 9 	 	 	 B E L L   L A B S   T E C H   J 	 B e l l   L a b s   T e c h .   J . 	 M A R 	 2 0 1 1 	 1 5 	 4 	 	 	 	 	 7 9 	 9 2 	 	 1 0 . 1 0 0 2 / b l t j . 2 0 4 7 3 	 	 1 4 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 7 2 7 S N 	 W O S : 0 0 0 2 8 7 8 2 1 9 0 0 0 0 6 	 	 
 J 	 H u t t e r ,   K ;   H a u t z ,   J ;   F u l l e r ,   J ;   M u e l l e r ,   J ;   M a t z l e r ,   K 	 	 	 	 H u t t e r ,   K a t j a ;   H a u t z ,   J u l i a ;   F u e l l e r ,   J o h a n n ;   M u e l l e r ,   J u l i a ;   M a t z l e r ,   K u r t 	 	 	 C o m m u n i t i t i o n :   T h e   T e n s i o n   b e t w e e n   C o m p e t i t i o n   a n d   C o l l a b o r a t i o n   i n   C o m m u n i t y - B a s e d   D e s i g n   C o n t e s t s 	 C R E A T I V I T Y   A N D   I N N O V A T I O N   M A N A G E M E N T 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 O P E N - S O U R C E   S O F T W A R E ;   O P E N - S O U R C E   P R O J E C T S ;   W O R D - O F - M O U T H ;   E X P L O R I N G   M O T I V A T I O N S ;   C O L L E C T I V E   I N N O V A T I O N ;   C O N S U M E R   C O M M U N I T I E S ;   S O C I A L - S T R U C T U R E ;   U S E R S ;   O R G A N I Z A T I O N ;   W I K I P E D I A N S 	 F o l l o w i n g   t h e   c o n c e p t s   o f   c r o w d s o u r c i n g ,   c o - c r e a t i o n   o r   o p e n   i n n o v a t i o n ,   c o m p a n i e s   a r e   i n c r e a s i n g l y   u s i n g   c o n t e s t s   t o   f o s t e r   t h e   g e n e r a t i o n   o f   c r e a t i v e   s o l u t i o n s .   C u r r e n t l y ,   o n l i n e   i d e a   a n d   d e s i g n   c o n t e s t s   a r e   e n j o y i n g   a   r e s u r g e n c e   t h r o u g h   t h e   u s a g e   o f   n e w   i n f o r m a t i o n   a n d   c o m m u n i c a t i o n   t e c h n o l o g i e s .   T h e s e   v i r t u a l   p l a t f o r m s   a l l o w   u s e r s   b o t h   t o   c o m p e t i t i v e l y   d i s c l o s e   t h e i r   c r e a t i v e   i d e a s   t o   c o r p o r a t i o n s   a n d   a l s o   t o   i n t e r a c t   a n d   c o l l a b o r a t e   w i t h   l i k e - m i n d e d   p e e r s ,   c o m m u n i c a t i n g ,   d i s c u s s i n g   a n d   s h a r i n g   t h e i r   i n s i g h t s   a n d   e x p e r i e n c e s ,   b u i l d i n g   s o c i a l   n e t w o r k s   a n d   e s t a b l i s h i n g   a   s e n s e   o f   c o m m u n i t y .   L i t t l e   r e s e a r c h   h a s   c o n s i d e r e d   t h a t   c o n t e s t   c o m m u n i t i e s   b o t h   p r o m o t e   a n d   b e n e f i t   f r o m   s i m u l t a n e o u s   c o - o p e r a t i o n   a n d   c o m p e t i t i o n   a n d   t h a t   b o t h   t y p e s   o f   r e l a t i o n s h i p s   n e e d   t o   b e   e m p h a s i z e d   a t   t h e   s a m e   t i m e .   I n   t h i s   a r t i c l e ,   i t   i s   a r g u e d   t h a t   t h e   f i r m - l e v e l   c o n c e p t   o f   c o - o p e t i t i o n   m i g h t   a l s o   b e   r e l e v a n t   f o r   a n   i n n o v a t i o n ' s   s u c c e s s   o n   t h e   i n d i v i d u a l   l e v e l   w i t h i n   c o n t e s t   c o m m u n i t i e s .   O u r   c o n c e p t   o f   ' c o m m u n i t i t i o n '   s h o u l d   i n c l u d e   t h e   e l e m e n t s   o f   c o m p e t i t i v e   p a r t i c i p a t i o n   w i t h o u t   d i s a b l i n g   t h e   c l i m a t e   f o r   c o - o p e r a t i o n ,   a s   n u m e r o u s   u s e r   d i s c u s s i o n s   a n d   c o m m e n t s   i m p r o v e   t h e   q u a l i t y   o f   s u b m i t t e d   i d e a s   a n d   a l l o w   t h e   f u t u r e   p o t e n t i a l   o f   a n   i d e a   t o   s h i n e   t h r o u g h   t h e   s o - c a l l e d   ' w i s d o m   o f   t h e   c r o w d ' . 	 [ H u t t e r ,   K a t j a ;   M u e l l e r ,   J u l i a ]   U n i v   I n n s b r u c k ,   S c h   M a n a g e m e n t ,   D e p t   S t r a t e g   M a n a g e m e n t   M k t   &   T o u r i s m ,   A - 6 0 2 0   I n n s b r u c k ,   A u s t r i a ;   [ M a t z l e r ,   K u r t ]   I M P ,   I n n s b r u c k ,   A u s t r i a ;   [ F u e l l e r ,   J o h a n n ]   M I T ,   S l o a n   S c h   M a n a g e m e n t ,   C a m b r i d g e ,   M A   0 2 1 3 9   U S A 	 H u t t e r ,   K   ( r e p r i n t   a u t h o r ) ,   U n i v   I n n s b r u c k ,   S c h   M a n a g e m e n t ,   D e p t   S t r a t e g   M a n a g e m e n t   M k t   &   T o u r i s m ,   A - 6 0 2 0   I n n s b r u c k ,   A u s t r i a . 	 k a t j a . h u t t e r @ u i b k . a c . a t ;   j u l i a . h a u t z @ u i b k . a c . a t ;   j o h a n n . f u e l l e r @ h y v e . d e ;   j u l i a . m u e l l e r @ u i b k . a c . a t ;   k u r t . m a t z l e r @ u i b k . a c . a t 	 	 	 	 	 A l b e r t   S . ,   1 9 9 9 ,   C O M P U T E R W O R L D ,   V 3 3 ,   P 3 6 ;   A r d i c h v i l i   A . ,   2 0 0 8 ,   A D V   D E V   H U M A N   R E S O U R ,   V 1 0 ,   P 5 4 1 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 5 2 3 4 2 2 3 0 8 3 1 9 5 3 6 ;   A r d i c h v i l i   A . ,   2 0 0 3 ,   J o u r n a l   o f   K n o w l e d g e   M a n a g e m e n t ,   V 7 ,   D O I   1 0 . 1 1 0 8 / 1 3 6 7 3 2 7 0 3 1 0 4 6 3 6 2 6 ;   B e n g t s o n   M . ,   2 0 0 3 ,   A C   M A R K   S C I   A N N   C   W A ;   B r a n d e n b u r g e r   A . M . ,   1 9 9 6 ,   C O O P E T I T I O N ;   B r o w n   J ,   2 0 0 7 ,   J   I N T E R A C T   M A R K ,   V 2 1 ,   P 2 ,   D O I   1 0 . 1 0 0 2 / d i r . 2 0 0 8 2 ;   B u l l i n g e r   A C ,   2 0 1 0 ,   C R E A T   I N N O V   M A N A G ,   V 1 9 ,   P 2 9 0 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 6 9 1 . 2 0 1 0 . 0 0 5 6 5 . x ;   B u r n e t t   S . ,   2 0 0 8 ,   K N O W L E D G E   P R O C E S S   M A ,   V 1 5 ,   P 1 ,   D O I   1 0 . 1 0 0 2 / k p m . 2 9 4 ;   C a s s i m a n   B ,   2 0 0 9 ,   L O N G   R A N G E   P L A N N ,   V 4 2 ,   P 2 1 6 ,   D O I   1 0 . 1 0 1 6 / j . l r p . 2 0 0 9 . 0 1 . 0 0 1 ;   C h e   Y K ,   2 0 0 3 ,   A M   E C O N   R E V ,   V 9 3 ,   P 6 4 6 ,   D O I   1 0 . 1 2 5 7 / 0 0 0 2 8 2 8 0 3 3 2 2 1 5 7 0 2 5 ;   C h e s b r o u g h   H W ,   2 0 0 3 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 4 ,   P 3 5 ;   D a h a n   E ,   2 0 0 2 ,   J   P R O D   I N N O V A T   M A N A G ,   V 1 9 ,   P 3 3 2 ,   D O I   1 0 . 1 1 1 1 / 1 5 4 0 - 5 8 8 5 . 1 9 5 0 3 3 2 ;   D a u g h e r t y   T ,   2 0 0 5 ,   J   C O M P U T - M E D I A T   C O M M ,   V 1 0 ;   D a v i d   P A ,   2 0 0 8 ,   I N F   E C O N   P O L I C Y ,   V 2 0 ,   P 3 6 4 ,   D O I   [ 1 0 . 1 0 1 6 / j . i n f o e c o p o l . 2 0 0 8 . 1 0 . 0 0 1 ,   1 0 . 1 0 1 6 / j . i n f o e c o p o 1 . 2 0 0 8 . 1 0 . 0 0 1 ] ;   D a w s o n   S ,   2 0 1 0 ,   B R I T   J   E D U C   T E C H N O L ,   V 4 1 ,   P 7 3 6 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 5 3 5 . 2 0 0 9 . 0 0 9 7 0 . x ;   D e n z i n   N . K . ,   1 9 9 4 ,   H D B   Q U A L I T A T I V E   R E S ,   P 1 ;   D w y e r   P ,   2 0 0 7 ,   J   I N T E R A C T   M A R K ,   V 2 1 ,   P 6 3 ,   D O I   1 0 . 1 0 0 2 / d i r . 2 0 0 7 6 ;   E I S E N H A R D T   K M ,   1 9 8 9 ,   A C A D   M A N A G E   R E V ,   V 1 4 ,   P 5 3 2 ,   D O I   1 0 . 2 3 0 7 / 2 5 8 5 5 7 ;   F a e m s   D ,   2 0 1 0 ,   C R E A T   I N N O V   M A N A G ,   V 1 9 ,   P 3 ,   D O I   [ 1 0 . 1 1 1 1 / j 1 4 6 7 - 8 6 9 1 . 2 0 1 0 . 0 0 5 4 6 . x ,   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 6 9 1 . 2 0 1 0 . 0 0 5 4 6 . x ] ;   F r a n k e   N ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 5 7 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 2 ) 0 0 0 0 6 - 9 ;   F R E E M A N   L C ,   1 9 7 9 ,   S O C   N E T W O R K S ,   V 1 ,   P 2 1 5 ,   D O I   1 0 . 1 0 1 6 / 0 3 7 8 - 8 7 3 3 ( 7 8 ) 9 0 0 2 1 - 7 ;   F u l l e r   J ,   2 0 0 6 ,   A D V   C O N S U M   R E S ,   V 3 3 ,   P 6 3 9 ;   F u l l e r   J ,   2 0 0 7 ,   J   B U S   R E S ,   V 6 0 ,   P 6 0 ,   D O I   1 0 . 1 0 1 6 / j . j b u s r e s . 2 0 0 6 . 0 9 . 0 1 9 ;   F u l l e r t o n   R ,   1 9 9 9 ,   E C O N   I N Q ,   V 3 7 ,   P 6 2 4 ;   G l a s e r   B . ,   1 9 6 7 ,   D I S C O V E R Y   G R O U N D E D   T ;   G l e a v e   E . ,   2 0 0 9 ,   P   4 2   H A W   I N T   C   S Y S T ;   G r a n o v e t t e r   M . ,   1 9 7 3 ,   A M   J   S O C I O L ,   V 7 8 ,   P 6 5 3 ;   G r a n o v e t t e r   M ,   2 0 0 5 ,   J   E C O N   P E R S P E C T ,   V 1 9 ,   P 3 3 ,   D O I   1 0 . 1 2 5 7 / 0 8 9 5 3 3 0 0 5 3 1 4 7 9 5 8 ;   H A M E L   G ,   1 9 9 1 ,   S T R A T E G I C   M A N A G E   J ,   V 1 2 ,   P 8 3 ,   D O I   1 0 . 1 0 0 2 / s m j . 4 2 5 0 1 2 0 9 0 8 ;   H a r h o f f   D ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 7 5 3 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 6 1 - 1 ;   H a r s   A ,   2 0 0 2 ,   I N T   J   E L E C T R O N   C O M M ,   V 6 ,   P 2 5 ;   H a u t z   J . ,   2 0 1 0 ,   P   4 3   H A W   I N T   C   S Y S T ,   P 5 ;   H e m e t s b e r g e r   A ,   2 0 0 6 ,   M A N A G E   L E A R N ,   V 3 7 ,   P 1 8 7 ,   D O I   1 0 . 1 1 7 7 / 1 3 5 0 5 0 7 6 0 6 0 6 3 4 4 2 ;   H e m e t s b e r g e r   A ,   2 0 0 2 ,   A D V   C O N S U M   R E S ,   V 2 9 ,   P 3 5 4 ;   H e m p   P ,   2 0 0 6 ,   H A R V A R D   B U S   R E V ,   V 8 4 ,   P 4 8 ;   H e r t e l   G ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 1 5 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 4 7 - 7 ;   H i n d s   D . ,   2 0 0 8 ,   P   P   4 1   A N N   H A W   I N T   C ,   P 3 2 3 ,   D O I   1 0 . 1 1 0 9 / H I C S S . 2 0 0 8 . 4 0 4 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   P O W E R ;   K o h l e r   T ,   2 0 0 9 ,   T E C H N O V A T I O N ,   V 2 9 ,   P 3 9 5 ,   D O I   1 0 . 1 0 1 6 / j . t e c h n o v a t i o n . 2 0 0 8 . 1 1 . 0 0 4 ;   K o z i n e t s   R V ,   2 0 0 8 ,   J   M A C R O M A R K E T I N G ,   V 2 8 ,   P 3 3 9 ,   D O I   1 0 . 1 1 7 7 / 0 2 7 6 1 4 6 7 0 8 3 2 5 3 8 2 ;   K R A T Z E R   J . ,   2 0 0 8 ,   C R E A T I V I T Y   I N N O V A T I O ,   V 1 7 ,   P 2 6 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 6 9 1 . 2 0 0 8 . 0 0 4 6 6 . x ;   K r a t z e r   J ,   2 0 0 9 ,   J   C O N S U M   R E S ,   V 3 6 ,   P 6 4 6 ,   D O I   1 0 . 1 0 8 6 / 5 9 9 3 2 4 ;   L a d o   A A ,   1 9 9 7 ,   A C A D   M A N A G E   R E V ,   V 2 2 ,   P 1 1 0 ,   D O I   1 0 . 2 3 0 7 / 2 5 9 2 2 6 ;   L a k h a n i   K .   R . ,   2 0 0 5 ,   P E R S P E C T I V E S   F R E E   O P ,   P 3 ;   L e t t l   C ,   2 0 0 6 ,   I N T   J   T E C H N O L   M A N A G E ,   V 3 3 ,   P 2 5 ,   D O I   1 0 . 1 5 0 4 / I J T M . 2 0 0 6 . 0 0 8 1 9 0 ;   L e w i n s   A . ,   2 0 0 6 ,   C H O O S I N G   C A Q D A S   P A C K ;   L u o   Y D ,   2 0 0 7 ,   J   W O R L D   B U S ,   V 4 2 ,   P 1 2 9 ,   D O I   1 0 . 1 0 1 6 / j . j w b . 2 0 0 6 . 0 8 . 0 0 7 ;   M a r t i n e l l i   W . ,   2 0 0 2 ,   B R I T   F O O D   J ,   V 1 0 5 ,   P 5 7 7 ;   M a x w e l l   J . A . ,   2 0 0 8 ,   S A G E   H D B   A P P L   S O C I A L ,   P 2 1 4 ;   M o r g a n   J ,   2 0 1 0 ,   C A L I F   M A N A G E   R E V ,   V 5 2 ,   P 7 7 ;   N a d e l   S .   F . ,   1 9 5 7 ,   T H E O R Y   S O C I A L   S T R U C T ;   N o l k e r   R .   D . ,   2 0 0 5 ,   P r o c e e d i n g s .   T h e   2 0 0 5   I E E E / W I C / A C M   I n t e r n a t i o n a l   C o n f e r e n c e   o n   W e b   I n t e l l i g e n c e ;   N o v   O ,   2 0 0 7 ,   C O M M U N   A C M ,   V 5 0 ,   P 6 0 ,   D O I   1 0 . 1 1 4 5 / 1 2 9 7 7 9 7 . 1 2 9 7 7 9 8 ;   O r e g   S ,   2 0 0 8 ,   C O M P U T   H U M   B E H A V ,   V 2 4 ,   P 2 0 5 5 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 0 7 . 0 9 . 0 0 7 ;   O S R A M ,   2 0 0 9 ,   L E D   E M   Y O U R   L I G H T ;   P a n z a r a s a   P ,   2 0 0 9 ,   J   A M   S O C   I N F   S C I   T E C ,   V 6 0 ,   P 9 1 1 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 1 0 1 5 ;   P r e e c e   J ,   2 0 0 0 ,   O N L I N E   C O M M U N I T I E S   D ;   P r e e c e   J ,   2 0 0 4 ,   C O M P U T   H U M   B E H A V ,   V 2 0 ,   P 2 0 1 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 0 3 . 1 0 . 0 1 5 ;   R i t a l a   P ,   2 0 0 9 ,   T E C H N O V A T I O N ,   V 2 9 ,   P 8 1 9 ,   D O I   1 0 . 1 0 1 6 / j . t e c h n o v a t i o n . 2 0 0 9 . 0 7 . 0 0 2 ;   S c h r o d e r   A ,   2 0 1 0 ,   C R E A T   I N N O V   M A N A G ,   V 1 9 ,   P 2 5 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 6 9 1 . 2 0 1 0 . 0 0 5 6 7 . x ;   S c h r o e r   J ,   2 0 0 9 ,   M E D I A   P S Y C H O L ,   V 1 2 ,   P 9 6 ,   D O I   1 0 . 1 0 8 0 / 1 5 2 1 3 2 6 0 8 0 2 6 6 9 4 6 6 ;   S H A R R A T T   M ,   2 0 0 3 ,   E L E C T   J   K N O W L E D G E   M A ,   V 1 ,   P 1 8 7 ;   S m i t h   M . ,   2 0 0 9 ,   P   4   I N T   C   C O M M   T E C H N ;   S o b e l   D a v a ,   1 9 9 6 ,   L O N G I T U D E   T R U E   S T O R Y ;   T h o m k e   S ,   2 0 0 2 ,   H A R V A R D   B U S   R E V ,   V 8 0 ,   P 7 4 ;   T s a i   W P ,   2 0 0 2 ,   O R G A N   S C I ,   V 1 3 ,   P 1 7 9 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 3 . 2 . 1 7 9 . 5 3 6 ;   v o n   H i p p e l   E r i c ,   2 0 0 5 ,   D E M O C R A T I Z I N G   I N N O V A ;   v o n   H i p p e l   E ,   2 0 0 3 ,   O R G A N   S C I ,   V 1 4 ,   P 2 0 9 ;   v o n   K r o g h   G ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 9 7 5 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 6 0 ;   W a l l e y   K . ,   2 0 0 7 ,   I N T   S T U D I E S   M A N A G E M E ,   V 3 7 ,   P 1 1 ,   D O I   1 0 . 2 7 5 3 / I M O 0 0 2 0 - 8 8 2 5 3 7 0 2 0 1 ;   W a s k o   M M ,   2 0 0 0 ,   J   S T R A T E G I C   I N F   S Y S T ,   V 9 ,   P 1 5 5 ;   W a s k o   M M ,   2 0 0 5 ,   M I S   Q U A R T ,   V 2 9 ,   P 3 5 ;   W i n s o r   J . ,   2 0 0 5 ,   S P A R K   B E   M O R E   I N N O V A ;   Z e m l j i c   B ,   2 0 0 5 ,   S O C   N E T W O R K S ,   V 2 7 ,   P 7 3 ,   D O I   1 0 . 1 0 1 6 / j . s o c n e t . 2 0 0 4 . 1 1 . 0 1 0 ;   Z i n e l d i n   M . ,   2 0 0 4 ,   M A R K E T I N G   I N T E L L I G E N ,   V 2 2 ,   P 7 8 0 ,   D O I   1 0 . 1 1 0 8 / 0 2 6 3 4 5 0 0 4 1 0 5 6 8 6 0 0 ;   Z u b r i n   R . ,   1 9 9 6 ,   T E C H N O L O G Y   R E V       N O V ,   P 2 0 	 7 6 	 1 4 	 1 4 	 W I L E Y - B L A C K W E L L 	 M A L D E N 	 C O M M E R C E   P L A C E ,   3 5 0   M A I N   S T ,   M A L D E N   0 2 1 4 8 ,   M A   U S A 	 0 9 6 3 - 1 6 9 0 	 	 	 C R E A T   I N N O V   M A N A G 	 C r e a t .   I n n o v .   M a n a g . 	 M A R 	 2 0 1 1 	 2 0 	 1 	 	 	 	 	 3 	 2 1 	 	 1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 6 9 1 . 2 0 1 1 . 0 0 5 8 9 . x 	 	 1 9 	 M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 8 9 1 C K 	 W O S : 0 0 0 3 0 0 1 9 3 8 0 0 0 0 2 	 	 
 J 	 D r u g a n ,   J ;   M e g o n e ,   C 	 	 	 	 D r u g a n ,   J o a n n a ;   M e g o n e ,   C h r i s 	 	 	 B r i n g i n g   E t h i c s   i n t o   T r a n s l a t o r   T r a i n i n g   A n   I n t e g r a t e d ,   I n t e r - d i s c i p l i n a r y   A p p r o a c h 	 I N T E R P R E T E R   A N D   T R A N S L A T O R   T R A I N E R 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C u r r i c u l u m   c o n t e n t ;   C a s e   s t u d y   m e t h o d ;   C o d e s   o f   e t h i c s ;   D u t i e s ;   E t h i c s ;   I n t e r - d i s c i p l i n a r i t y ;   P r o f e s s i o n a l   c o n d u c t ;   R e s p o n s i b i l i t i e s ;   V i r t u e s 	 	 T r a n s l a t o r   t r a i n i n g   p r o g r a m m e s   h a v e   e x p a n d e d   e x p o n e n t i a l l y   s i n c e   t h e   1 9 9 0 s   a g a i n s t   a   b a c k d r o p   o f   i n c r e a s i n g   e c o n o m i c   a n d   c u l t u r a l   g l o b a l i z a t i o n .   A   g r o w i n g   b o d y   o f   l i t e r a t u r e   c o n t e n d s   t h a t ,   i f   t h e   e f f e c t s   o f   g l o b a l i z a t i o n   a r e   t o   b e   d e a l t   w i t h   e f f e c t i v e l y ,   t r a n s l a t i o n   s t u d i e s   s h o u l d   r e t u r n   t o   q u e s t i o n s   o f   e t h i c s   ( V e n u t i   1 9 9 8 ,   P y m   2 0 0 1 a ) .   T h u s   t r a i n i n g   i n   e t h i c s   f o r   f u t u r e   t r a n s l a t o r s   i s   a r g u a b l y   m o r e   i m p o r t a n t   t h a n   e v e r ;   a s   g r a d u a t e s   w i l l   w o r k   i n   a   c l i m a t e   o f   l o w e r e d   t r a d e   b a r r i e r s ,   i n c r e a s i n g   c o m p e t i t i o n   a m o n g   t r a n s l a t o r s ,   g l o b a l i z e d   b u s i n e s s   p r a c t i c e s ,   c r o w d s o u r c i n g   a n d   g r o w i n g   p u b l i c   d e b a t e s   o n   e t h i c a l   c o n s u m e r i s m .   T h e   a u t h o r s '   r e c e n t   s u r v e y   o f   t r a n s l a t o r   t r a i n i n g   p r o g r a m m e s   i n   t h e   U K ,   h o w e v e r ;   i n d i c a t e s   t h a t   e t h i c s   i s   t y p i c a l l y   n o t   t a u g h t   a t   a l l   o r   i s   o f f e r e d   o n l y   a s   p a r t   o f   o p t i o n a l   m o d u l e s .   O n e   w a y   o u t   o f   t h i s   i m p a s s e   i s   f o r   t r a n s l a t i o n   s t u d i e s   t o   l e a r n   f r o m   o t h e r   p r o f e s s i o n s   w h e r e   t r a i n i n g   i n   e t h i c s   h a s   b e e n   i n t e g r a t e d   i n   t h e   r e c e n t   p a s t .   T h e   a u t h o r s '   c o m b i n e d   e x p e r i e n c e   o f   i n t e g r a t i n g   e t h i c s   t r a i n i n g   a c r o s s   m a n y   s u b j e c t   f i e l d s   a n d   r u n n i n g   o n e   o f   t h e   U K ' s   l a r g e s t   t r a n s l a t i o n   M a s t e r s   p r o g r a m m e s   i s   f i r s t   u s e d   t o   d e f i n e   k e y   r e l e v a n t   i d e a s   f r o m   t h e   s t u d y   o f   e t h i c s   a n d   i d e n t i f y   t h e   m a i n   e t h i c a l   q u e s t i o n s   t h a t   t r a n s l a t o r s   f a c e   e v e r y   d a y   i n   t h e i r   w o r k .   R e a l ,   p r a c t i c a l   c a s e   s t u d i e s   o f   s u c h   e t h i c a l   i s s u e s   i n   t r a n s l a t i o n   a r e   t h e n   o u t l i n e d ,   a n d   a   r a n g e   o f   w a y s   o f   a s s e s s i n g   a n d   r e a c t i n g   t o   t h e s e   i s s u e s   i s   p r e s e n t e d .   T h e   p a p e r   t h u s   p r o p o s e s   a   t r i e d   a n d   t e s t e d   a p p r o a c h   t o   e m b e d d i n g   e t h i c s   t r a i n i n g   i n   t h e   c u r r i c u l u m   w h i c h   c a n   b e   a d o p t e d   i n   t r a n s l a t i o n   s t u d i e s . 	 [ D r u g a n ,   J o a n n a ]   U n i v   L e e d s ,   C t r   T r a n s l a t   S t u d i e s ,   S c h   M o d e r n   L a n g u a g e s   &   C u l t u r e s ,   L e e d s   L S 2   9 J T ,   W   Y o r k s h i r e ,   E n g l a n d ;   [ M e g o n e ,   C h r i s ]   U n i v   L e e d s ,   I n t e r d i s c i p l i n a r y   E t h   A p p l   C t r   E x c e l l e n c e   T e a c h i n ,   L e e d s   L S 2   9 J T ,   W   Y o r k s h i r e ,   E n g l a n d 	 D r u g a n ,   J   ( r e p r i n t   a u t h o r ) ,   U n i v   L e e d s ,   C t r   T r a n s l a t   S t u d i e s ,   S c h   M o d e r n   L a n g u a g e s   &   C u l t u r e s ,   M i c h a e l   S a d l e r   B l d g ,   L e e d s   L S 2   9 J T ,   W   Y o r k s h i r e ,   E n g l a n d . 	 j . d r u g a n @ l e e d s . a c . u k ;   c . b . m e g o n e @ l e e d s . a c . u k 	 	 	 	 	 A l i   S a l a h   S . ,   2 0 0 5 ,   I T I   B ;   [ A n o n y m o u s ] ,   2 0 0 8 ,   G U A R D I A N ;   A r i s t o t l e ,   1 9 8 0 ,   N I C O M A C H E A N   E T H I C S ;   A u d i   R ,   1 9 9 5 ,   C A M B R I D G E   D I C T   P H I L O ;   B a k e r   M o n a ,   1 9 9 2 ,   O T H E R   W O R D S   C O U R S E B O ;   B e r m a n   A n t o i n e ,   1 9 8 5 ,   T E X T E ,   V 4 ,   P 6 7 ;   B e r m a n n   S a n d r a ,   2 0 0 5 ,   N A T I O N   L A N G U A G E   E T H I ;   B l e s i u s   C o r i n e e ,   2 0 0 3 ,   I T I   B ;   B o r g e s   J o r g e   L . ,   1 9 3 6 ,   T R A N S L A T I O N   S T U D I E S ,   P 9 4 ;   B u r n y e a t   M . ,   1 9 8 0 ,   E S S A Y S   A R I S T O T L E S   E T ,   P 6 9 ;   C h e s t e r m a n   A n d r e w ,   1 9 9 7 ,   T R A N S L A T I O N   I N T E R C U L ,   P 1 4 7 ;   C o h e n   R o g e r ,   2 0 0 7 ,   N Y   T I M E S   M A G A Z I N E ;   C r o n i n   M i c h a e l ,   2 0 0 3 ,   T R A N S L A T I O N   G L O B A L I Z ;   G o u a d e c   D a n i e l ,   2 0 0 9 ,   P R O F E S S I O N   T R A D U C T E U ;   H a t i m   B ,   2 0 0 4 ,   T R A N S L A T I O N   A D V   R E S O ;   K o s k i n e n   K a i s a ,   2 0 0 0 ,   A M B I V A L E N C E   P O S T M O D E ;   L o t b i n i e r e - H a r w o o d   S u s a n n e ,   1 9 9 1 ,   R E B E L L E   I N F I D E L E   T R A ;   M e g o n e   C h r i s ,   2 0 0 2 ,   C A S E   H I S T   B U S I N E S S   E ,   P 1 6 1 ;   M U N D A Y   J e r e m y ,   2 0 0 8 ,   I N T R O   T R A N S L A T I O N   S T ;   N a g e l   T h o m a s ,   2 0 0 6 ,   E N C Y C L   P H I L O S ,   P 3 7 9 ;   N o r t o n - T a y l o r   R i c h a r d ,   2 0 0 4 ,   G U A R D I A N ;   P h i l l i p s   M ,   2 0 0 8 ,   S P E C T A T O R ;   P l a t o ,   2 0 0 5 ,   P R O T A G O R A S   M E N O ;   P y m   A ,   2 0 0 1 ,   T R A N S L A T O R ,   V 7 ;   P y m   A n t h o n y ,   2 0 0 1 ,   T R A N S L A T O R ,   V 7 ,   P 1 2 9 ;   R O B I N S O N   D o u g l a s ,   1 9 9 7 ,   B E C O M I N G   T R A N S L A T O R ;   S p e n c e r   R i c h a r d ,   2 0 0 7 ,   D A I L Y   T E L E G R A P H ;   T y m o z c k o   M a r i a ,   2 0 0 3 ,   A P R O P O S   I D E O L O G Y   T R A ,   P 1 8 1 ;   V e n u t i   L a w r e n c e ,   1 9 9 5 ,   T R A N S L A T O R S   I N V I S I B I ;   V e n u t i   L a w r e n c e ,   1 9 9 8 ,   S C A N D A L S   T R A N S L A T I O N 	 3 0 	 0 	 0 	 S T   J E R O M E   P U B L I S H I N G 	 M A N C H E S T E R 	 2   M A P L E   R O A D ,   W E S T ,   B R O O K L A N D S ,   M A N C H E S T E R ,   M 2 3   9 H H ,   E N G L A N D 	 1 7 5 0 - 3 9 9 X 	 	 	 I N T E R P R E T   T R A N S L   T R A 	 I n t e r p r e t .   T r a n s l .   T r a i n . 	 M A R 	 2 0 1 1 	 5 	 1 	 	 	 S I 	 	 1 8 3 	 2 1 1 	 	 	 	 2 9 	 L i n g u i s t i c s ;   L a n g u a g e   &   L i n g u i s t i c s 	 L i n g u i s t i c s 	 0 4 4 W S 	 W O S : 0 0 0 3 1 1 6 5 6 5 0 0 0 0 9 	 	 
 J 	 C l a r k ,   M L ;   A i d e ,   T M 	 	 	 	 C l a r k ,   M a t t h e w   L . ;   A i d e ,   T .   M i t c h e l l 	 	 	 V i r t u a l   I n t e r p r e t a t i o n   o f   E a r t h   W e b - I n t e r f a c e   T o o l   ( V I E W - I T )   f o r   C o l l e c t i n g   L a n d - U s e / L a n d - C o v e r   R e f e r e n c e   D a t a 	 R E M O T E   S E N S I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 r e f e r e n c e   d a t a   c o l l e c t i o n ;   G o o g l e   E a r t h ;   g e o w e b ;   l a n d   u s e / l a n d   c o v e r ;   v o l u n t e e r   g e o g r a p h i c   i n f o r m a t i o n ;   c r o w d s o u r c i n g ;   M O D I S 	 R E S O L U T I O N ;   A C C U R A C Y ;   I M A G E R Y 	 W e b - b a s e d   a p p l i c a t i o n s   t h a t   i n t e g r a t e   g e o s p a t i a l   i n f o r m a t i o n ,   o r   t h e   g e o w e b ,   o f f e r   e x c i t i n g   o p p o r t u n i t i e s   f o r   r e m o t e   s e n s i n g   s c i e n c e .   O n e   s u c h   a p p l i c a t i o n   i s   a   W e b - b a s e d   s y s t e m   f o r   a u t o m a t i n g   t h e   c o l l e c t i o n   o f   r e f e r e n c e   d a t a   f o r   p r o d u c i n g   a n d   v e r i f y i n g   t h e   a c c u r a c y   o f   l a n d - u s e / l a n d - c o v e r   ( L U L C )   m a p s   d e r i v e d   f r o m   s a t e l l i t e   i m a g e r y .   H e r e   w e   d e s c r i b e   t h e   c a p a b i l i t i e s   a n d   t e c h n i c a l   c o m p o n e n t s   o f   t h e   V i r t u a l   I n t e r p r e t a t i o n   o f   E a r t h   W e b - I n t e r f a c e   T o o l   ( V I E W - I T ) ,   a   c o l l a b o r a t i v e   b r o w s e r - b a s e d   t o o l   f o r   " c r o w d s o u r c i n g "   i n t e r p r e t a t i o n   o f   r e f e r e n c e   d a t a   f r o m   h i g h   r e s o l u t i o n   i m a g e r y .   T h e   p r i n c i p a l   c o m p o n e n t   o f   V I E W - I T   i s   t h e   G o o g l e   E a r t h   p l u g - i n ,   w h i c h   a l l o w s   u s e r s   t o   v i s u a l l y   e s t i m a t e   p e r c e n t   c o v e r   o f   s e v e n   b a s i c   L U L C   c l a s s e s   w i t h i n   a   s a m p l e   g r i d .   T h e   c u r r e n t   s y s t e m   p r o v i d e s   a   2 5 0   m   s q u a r e   s a m p l e   t o   m a t c h   t h e   r e s o l u t i o n   o f   M O D I S   s a t e l l i t e   d a t a ,   a l t h o u g h   o t h e r   s c a l e s   c o u l d   b e   e a s i l y   a c c o m m o d a t e d .   U s i n g   V I E W - I T ,   a   t e a m   o f   2 3   s t u d e n t   a n d   7   e x p e r t   i n t e r p r e t e r s   c o l l e c t e d   o v e r   4 6 , 0 0 0   r e f e r e n c e   s a m p l e s   a c r o s s   L a t i n   A m e r i c a   a n d   t h e   C a r i b b e a n .   S a m p l e s   c o v e r e d   a l l   b i o m e s ,   a v o i d e d   s p a t i a l   a u t o c o r r e l a t i o n ,   a n d   s p a n n e d   y e a r s   2 0 0 0   t o   2 0 1 0 .   B y   e m b e d d i n g   G o o g l e   E a r t h   w i t h i n   a   W e b - b a s e d   a p p l i c a t i o n   w i t h   a n   i n t u i t i v e   u s e r   i n t e r f a c e ,   b a s i c   i n t e r p r e t a t i o n   c r i t e r i a ,   d i s t r i b u t e d   I n t e r n e t   a c c e s s ,   s e r v e r - s i d e   s t o r a g e ,   a n d   a u t o m a t e d   e r r o r - c h e c k i n g ,   V I E W - I T   p r o v i d e s   a   t i m e   a n d   c o s t   e f f i c i e n t   m e a n s   o f   c o l l e c t i n g   a   l a r g e   d a t a s e t   o f   s a m p l e s   a c r o s s   s p a c e   a n d   t i m e .   W h e n   m a t c h e d   w i t h   p r e d i c t o r   v a r i a b l e s   f r o m   s a t e l l i t e   i m a g e r y ,   t h e s e   d a t a   c a n   p r o v i d e   r o b u s t   m a p p i n g   a l g o r i t h m   c a l i b r a t i o n   a n d   a c c u r a c y   a s s e s s m e n t .   T h i s   d e v e l o p m e n t   i s   p a r t i c u l a r l y   i m p o r t a n t   f o r   r e g i o n a l   t o   g l o b a l   s c a l e   L U L C   m a p p i n g   e f f o r t s ,   w h i c h   h a v e   t r a d i t i o n a l l y   r e l i e d   o n   s p a r s e   s a m p l i n g   o f   m e d i u m   r e s o l u t i o n   i m a g e r y   a n d   p r o d u c t s   f o r   r e f e r e n c e   d a t a .   O u r   u l t i m a t e   g o a l   i s   t o   m a k e   V I E W - I T   a v a i l a b l e   t o   a l l   u s e r s   t o   p r o m o t e   r i g o r o u s ,   g l o b a l   l a n d - c h a n g e   m o n i t o r i n g . 	 [ C l a r k ,   M a t t h e w   L . ]   S o n o m a   S t a t e   U n i v ,   D e p t   G e o g   &   G l o b a l   S t u d i e s ,   C t r   I n t e r d i s c i p l i n a r y   G e o s p a t i a l   A n a l ,   R o h n e r t   P k ,   C A   9 4 9 2 8   U S A ;   [ A i d e ,   T .   M i t c h e l l ]   U n i v   P u e r t o   R i c o ,   D e p t   B i o l ,   S a n   J u a n ,   P R   0 0 9 3 1   U S A 	 C l a r k ,   M L   ( r e p r i n t   a u t h o r ) ,   S o n o m a   S t a t e   U n i v ,   D e p t   G e o g   &   G l o b a l   S t u d i e s ,   C t r   I n t e r d i s c i p l i n a r y   G e o s p a t i a l   A n a l ,   R o h n e r t   P k ,   C A   9 4 9 2 8   U S A . 	 m a t e o l c l a r k @ g m a i l . c o m ;   t m a i d e @ y a h o o . c o m 	 	 	 U S   N a t i o n a l   S c i e n c e   F o u n d a t i o n   ( N S F )   [ 0 7 0 9 6 4 5 ,   0 7 0 9 5 9 8 ] 	 V I E W - I T   d e v e l o p m e n t   w a s   f u n d e d   b y   a   D y n a m i c s   o f   C o u p l e d   N a t u r a l   a n d   H u m a n   S y s t e m s   g r a n t   f r o m   t h e   U S   N a t i o n a l   S c i e n c e   F o u n d a t i o n   ( N S F   #   0 7 0 9 6 4 5   a n d   0 7 0 9 5 9 8 ) .   P r o g r a m m i n g   e x p e r t i s e   w a s   p r o v i d e d   b y   A l b e r t o   E s t r a d a ,   J o s e p h   M u l l e r ,   P e d r o   P a s t r a n a ,   H e c t o r   R o d r i g u e z ,   Z h a h a i   S t e w a r t   a n d   D a v i d   T u r o v e r .   W e   t h a n k   G e o r g e   R i n e r   a n d   s t u d e n t s   a t   S o n o m a   S t a t e   U n i v e r s i t y   a n d   U n i v e r s i t y   o f   P u e r t o   R i c o   t h a t   h e l p e d   i n t e r p r e t   G o o g l e   E a r t h   i m a g e r y   i n   V I E W - I T .   W e   t h a n k   a n o n y m o u s   r e v i e w e r s   f o r   h e l p i n g   u s   i m p r o v e   t h i s   p a p e r . 	 B e a u d e t t e   D E ,   2 0 0 9 ,   C O M P U T   G E O S C I - U K ,   V 3 5 ,   P 2 1 1 9 ,   D O I   1 0 . 1 0 1 6 / j . c a g e o . 2 0 0 8 . 1 0 . 0 1 6 ;   B o u l o s   M . N . K . ,   2 0 0 8 ,   I N T   J   H E A L T H   G E O G R ,   V 7 ,   P 1 ;   B u t l e r   D ,   2 0 0 6 ,   N A T U R E ,   V 4 3 9 ,   P 6 ,   D O I   1 0 . 1 0 3 8 / 4 3 9 0 0 6 a ;   C l a r k   M L ,   2 0 1 0 ,   R E M O T E   S E N S   E N V I R O N ,   V 1 1 4 ,   P 2 8 1 6 ,   D O I   1 0 . 1 0 1 6 / j . r s e . 2 0 1 0 . 0 7 . 0 0 1 ;   D e   F r i e s   R S ,   1 9 9 8 ,   I N T   J   R E M O T E   S E N S ,   V 1 9 ,   P 3 1 4 1 ,   D O I   1 0 . 1 0 8 0 / 0 1 4 3 1 1 6 9 8 2 1 4 2 3 5 ;   F r i t z   S ,   2 0 0 9 ,   R E M O T E   S E N S - B A S E L ,   V 1 ,   P 3 4 5 ,   D O I   1 0 . 3 3 9 0 / r s 1 0 3 0 3 4 5 ;   G o o d c h i l d   M . F . ,   2 0 0 7 ,   G E O J O U R N A L ,   V 6 9 ,   P 2 1 1 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 7 - 9 1 1 1 - Y ;   H a n s e n   M .   C . ,   2 0 0 3 ,   E A R T H   I N T E R A C T ,   V 7 ,   P 1 ,   D O I   [ 1 0 . 1 1 7 5 / 1 0 8 7 - 3 5 6 2 ( 2 0 0 3 ) 0 0 7 ; 0 0 0 1 : G P T C A A & G T ; 2 . 0 . C O ; 2 ,   D O I   1 0 . 1 1 7 5 / 1 0 8 7 - 3 5 6 2 ] ;   H a n s e n   M C ,   2 0 1 1 ,   R E M O T E   S E N S   L E T T ,   V 2 ,   P 2 7 9 ,   D O I   1 0 . 1 0 8 0 / 0 1 4 3 1 1 6 1 . 2 0 1 0 . 5 1 9 0 0 2 ;   H e l m e r   E H ,   2 0 0 9 ,   J   A P P L   R E M O T E   S E N S ,   V 3 ,   D O I   1 0 . 1 1 1 7 / 1 . 3 0 8 2 1 1 6 ;   H u d s o n - S m i t h   A ,   2 0 0 9 ,   S O C   S C I   C O M P U T   R E V ,   V 2 7 ,   P 5 2 4 ,   D O I   1 0 . 1 1 7 7 / 0 8 9 4 4 3 9 3 0 9 3 3 2 2 9 9 ;   M u l l i g a n   M . ,   2 0 0 8 ,   R A L U C I A P A   R A P I D   A S S E ;   O l s o n   D M ,   2 0 0 1 ,   B I O S C I E N C E ,   V 5 1 ,   P 9 3 3 ,   D O I   1 0 . 1 6 4 1 / 0 0 0 6 - 3 5 6 8 ( 2 0 0 1 ) 0 5 1 [ 0 9 3 3 : T E O T W A ] 2 . 0 . C O ; 2 ;   P o t e r e   D ,   2 0 0 8 ,   S E N S O R S - B A S E L ,   V 8 ,   P 7 9 7 3 ,   D O I   1 0 . 3 3 9 0 / s 8 1 2 7 9 7 3 ;   S t e n s g a a r d   A . - S . ,   2 0 0 8 ,   G E O S P A T   H L T H ,   V 3 ,   P 1 2 7 ;   T h e n k a b a i l   P S ,   2 0 0 7 ,   S E N S O R S - B A S E L ,   V 7 ,   P 2 5 1 9 ,   D O I   1 0 . 3 3 9 0 / s 7 1 1 2 5 1 9 ;   W o l f e   R E ,   2 0 0 2 ,   R E M O T E   S E N S   E N V I R O N ,   V 8 3 ,   P 3 1 ,   D O I   1 0 . 1 0 1 6 / S 0 0 3 4 - 4 2 5 7 ( 0 2 ) 0 0 0 8 5 - 8 	 1 7 	 1 5 	 1 5 	 M D P I   A G 	 B A S E L 	 P O S T F A C H ,   C H - 4 0 0 5   B A S E L ,   S W I T Z E R L A N D 	 2 0 7 2 - 4 2 9 2 	 	 	 R E M O T E   S E N S - B A S E L 	 R e m o t e   S e n s . 	 M A R 	 2 0 1 1 	 3 	 3 	 	 	 	 	 6 0 1 	 6 2 0 	 	 1 0 . 3 3 9 0 / r s 3 0 3 0 6 0 1 	 	 2 0 	 R e m o t e   S e n s i n g 	 R e m o t e   S e n s i n g 	 9 7 8 M M 	 W O S : 0 0 0 3 0 6 7 4 5 8 0 0 0 1 1 	 	 
 S 	 M o n t u l l ,   J M 	 	 G a r c i a B a r r i o c a n a l ,   E ;   C e b e c i ,   Z ;   O k u r ,   M C ;   O z t u r k ,   A 	 	 M o n t u l l ,   J a v i e r   M a r t i n 	 	 	 I N S P I R E :   M a n a g i n g   M e t a d a t a   i n   a   G l o b a l   D i g i t a l   L i b r a r y   f o r   H i g h - E n e r g y   P h y s i c s 	 M E T A D A T A   A N D   S E M A N T I C   R E S E A R C H 	 C o m m u n i c a t i o n s   i n   C o m p u t e r   a n d   I n f o r m a t i o n   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 5 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   M e t a d a t a   a n d   S e m a n t i c   R e s e a r c h 	 O C T   1 2 - 1 4 ,   2 0 1 1 	 I z m i r ,   T U R K E Y 	 N e t s i s ,   B i l g i t u r k   T e k n o l o j i ,   A g r o   K n o w   T e c h n o l ,   T e c h n o l   &   S u s t a i n a b i l   R e s   I n s t 	 Y a s a r   U n i v 	 D i g i t a l   l i b r a r y ;   h i g h - e n e r g y   p h y s i c s ;   m e t a d a t a   c u r a t i o n 	 	 F o u r   l e a d i n g   l a b o r a t o r i e s   i n   t h e   H i g h - E n e r g y   P h y s i c s   ( H E P )   f i e l d   a r e   c o l l a b o r a t i n g   t o   r o l l - o u t   t h e   n e x t - g e n e r a t i o n   s c i e n t i f i c   i n f o r m a t i o n   p o r t a l :   I N S P I R E .   T h e   g o a l   o f   t h i s   p r o j e c t   i s   t o   r e p l a c e   t h e   p o p u l a r   4 0   y e a r - o l d   S P I R E S   d a t a b a s e .   I N S P I R E   a l r e a d y   p r o v i d e s   a c c e s s   t o   a b o u t   I   m i l l i o n   r e c o r d s   a n d   i n c l u d e s   s e r v i c e s   s u c h   a s   f u l l t e x t   s e a r c h ,   a u t o m a t i c   k e y w o r d   a s s i g n m e n t ,   i n g e s t i o n   a n d   a u t o m a t i c   d i s p l a y   o f   L a T e X ,   c i t a t i o n   a n a l y s i s ,   a u t o m a t i c   a u t h o r   d i s a m b i g u a t i o n ,   m e t a d a t a   h a r v e s t i n g ,   e x t r a c t i o n   o f   f i g u r e s   f r o m   f u l l t e x t   a n d   s e a r c h   i n   f i g u r e   c a p t i o n s .   I n   o r d e r   t o   a c h i e v e   h i g h   q u a l i t y   m e t a d a t a   b o t h   a u t o m a t i c   p r o c e s s i n g   a n d   m a n u a l   c u r a t i o n   a r e   n e e d e d .   T h e   d i f f e r e n t   t o o l s   a v a i l a b l e   i n   t h e   s y s t e m   u s e   m o d e r n   w e b   t e c h n o l o g i e s   t o   p r o v i d e   t h e   c u r a t o r s   o f   t h e   m a x i m u m   e f f i c i e n c y ,   w h i l e   d e a l i n g   w i t h   t h e   M A R C   s t a n d a r d   f o r m a t .   T h e   p r o j e c t   i s   u n d e r   h e a v y   d e v e l o p m e n t   i n   o r d e r   t o   p r o v i d e   n e w   f e a t u r e s   i n c l u d i n g   s e m a n t i c   a n a l y s i s ,   c r o w d s o u r c i n g   o f   m e t a d a t a   c u r a t i o n ,   u s e r   t a g g i n g ,   r e c o m m e n d e r   s y s t e m s ,   i n t e g r a t i o n   o f   O A I S   s t a n d a r d s   a n d   i n n o v a t i v e   m e t r i c s . 	 C E R N ,   C H - 1 2 1 1   G e n e v a   2 3 ,   S w i t z e r l a n d 	 M o n t u l l ,   J M   ( r e p r i n t   a u t h o r ) ,   C E R N ,   C H - 1 2 1 1   G e n e v a   2 3 ,   S w i t z e r l a n d . 	 j a v i e r . m a r t i n . m o n t u l l @ c e r n . c h 	 	 	 	 	 H o l t k a m p   A . ,   C E R N O P E N 2 0 1 0 0 1 9 	 1 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 1 8 6 5 - 0 9 2 9 	 	 9 7 8 - 3 - 6 4 2 - 2 4 7 3 0 - 9 	 C O M M   C O M   I N F   S C 	 	 	 2 0 1 1 	 2 4 0 	 	 	 	 	 	 2 6 9 	 2 7 4 	 	 	 	 6 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B C H 1 0 	 W O S : 0 0 0 3 1 0 1 8 1 2 0 0 0 2 8 	 	 
 B 	 M a h e r ,   M L 	 	 T a u r a ,   T ;   N a g a i ,   Y 	 	 M a h e r ,   M a r y   L . 	 	 	 D e s i g n   C r e a t i v i t y   R e s e a r c h :   F r o m   t h e   I n d i v i d u a l   t o   t h e   C r o w d 	 D E S I G N   C R E A T I V I T Y   2 0 1 0 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 s t   I n t e r n a t i o n a l   C o n f e r e n c e   o n   D e s i g n   C r e a t i v i t y 	 N O V   2 9 - D E C   0 1 ,   2 0 1 0 	 K o b e ,   J A P A N 	 S p r i n g e r ,   E x t r a   M a t e r i a l s ,   D e s i g n   S o c ,   D e s i g n   C r e a t ,   S p e c i a l   I n t e r e s t   G r p 	 	 c r e a t i v e   p r o c e s s e s ;   e v a l u a t i n g   c r e a t i v i t y ;   c o l l e c t i v e   i n t e l l i g e n c e ;   c r o w d s o u r c i n g 	 	 R e s e a r c h   i n   d e s i g n   c r e a t i v i t y   h a s   f o c u s e d   o n   i n d i v i d u a l   c r e a t i v i t y   a n d   o n   c r e a t i v i t y   i n   a   c o l l a b o r a t i v e   o r   o r g a n i z a t i o n a l   s e t t i n g .   C o l l e c t i v e   d e s i g n   a n d   c r o w d s o u r c i n g   c r e a t i v i t y   d i f f e r   f r o m   i n d i v i d u a l   a n d   c o l l a b o r a t i v e   c r e a t i v e   d e s i g n   b y   b u i l d i n g   o n   t h e   f o u n d a t i o n s   o f   s o c i a l   c o m p u t i n g   s o   t h a t   i n d i v i d u a l s   a r e   m o t i v a t e d   t o   c o n t r i b u t e   v o l u n t a r i l y .   R e s e a r c h   t h a t   i m p r o v e s   o u r   u n d e r s t a n d i n g   a n d   s u p p o r t   f o r   t h e s e   p h e n o m e n a   i s   a   t r a j e c t o r y   f r o m   e x i s t i n g   c r e a t i v i t y   a n d   d e s i g n   r e s e a r c h   m e t h o d s   a n d   m o d e l s   t h a t   s t u d y   i n d i v i d u a l s   a n d   t e a m s   t o   s t u d y i n g   c r o w d s .   T h r e e   d i r e c t i o n s   f o r   r e s e a r c h   i n   c r o w d s o u r c i n g   c r e a t i v i t y   a r e :   t e c h n o l o g y   d e v e l o p m e n t ,   c r e a t i v e   d e s i g n   p r o c e s s e s ,   a n d   e v a l u a t i n g   c r e a t i v i t y . 	 U n i v   S y d n e y ,   S y d n e y ,   N S W   2 0 0 6 ,   A u s t r a l i a 	 M a h e r ,   M L   ( r e p r i n t   a u t h o r ) ,   U n i v   S y d n e y ,   S y d n e y ,   N S W   2 0 0 6 ,   A u s t r a l i a . 	 	 	 	 	 	 A m a b i l e   T M ,   1 9 9 6 ,   A C A D   M A N A G E   J ,   V 3 9 ,   P 1 1 5 4 ,   D O I   1 0 . 2 3 0 7 / 2 5 6 9 9 5 ;   B o d e n   M .   A . ,   2 0 0 3 ,   C R E A T I V E   M I N D   M Y T H S ;   G e r o   J S ,   2 0 0 0 ,   T E C H N O L   F O R E C A S T   S O C ,   V 6 4 ,   P 1 8 3 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 0 - 1 6 2 5 ( 9 9 ) 0 0 1 0 5 - 5 ;   H o w e   J . ,   2 0 0 9 ,   C R O W D S O U R C I N G   W H Y   P O ;   K i m   M J ,   2 0 0 8 ,   D E S I G N   S T U D ,   V 2 9 ,   P 2 2 2 ,   D O I   1 0 . 1 0 1 6 / j . d e s t u d . 2 0 0 7 . 1 2 . 0 0 6 ;   M a h e r   M .   L . ,   2 0 1 0 ,   D E S I G N   C O M P U T I N G   C O G ,   P 5 8 1 ;   M a h e r   M L ,   2 0 1 0 ,   A C M   I N T   C   P   S E R I E S ,   P 2 2 ;   M a l o n e   T .   W . ,   2 0 0 9 ,   4 7 3 2 0 9   M I T   S L O A N   S C H ;   N o v   O ,   2 0 0 7 ,   C O M M U N   A C M ,   V 5 0 ,   P 6 0 ,   D O I   1 0 . 1 1 4 5 / 1 2 9 7 7 9 7 . 1 2 9 7 7 9 8 ;   O m a n   S ,   2 0 0 9 ,   I C E D   0 9   -   T H E   1 7 T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   E N G I N E E R I N G   D E S I G N ,   V O L   2 :   D E S I G N   T H E O R Y   A N D   R E S E A R C H   M E T H O D O L O G Y ,   P 1 4 5 ;   P o l i t i s   J D ,   2 0 0 4 ,   E L E C T   J   K N O W L E D G E   M A ,   V 2 ;   S h a h   J .   J . ,   2 0 0 3 ,   D e s i g n   S t u d i e s ,   V 2 4 ,   D O I   1 0 . 1 0 1 6 / S 0 1 4 2 - 6 9 4 X ( 0 2 ) 0 0 0 3 4 - 0 ;   S h i r k y   C ,   2 0 0 9 ,   H E R E   C O M E S   E V E R Y B O D Y ;   W i g g i n s   G A ,   2 0 0 6 ,   K N O W L - B A S E D   S Y S T ,   V 1 9 ,   P 4 4 9 ,   D O I   1 0 . 1 0 1 6 / j . k n o s y s . 2 0 0 6 . 0 4 . 0 0 9 	 1 4 	 0 	 0 	 S P R I N G E R - V E R L A G   L O N D O N   L T D 	 G O D A L M I N G 	 S W E E T A P P L E   H O U S E   C A T T E S H A L L   R D   F A R N C O M B E ,   G O D A L M I N G   G U 7   1 N H ,   S U R R E Y ,   E N G L A N D 	 	 	 9 7 8 - 0 - 8 5 7 2 9 - 2 2 3 - 0 	 	 	 	 2 0 1 1 	 	 	 	 	 	 	 4 1 	 4 7 	 	 1 0 . 1 0 0 7 / 9 7 8 - 0 - 8 5 7 2 9 - 2 2 4 - 7 _ 7 	 	 7 	 E n g i n e e r i n g ,   M a n u f a c t u r i n g 	 E n g i n e e r i n g 	 B C H 0 6 	 W O S : 0 0 0 3 1 0 1 7 7 9 0 0 0 0 7 	 	 
 S 	 S i l v a ,   C ;   R a m o s ,   I 	 	 C r u z C u n h a ,   M M ;   V a r a j a o ,   J ;   P o w e l l ,   P ;   M a r t i n h o ,   R 	 	 S i l v a ,   C a n d i d a ;   R a m o s ,   I s a b e l 	 	 	 K n o w l e d g e   R e p o s i t o r y   F r a m e w o r k   f o r   C r o w d s o u r c i n g   I n n o v a t i o n   I n t e r m e d i a r y :   A   P r o p o s a l 	 E N T E R P R I S E   I N F O R M A T I O N   S Y S T E M S ,   P T   1 	 C o m m u n i c a t i o n s   i n   C o m p u t e r   a n d   I n f o r m a t i o n   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I n t e r n a t i o n a l   C o n f e r e n c e   o n   E n t e r r i s e   I n f o r m a t i o n   S y s t e m s 	 O C T   0 5 - 0 7 ,   2 0 1 1 	 V i l a m o u r a ,   P O R T U G A L 	 P o l y t e c h n   I n s t   C a v a d o   &   A v e ,   U n i v   T r a s   o s   M o n t e s   &   A l t o   D o u r o 	 	 o p e n   i n n o v a t i o n ;   c r o w d s o u r c i n g   i n n o v a t i o n ;   k n o w l e d g e   r e p o s i t o r y ;   o n t o l o g i e s 	 E N T E R P R I S E   O N T O L O G Y 	 A   c r o w d s o u r c i n g   i n n o v a t i o n   i n t e r m e d i a r y   p e r f o r m s   m e d i a t i o n   a c t i v i t i e s   b e t w e e n   c o m p a n i e s   t h a t   h a v e   a   p r o b l e m   t o   s o l v e   o r   t h a t   s e e k   a   b u s i n e s s   o p p o r t u n i t y ,   a n d   a   g r o u p   o f   p e o p l e   m o t i v a t e d   t o   p r e s e n t   i d e a s   b a s e d   o n   t h e i r   k n o w l e d g e .   e x p e r i e n c e   a n d   w i s d o m ,   t a k i n g   a d v a n t a g e   o f   t e c h n o l o g y   s h a r i n g   a n d   c o l l a b o r a t i o n   e m e r g i n g   f r o m   W e b 2 . 0 .   A s   f a r   a s   w e   k n o w ,   m o s t   o f   t h e   p r e s e n t   i n t e r m e d i a r i e s   d o n ' t   h a v e ,   y e t .   a n   i n t e g r a t e d   v i s i o n   t h a t   c o m b i n e s   t h e   c r e a t i o n   o f   v a l u e   t h r o u g h   c o m m u n i t y   d e v e l o p m e n t ,   b r o k e r i n g   a n d   t e c h n o l o g y   t r a n s f e r .   I n   t h i s   p a p e r   w e   p r e s e n t   a   p r o p o s a l   o f   a   k n o w l e d g e   r e p o s i t o r y   f r a m e w o r k   f o r   c r o w d s o u r c i n g   i n n o v a t i o n   t h a t   e n a b l e s   e f f e c t i v e   s u p p o r t   a n d   i n t e g r a t i o n   o f   t h e   a c t i v i t i e s   d e v e l o p e d   i n   t h e   p r o c e s s   o f   v a l u e   c r e a t i o n   ( c o m m u n i t y   b u i l d i n g .   b r o k e r i n g   a n d   t e c h n o l o g y   t r a n s f e r ) .   m o d e l e d   u s i n g   o n t o l o g y   e n g i n e e r i n g   m e t h o d s . 	 [ S i l v a ,   C a n d i d a ]   P o l y t e c h   I n s t   O p o r t o ,   S c h   M a n a g e m e n t   &   I n d   S t u d i e s ,   P - 9 8 1 4 4 8 0 8 7   V i l a   D o c o n d e ,   P o r t u g a l 	 S i l v a ,   C   ( r e p r i n t   a u t h o r ) ,   P o l y t e c h   I n s t   O p o r t o ,   S c h   M a n a g e m e n t   &   I n d   S t u d i e s ,   R u a   D   S a n c h o   1 ,   P - 9 8 1 4 4 8 0 8 7   V i l a   D o c o n d e ,   P o r t u g a l . 	 c a n d i d a s i l v a @ e u . i p p . p t ;   i r a m o s @ d s i . u m i n h o . p t 	 	 	 	 	 A d a m s   C . ,   2 0 0 9 ,   C U T T E R   I T   J ,   V 2 2 ;   B U L L I N G E R   A . ,   2 0 0 8 ,   I N N O V A T I O N   O N T O L O G I E ;   C h e s b r o u g h   H . ,   2 0 0 6 ,   O P E N   I N N O V A T I O N   R E S ;   C h e s b r o u g h   H . H . ,   M I T   S L O A N   M A N A G E M E N T ,   V 1 4 ,   P 3 5 ;   C o r c h o   O . ,   2 0 0 2 ,   K N O W L E D G E   E N G   K N O W L E ,   P 2 9 5 ;   D o n   T a p s c o t t ,   2 0 0 8 ,   W I K I N O M I C S   M A S S   C O L L ;   F e n s e l   D . ,   2 0 0 0 ,   P   E B U S   E W O R K   2 0 0 0   E M ;   F e n s e l   D . ,   2 0 0 4 ,   S I L V E S   B U L L E T   K N O W L E ;   G a s e v i c   D . ,   2 0 0 6 ,   M O D E L   D R I V E N   A R C H I T E ;   G R U B E R   T R ,   1 9 9 3 ,   K N O W L   A C Q U I S ,   V 5 ,   P 1 9 9 ,   D O I   1 0 . 1 0 0 6 / k n a c . 1 9 9 3 . 1 0 0 8 ;   H e p p   M . ,   2 0 0 7 ,   O N T O L O G Y   M A N A G E M E N T ,   P 3 ;   H e p p   M ,   2 0 0 7 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 1 ,   P 9 0 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 0 7 . 2 0 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   H o w e   J . ,   2 0 0 8 ,   C R O W N   B U S I N E S S ;   L e p p a n e n   M ,   2 0 0 7 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 4 3 9 ,   P 2 7 3 ;   L o p e z   M F ,   1 9 9 9 ,   I E E E   I N T E L L   S Y S T   A P P ,   V 1 4 ,   P 3 7 ,   D O I   1 0 . 1 1 0 9 / 5 2 5 4 . 7 4 7 9 0 4 ;   M a r k u s   L .   M . ,   2 0 0 1 ,   J   M A N A G E M E N T   I N F O R M ,   V 1 8 ,   P 5 7 ;   N I N G   K . ,   2 0 0 6 ,   I N T   J   I N D   S Y S T E M S   E N ,   V 1 ,   P 1 0 9 ,   D O I   D O I   1 0 . 1 5 0 4 / I J I S E . 2 0 0 6 . 0 0 9 0 5 2 ;   R a m o s   I ,   2 0 0 9 ,   I F I P   A D V   I N F   C O M M   T E ,   V 3 0 1 ,   P 2 1 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 2 3 8 8 - 0 _ 1 5 ;   R i e d l   C ,   2 0 0 9 ,   I N T   J   S E M A N T   W E B   I N F ,   V 5 ,   P 1 ,   D O I   1 0 . 4 0 1 8 / j s w i s . 2 0 0 9 1 0 0 1 0 1 ;   S m i r n o v   A ,   2 0 0 5 ,   S T   H E A L   T ,   V 1 1 2 ,   P 4 7 ;   T a n g   L A ,   2 0 0 6 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 8 4 1 ,   P 1 1 6 3 ;   U s c h o l d   M ,   1 9 9 8 ,   K N O W L   E N G   R E V ,   V 1 3 ,   P 3 1 ,   D O I   1 0 . 1 0 1 7 / S 0 2 6 9 8 8 8 9 9 8 0 0 1 0 8 8 ;   W a l l i n   M W ,   2 0 1 0 ,   O R G A N   D Y N ,   V 3 9 ,   P 1 4 5 ,   D O I   1 0 . 1 0 1 6 / j . o r g d y n . 2 0 1 0 . 0 1 . 0 1 0 	 2 4 	 0 	 0 	 S P R I N G E R 	 N E W   Y O R K 	 2 3 3   S P R I N G   S T R E E T ,   N E W   Y O R K ,   N Y   1 0 0 1 3 ,   U N I T E D   S T A T E S 	 1 8 6 5 - 0 9 2 9 	 	 9 7 8 - 3 - 6 4 2 - 2 4 3 5 7 - 8 	 C O M M   C O M   I N F   S C 	 	 	 2 0 1 1 	 2 1 9 	 	 	 	 	 	 3 7 1 	 3 7 9 	 	 	 	 9 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s 	 C o m p u t e r   S c i e n c e 	 B C D 8 6 	 W O S : 0 0 0 3 0 9 8 9 3 7 0 0 0 3 7 	 	 
 S 	 V i a p p i a n i ,   P ;   Z i l l e s ,   S ;   H a m i l t o n ,   H J ;   B o u t i l i e r ,   C 	 	 B r a f m a n ,   R I ;   R o b e r t s ,   F S ;   T s o u k i a s ,   A 	 	 V i a p p i a n i ,   P a o l o ;   Z i l l e s ,   S a n d r a ;   H a m i l t o n ,   H o w a r d   J . ;   B o u t i l i e r ,   C r a i g 	 	 	 L e a r n i n g   C o m p l e x   C o n c e p t s   U s i n g   C r o w d s o u r c i n g :   A   B a y e s i a n   A p p r o a c h 	 A L G O R I T H M I C   D E C I S I O N   T H E O R Y 	 L e c t u r e   N o t e s   i n   A r t i f i c i a l   I n t e l l i g e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 2 n d   I n t e r n a t i o n a l   C o n f e r e n c e   o n   A l g o r i t h m i c   D e c i s i o n   T h e o r y ,   A D T   2 0 1 1 	 O C T   2 6 - 2 8 ,   2 0 1 1 	 P i s c a t a w a y ,   N J 	 D I M A C S ,   A s s o c   E u r o p e a n   O p e r a t   R e s   S o c ,   C N R S ,   N S F ,   U n i v   P a r i s   D a u p h i n e 	 	 	 I N F O R M A T I O N 	 W e   d e v e l o p   a   B a y e s i a n   a p p r o a c h   t o   c o n c e p t   l e a r n i n g   f o r   c r o w d s o u r c i n g   a p p l i c a t i o n s .   A   p r o b a b i l i s t i c   b e l i e f   o v e r   p o s s i b l e   c o n c e p t   d e f i n i t i o n s   i s   m a i n t a i n e d   a n d   u p d a t e d   a c c o r d i n g   t o   ( n o i s y )   o b s e r v a t i o n s   f r o m   e x p e r t s ,   w h o s e   b e h a v i o r s   a r e   m o d e l e d   u s i n g   d i s c r e t e   t y p e s .   W e   p r o p o s e   r e c o m m e n d a t i o n   t e c h n i q u e s ,   i n f e r e n c e   m e t h o d s ,   a n d   q u e r y   s e l e c t i o n   s t r a t e g i e s   t o   a s s i s t   a   u s e r   c h a r g e d   w i t h   c h o o s i n g   a   c o n f i g u r a t i o n   t h a t   s a t i s f i e s   s o m e   ( p a r t i a l l y   k n o w n )   c o n c e p t .   O u r   m o d e l   i s   a b l e   t o   s i m u l t a n e o u s l y   l e a r n   t h e   c o n c e p t   d e f i n i t i o n   a n d   t h e   t y p e s   o f   t h e   e x p e r t s .   W e   e v a l u a t e   o u r   m o d e l   w i t h   s i m u l a t i o n s ,   s h o w i n g   t h a t   o u r   B a y e s i a n   s t r a t e g i e s   a r e   e f f e c t i v e   e v e n   i n   l a r g e   c o n c e p t   s p a c e s   w i t h   m a n y   u n i n f o r m a t i v e   e x p e r t s . 	 [ V i a p p i a n i ,   P a o l o ]   A a l b o r g   U n i v ,   D e p t   C o m p   S c i ,   A a l b o r g ,   D e n m a r k 	 V i a p p i a n i ,   P   ( r e p r i n t   a u t h o r ) ,   A a l b o r g   U n i v ,   D e p t   C o m p   S c i ,   A a l b o r g ,   D e n m a r k . 	 	 	 	 	 	 A n g l u i n   D . ,   1 9 8 8 ,   M a c h i n e   L e a r n i n g ,   V 2 ,   D O I   1 0 . 1 0 0 7 / B F 0 0 1 1 6 8 2 8 ;   B o u t i l i e r   C . ,   2 0 0 9 ,   P   2 6   I N T   C   M A C H   L E A R ,   P 7 3 ;   B o u t i l i e r   C . ,   2 0 1 0 ,   P   N A T   C   A R T   I N T   A A A I ,   P 1 1 6 0 ;   C h e n   S . ,   2 0 1 0 ,   P   2 4   A A A I   C   A R T   I N T ,   P 4 1 9 ;   D a i   P . ,   2 0 1 0 ,   P   2 4   A A A I   C   A R T   I N T ,   P 1 1 6 8 ;   H a u s s l e r   D . ,   1 9 8 9 ,   M a c h i n e   L e a r n i n g ,   V 4 ,   D O I   1 0 . 1 0 0 7 / B F 0 0 1 1 4 8 0 2 ;   H E C K E R M A N   D ,   1 9 9 3 ,   I E E E   T   P A T T E R N   A N A L ,   V 1 5 ,   P 2 9 2 ,   D O I   1 0 . 1 1 0 9 / 3 4 . 2 0 4 9 1 2 ;   H O W A R D   R A ,   1 9 6 6 ,   I E E E   T   S Y S T   S C I   C Y B ,   V S S C 2 ,   P 2 2 ,   D O I   1 0 . 1 1 0 9 / T S S C . 1 9 6 6 . 3 0 0 0 7 4 ;   K E A R N S   M ,   1 9 9 3 ,   S I A M   J   C O M P U T ,   V 2 2 ,   P 8 0 7 ,   D O I   1 0 . 1 1 3 7 / 0 2 2 2 0 5 2 ;   M i t c h e l l   T . M . ,   1 9 7 7 ,   P   5   I N T   J O I N T   C   A R T ,   P 3 0 5 ;   S h a h a f   D . ,   2 0 1 0 ,   P   2 4   A A A I   C   A R T   I N T ,   P 9 8 6 ;   S u t t o n   R ,   1 9 9 8 ,   R E I N F O R C E M E N T   L E A R N I ;   V i a p p i a n i   P . ,   2 0 1 0 ,   A D V   N E U R A L   I N F O R M   P R ,   V 2 3 ,   P 2 3 5 2 	 1 3 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 2 4 8 7 2 - 6 	 L E C T   N O T E S   A R T I F   I N T 	 	 	 2 0 1 1 	 6 9 9 2 	 	 	 	 	 	 2 7 7 	 2 9 1 	 	 	 	 1 5 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   M a t h e m a t i c s 	 C o m p u t e r   S c i e n c e ;   M a t h e m a t i c s 	 B B P 3 4 	 W O S : 0 0 0 3 0 7 7 9 2 7 0 0 0 2 1 	 	 
 B 	 S o b k e ,   H ;   H a d l i c h ,   C ;   B r o k e r ,   T ;   K o r n a d t ,   O 	 	 G o u s c o s ,   D ;   M e i m a r i s ,   M 	 	 S o e b k e ,   H e i n r i c h ;   H a d l i c h ,   C h r i s t i a n e ;   B r o e k e r ,   T h o m a s ;   K o r n a d t ,   O l i v e r 	 	 	 C o n c e p t   o f   a   G a m i n g   P l a t f o r m   f o r   D o m a i n - S p e c i f i c   U s e r - C r e a t e d   C o n t e n t 	 P R O C E E D I N G S   O F   T H E   5 T H   E U R O P E A N   C O N F E R E N C E   O N   G A M E S   B A S E D   L E A R N I N G 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 5 t h   E u r o p e a n   C o n f e r e n c e   o n   G a m e s   B a s e d   L e a r n i n g 	 O C T   2 0 - 2 1 ,   2 0 1 1 	 A t h e n s ,   G R E E C E 	 	 N a t l   &   K a p o d i s t r i a n   U n i v   A t h e n s 	 g a m e   b a s e d   l e a r n i n g ;   e d u c a t i o n a l   g a m i n g ;   a r c h i t e c t u r e ;   f r a m e w o r k ;   c r o w d s o u r c i n g ;   e x t e n s i b i l i t y ;   m o d u l a r i t y 	 	 S i m u l a t i o n - b a s e d   v i d e o   g a m i n g   i s   a   s u i t a b l e   e d u c a t i o n a l   t o o l   t o   d e a l   w i t h   t h e   k i n d s   o f   i l l - s t r u c t u r e d   p r o b l e m s   w h i c h   a r e   p r e v a l e n t   i n   e n g i n e e r i n g   d i s c i p l i n e s .   T h e r e   i s   a   l a c k   o f   s u c h   c o s t l y   v i d e o   g a m e s .   T h i s   p a p e r   i n t r o d u c e s   t h e   c o n c e p t   f o r   a n d   a r c h i t e c t u r e   o f   a n   e d u c a t i o n a l   o n l i n e   g a m i n g   p l a t f o r m .   T h e   m a i n   i d e a   o f   t h i s   p l a t f o r m   i s   c r o w d s o u r c i n g :   D o m a i n   e x p e r t s   a n d   p l a y e r s   c o n t r i b u t e   c o n t e n t   b y   p r o v i d i n g   s c e n a r i o s .   T h i s   s h o u l d   l o w e r   t h e   c o s t s   o f   d e v e l o p m e n t   t o   a n   a c c e p t a b l e   l e v e l .   W e   u s e   r e c e n t l y   e v o l v e d   p r i n c i p l e s   o f   c o n v e n t i o n a l   s o f t w a r e   d e v e l o p m e n t   t o   a c h i e v e   a   h i g h l y   m o d u l a r   a n d   u s e r - e x t e n s i b l e   g a m i n g   p l a t f o r m . 	 [ S o e b k e ,   H e i n r i c h ;   H a d l i c h ,   C h r i s t i a n e ;   B r o e k e r ,   T h o m a s ;   K o r n a d t ,   O l i v e r ]   B a u h a u s   U n i v   W e i m a r ,   W e i m a r ,   G e r m a n y 	 	 h e i n r i c h . s o e b k e @ u n i - w e i m a r . d e ;   C h r i s t i a n e . h a d l i c h @ u n i - w e i m a r . d e ;   T h o m a s . b r o e k e r @ u n i - w e i m a r . d e ;   O l i v e r . k o m a d t @ u n i - w e i m a r . d e 	 	 	 	 	 A d l e r   F . ,   2 0 0 8 ,   C O M P U T E R S P I E L E   L E R N M ;   A l i c e ,   2 0 1 0 ,   E D   S O F T W   T E A C H   S T U D ;   A r m o r G a m e s ,   2 0 1 0 ,   P O R T A L   F L A S H   V E R S   A R ;   B r o k e r   T . ,   2 0 0 9 ,   3   E U R   C   G A M   B A S   L E A R ;   D o r n e r   D . ,   2 0 0 3 ,   L O G I K   M I S S L I N G E N S   S T ;   E g e n f e l d t - N i e l s e n   S . ,   2 0 0 6 ,   D I G I T A L   K O M P E T A N S E ,   V 1 ,   P 1 8 4 ;   E t e R N A ,   2 0 1 1 ,   P L A Y   H U M   S C O R   N A T ;   E t o y s ,   2 0 1 0 ,   H O M   S Q U E A K   E T ;   E x p l o r e L e a r n i n g ,   2 0 1 0 ,   G I Z M   O N L   S I M   P O W   I N Q ;   F o l d I t ,   2 0 1 0 ,   S O L V   P U Z Z L   S C I ;   F o r i o ,   2 0 1 0 ,   F O R   B U S   S I M ;   G e e   J .   P . ,   2 0 0 5 ,   I N N O V A T E   J   O N L I N E   E D ,   V 1 ;   G e e   J .   P . ,   2 0 0 5 ,   E   L E A R N I N G ,   V 2 ,   P 5 ,   D O I   D O I   1 0 . 2 3 0 4 / E L E A . 2 0 0 5 . 2 . 1 . 5 ;   H e n s   H . ,   2 0 0 8 ,   B U I L D I N G   P H Y S   H E A T   A ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   K o d u G a m e L a b ,   2 0 1 0 ,   W H A T   I S   K O D U   P R O J E C T ;   K o s t n e r   R . ,   2 0 0 4 ,   T H E O R Y   F U N   G A M E   D E S I ;   W e n g e r   E t i e n n e ,   1 9 9 1 ,   S I T U A T E D   L E A R N I N G   L E ;   M a y o   M .   J . ,   2 0 0 7 ,   C O M M U N I C A T I O N S   A C M ,   V 5 0 ;   M c A f f e r   J . ,   2 0 0 5 ,   E C L I P S E   R I C H   C L I E N T ;   M o r g a n   G ,   2 0 0 9 ,   S I M U L A T I O N   G A M I N G ,   V 4 0 ,   P 6 8 8 ;   N a n o H U B ,   2 0 1 0 ,   S I M   E D   C O M M   N A N ;   P a p e r t   S . ,   1 9 8 0 ,   M I N D S T O R M S   C H I L D R E N ;   P r e n s k y   M . ,   2 0 0 4 ,   O n   t h e   H o r i z o n ,   V 1 2 ,   D O I   1 0 . 1 1 0 8 / 1 0 7 4 8 1 2 0 4 1 0 6 9 9 5 8 5 ;   R o v i o ,   2 0 1 0 ,   A N G R   B I R D S ;   S c h e l l   J . ,   2 0 0 8 ,   A R T   G A M   D E S   B O O K   L E N ;   S c r a t c h ,   2 0 1 0 ,   S C R A T C H   H O M   I M   P R O G R ;   S q u i r e   K . ,   2 0 1 1 ,   V I D E O   G A M E S   L E A R N I N G ;   S t e i n k u e h l e r   C ,   2 0 0 8 ,   J   S C I   E D U C   T E C H N O L ,   V 1 7 ,   P 5 3 0 ,   D O I   1 0 . 1 0 0 7 / s 1 0 9 5 6 - 0 0 8 - 9 1 2 0 - 8 ;   S t e i n k u e h l e r   C .   A . ,   2 0 0 6 ,   G A M E S   C U L T U R E ,   V 1 ,   P 9 7 ,   D O I   1 0 . 1 1 7 7 / 1 5 5 5 4 1 2 0 0 5 2 8 1 9 1 1 ;   W r i g h t   W . ,   2 0 0 7 ,   W   W R I G H T   M A K E S   T O Y S 	 3 1 	 0 	 0 	 A C A D     C O N F E R E N C E S   L T D 	 N R   R E A D I N G 	 C U R T I S   F A R M ,   K I D M O R E   E N D ,   N R   R E A D I N G ,   R G 4   9 A Y ,   E N G L A N D 	 	 	 9 7 8 - 1 - 9 0 8 2 7 2 - 1 8 - 8 	 	 	 	 2 0 1 1 	 	 	 	 	 	 	 7 5 9 	 7 6 6 	 	 	 	 8 	 E d u c a t i o n   &   E d u c a t i o n a l   R e s e a r c h 	 E d u c a t i o n   &   E d u c a t i o n a l   R e s e a r c h 	 B B T 8 8 	 W O S : 0 0 0 3 0 8 1 3 6 6 0 0 0 9 2 	 	 
 S 	 K h a z a n k i n ,   R ;   P s a i e r ,   H ;   S c h a l l ,   D ;   D u s t d a r ,   S 	 	 K a p p e l ,   G ;   M a a m a r ,   Z ;   M o t a h a r i N e z h a d ,   H R 	 	 K h a z a n k i n ,   R o m a n ;   P s a i e r ,   H a r a l d ;   S c h a l l ,   D a n i e l ;   D u s t d a r ,   S c h a h r a m 	 	 	 Q o S - B a s e d   T a s k   S c h e d u l i n g   i n   C r o w d s o u r c i n g   E n v i r o n m e n t s 	 S E R V I C E - O R I E N T E D   C O M P U T I N G 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 9 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S e r v i c e - O r i e n t e d   C o m p u t i n g   ( I C S O C ) 	 D E C   0 5 - 0 8 ,   2 0 1 1 	 P a p h o s ,   C Y P R U S 	 U n i v   C y p r u s ,   C o m p   S c i   D e p t ,   H e w l e t t   P a c k a r d ,   I B M   R e s ,   S a l e s f o r c e ,   S p r i n g e r ,   S e r v T e c h 	 	 c r o w d s o u r c i n g ;   s k i l l   m o n i t o r i n g ;   s c h e d u l i n g ;   Q o S   a g r e e m e n t s 	 M O D E L S ;   A U C T I O N S ;   W O R L D 	 C r o w d s o u r c i n g   h a s   e m e r g e d   a s   a n   i m p o r t a n t   p a r a d i g m   i n   h u m a n - p r o b l e m   s o l v i n g   t e c h n i q u e s   o n   t h e   W e b .   O n e   a p p l i c a t i o n   o f   c r o w d s o u r c i n g   i s   t o   o u t s o u r c e   c e r t a i n   t a s k s   t o   t h e   c r o w d   t h a t   a r e   d i f f i c u l t   t o   i m p l e m e n t   a s   s o l u t i o n s   b a s e d   o n   s o f t w a r e   s e r v i c e s   o n l y .   A n o t h e r   b e n e f i t   o f   c r o w d s o u r c i n g   i s   t h e   o n - d e m a n d   a l l o c a t i o n   o f   a   f l e x i b l e   w o r k f o r c e .   B u s i n e s s e s   m a y   o u t s o u r c e   c e r t a i n   t a s k s   t o   t h e   c r o w d   b a s e d   o n   w o r k l o a d   v a r i a t i o n s .   T h e   p a p e r   a d d r e s s e s   t h e   m o n i t o r i n g   o f   c r o w d   m e m b e r s '   c h a r a c t e r i s t i c s   a n d   t h e   e f f e c t i v e   u s e   o f   m o n i t o r e d   d a t a   t o   i m p r o v e   t h e   q u a l i t y   o f   w o r k .   H e r e   w e   p r o p o s e   t h e   e x t e n s i o n s   o f   s t a n d a r d s   s u c h   a s   W e b   S e r v i c e   L e v e l   A g r e e m e n t   ( W S L A )   t o   s e t t l e   q u a l i t y   g u a r a n t e e s   b e t w e e n   c r o w d   c o n s u m e r s   a n d   t h e   c r o w d s o u r c i n g   p l a t f o r m .   B a s e d   o n   n e g o t i a t e d   a g r e e m e n t s ,   w e   p r o v i d e   a   s k i l l - b a s e d   c r o w d   s c h e d u l i n g   a l g o r i t h m .   W e   e v a l u a t e   o u r   a p p r o a c h   t h r o u g h   s i m u l a t i o n s . 	 [ K h a z a n k i n ,   R o m a n ;   P s a i e r ,   H a r a l d ;   S c h a l l ,   D a n i e l ;   D u s t d a r ,   S c h a h r a m ]   V i e n n a   U n i v   T e c h n o l ,   D i s t r i b u t e d   S y s t   G r p ,   A - 1 0 4 0   V i e n n a ,   A u s t r i a 	 K h a z a n k i n ,   R   ( r e p r i n t   a u t h o r ) ,   V i e n n a   U n i v   T e c h n o l ,   D i s t r i b u t e d   S y s t   G r p ,   A r g e n t i n i e r s t r   8 - 1 8 4 - 1 ,   A - 1 0 4 0   V i e n n a ,   A u s t r i a . 	 k h a z a n k i n @ i n f o s y s . t u w i e n . a c . a t ;   p s a i e r @ i n f o s y s . t u w i e n . a c . a t ;   s c h a l l @ i n f o s y s . t u w i e n . a c . a t ;   d u s t d a r @ i n f o s y s . t u w i e n . a c . a t 	 	 	 	 	 A g i c h t e i n   E . ,   2 0 0 8 ,   W S D M   0 8 ,   P 1 8 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 4 1 5 3 1 . 1 3 4 1 5 5 7 ;   A g r a w a l   A . ,   2 0 0 7 ,   W S   B P E L   E X T E N S I O N   P E ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   L I V E O P S ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   C a p r a r a   A ,   2 0 0 3 ,   M A T H   P R O G R A M ,   V 9 8 ,   P 4 4 5 ,   D O I   1 0 . 1 0 0 7 / s 1 0 1 0 7 - 0 0 3 - 0 4 1 3 - 7 ;   C a s t e l l a n o   C ,   2 0 0 9 ,   R E V   M O D   P H Y S ,   V 8 1 ,   P 5 9 1 ,   D O I   1 0 . 1 1 0 3 / R e v M o d P h y s . 8 1 . 5 9 1 ;   C H E   Y K ,   1 9 9 3 ,   R A N D   J   E C O N ,   V 2 4 ,   P 6 6 8 ,   D O I   1 0 . 2 3 0 7 / 2 5 5 5 7 5 2 ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   E r n s t   A T ,   2 0 0 4 ,   E U R   J   O P E R   R E S ,   V 1 5 3 ,   P 3 ,   D O I   1 0 . 1 0 1 6 / S 0 3 7 7 - 2 2 1 7 ( 0 3 ) 0 0 0 9 5 - X ;   F o r d   M . ,   2 0 0 7 ,   W E B   S E R V I C E S   H U M A N   T ;   H o w e   J ,   2 0 0 6 ,   R I S E   C R O W D S O U R C I N G ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   S S R N   E L I B R A R Y ,   V 1 7 ,   P 1 6 ;   K e r n   R ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 4 7 0 ,   P 2 4 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 7 3 5 8 - 5 _ 1 7 ;   K h a z a n k i n   R . ,   2 0 1 1 ,   P   8   I N T   C   S   I N   P R E S S ;   L a   V e c c h i a   G ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 3 8 5 s ,   P 4 2 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 6 9 8 5 - 4 _ 4 0 ;   L e y m a n n   F ,   2 0 0 6 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 2 7 5 ,   P 2 ;   P a r k e s   D C ,   2 0 0 5 ,   M A N A G E   S C I ,   V 5 1 ,   P 4 3 5 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 4 0 . 0 3 4 0 ;   S c h a l l   D ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 4 3 0 ,   P 1 6 0 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 6 5 6 7 - 2 _ 1 2 ;   S o u s a   J P ,   2 0 0 6 ,   I E E E   T   S Y S T   M A N   C Y   C ,   V 3 6 ,   P 3 2 8 ,   D O I   1 0 . 1 1 0 9 / T S M C C . 2 0 0 6 . 8 7 1 5 8 8 ;   V u k o v i c   M ,   2 0 0 9 ,   2 0 0 9   I E E E   C O N G R E S S   O N   S E R V I C E S   ( S E R V I C E S - 1   2 0 0 9 ) ,   V O L S   1   A N D   2 ,   P 6 8 6 ,   D O I   1 0 . 1 1 0 9 / S E R V I C E S - I . 2 0 0 9 . 5 6 	 2 0 	 2 	 2 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 2 5 5 3 4 - 2 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 1 	 7 0 8 4 	 	 	 	 	 	 2 9 7 	 3 1 1 	 	 	 	 1 5 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B Z 5 9 	 W O S : 0 0 0 3 0 9 2 0 3 2 0 0 0 2 0 	 	 
 S 	 A l o n s o ,   O ;   G e r t z ,   M ;   B a e z a - Y a t e s ,   R 	 	 G r o s s i ,   R ;   S e b a s t i a n i ,   F ;   S i l v e s t r i ,   F 	 	 A l o n s o ,   O m a r ;   G e r t z ,   M i c h a e l ;   B a e z a - Y a t e s ,   R i c a r d o 	 	 	 E n h a n c i n g   D o c u m e n t   S n i p p e t s   U s i n g   T e m p o r a l   I n f o r m a t i o n 	 S T R I N G   P R O C E S S I N G   A N D   I N F O R M A T I O N   R E T R I E V A L 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 8 t h   I n t e r n a t i o n a l   S y m p o s i u m   o n   S t r i n g   P r o c e s s i n g   a n d   I n f o r m a t i o n   R e t r i e v a l 	 O C T   1 7 - 2 1 ,   2 0 1 1 	 P i s a ,   I T A L Y 	 G o o g l e ,   N o e m a L i f e ,   M i c r o s o f t   R e s ,   D e p t   I n f o r m a t   &   C o m m u n   T e c h n o l ,   I t a l i a n   N a t l   C o u n c i l   R e s ,   I t a l i a n   A s s o c   A u t o m a t   C o m p ,   Y a h o o   R e s ,   T w i t t e r ,   A S S E T S   P r o j e c t 	 	 	 	 I n   t h i s   p a p e r   w e   p r o p o s e   a n   a l g o r i t h m   t o   e n h a n c e   t h e   q u a l i t y   o f   d o c u m e n t   s n i p p e t s   s h o w n   i n   a   s e a r c h   e n g i n e   b y   u s i n g   t e m p o r a l   e x p r e s s i o n s .   W e   e v a l u a t e   o u r   p r o p o s a l   i n   a   s u b s e t   o f   t h e   W i k i p e d i a   c o r p u s   u s i n g   c r o w d s o u r c i n g ,   s h o w i n g   t h a t   s n i p p e t s   t h a t   h a v e   t e m p o r a l   i n f o r m a t i o n   a r e   p r e f e r r e d   b y   t h e   u s e r s . 	 [ A l o n s o ,   O m a r ]   M i c r o s o f t   C o r p ,   M o u n t a i n   V i e w ,   C A   9 4 0 4 3   U S A 	 A l o n s o ,   O   ( r e p r i n t   a u t h o r ) ,   M i c r o s o f t   C o r p ,   M o u n t a i n   V i e w ,   C A   9 4 0 4 3   U S A . 	 o m a l o n s o @ m i c r o s o f t . c o m ;   g e r t z @ i n f o r m a t i k . u n i - h e i d e l b e r g . d e ;   r b a e z a @ a c m . o r g 	 	 	 	 	 A l o n s o   O ,   2 0 1 1 ,   T W A W   W O R K S H   W W W   2 0 1 1 ,   P 1 ;   A l o n s o   O ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 3 9 3 ,   P 2 9 0 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 6 3 2 1 - 0 _ 3 0 ;   M a n i   I . ,   2 0 0 5 ,   L A N G U A G E   T I M E ;   R o s e   D . ,   2 0 0 7 ,   1 6   W W W ,   P 1 2 0 1 	 4 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 2 4 5 8 2 - 4 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 1 	 7 0 2 4 	 	 	 	 	 	 2 6 	 3 1 	 	 	 	 6 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B W 8 1 	 W O S : 0 0 0 3 0 8 5 1 2 6 0 0 0 0 4 	 	 
 S 	 L i o m a ,   C ;   L a r s e n ,   B ;   S c h u t z e ,   H 	 	 A m a t i ,   G ;   C r e s t a n i ,   F 	 	 L i o m a ,   C h r i s t i n a ;   L a r s e n ,   B i r g e r ;   S c h u t z e ,   H i n r i c h 	 	 	 U s e r   P e r s p e c t i v e s   o n   Q u e r y   D i f f i c u l t y 	 A D V A N C E S   I N   I N F O R M A T I O N   R E T R I E V A L   T H E O R Y 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 3 r d   I n t e r n a t i o n a l   C o n f e r e n c e   o n   t h e   T h e o r y   o f   I n f o r m a t i o n   R e t r i e v a l   ( I C T I R   2 0 1 1 ) 	 S E P   1 2 - 1 4 ,   2 0 1 1 	 B e r t i n o r o ,   I T A L Y 	 F o n d a z i o n e   U g o   B o r d o n i ,   U n i v   L u g a n o ,   A l m a w a v e ,   M i c r o s o f t   R e s ,   Y a h o o   R e s 	 U n i v   R e s i d e n t i a l   C t r   B e r t i n o r o 	 q u e r y   d i f f i c u l t y ;   c r o w d s o u r c i n g ;   s u b j e c t i v e   l o g i c 	 L O G I C 	 T h e   d i f f i c u l t y   o f   a   u s e r   q u e r y   c a n   a f f e c t   t h e   p e r f o r m a n c e   o f   I n f o r m a t i o n   R e t r i e v a l   ( I R )   s y s t e m s .   W h a t   m a k e s   a   q u e r y   d i f f i c u l t   a n d   h o w   o n e   m a y   p r e d i c t   t h i s   i s   a n   a c t i v e   r e s e a r c h   a r e a ,   f o c u s i n g   m a i n l y   o n   f a c t o r s   r e l a t i n g   t o   t h e   r e t r i e v a l   a l g o r i t h m ,   t o   t h e   p r o p e r t i e s   o f   t h e   r e t r i e v a l   d a t a ,   o r   t o   s t a t i s t i c a l   a n d   l i n g u i s t i c   f e a t u r e s   o f   t h e   q u e r i e s   t h a t   m a y   r e n d e r   t h e m   d i f f i c u l t .   T h i s   w o r k   a d d r e s s e s   q u e r y   d i f f i c u l t y   f r o m   a   d i f f e r e n t   a n g l e ,   n a m e l y   t h e   u s e r s '   o w n   p e r s p e c t i v e s   o n   q u e r y   d i f f i c u l t y .   T w o   r e s e a r c h   q u e s t i o n s   a r e   a s k e d :   ( 1 )   A r e   u s e r s   a w a r e   t h a t   t h e   q u e r y   t h e y   s u b m i t   t o   a n   I R   s y s t e m   m a y   b e   d i f f i c u l t   f o r   t h e   s y s t e m   t o   a d d r e s s ?   ( 2 )   A r e   u s e r s   a w a r e   o f   s p e c i f i c   f e a t u r e s   i n   t h e i r   q u e r y   ( e . g . ,   d o m a i n - s p e c i f i c i t y ,   v a g u e n e s s )   t h a t   m a y   r e n d e r   t h e i r   q u e r y   d i f f i c u l t   f o r   a n   I R   s y s t e m   t o   a d d r e s s ?   A   s t u d y   o f   4 2 0   q u e r i e s   f r o m   a   W e b   s e a r c h   e n g i n e   q u e r y   l o g   t h a t   a r e   p r e - c a t e g o r i s e d   a s   e a s y ,   m e d i u m ,   h a r d   b y   T R E C   b a s e d   o n   s y s t e m   p e r f o r m a n c e ,   r e v e a l s   a n   i n t e r e s t i n g   f i n d i n g :   u s e r s   d o   n o t   s e e m   t o   r e l i a b l y   a s s e s s   w h i c h   q u e r y   m i g h t   b e   d i f f i c u l t ;   h o w e v e r ,   t h e i r   a s s e s s m e n t s   o f   w h i c h   q u e r y   f e a t u r e s   m i g h t   r e n d e r   q u e r i e s   d i f f i c u l t   a r e   n o t a b l y   m o r e   a c c u r a t e .   F o l l o w i n g   t h i s ,   a   f o r m a l   a p p r o a c h   i s   p r e s e n t e d   f o r   s y n t h e s i s i n g   t h e   u s e r - a s s e s s e d   c a u s e s   o f   q u e r y   d i f f i c u l t y   t h r o u g h   o p i n i o n   f u s i o n   i n t o   a n   o v e r a l l   a s s e s s m e n t   o f   q u e r y   d i f f i c u l t y .   T h e   r e s u l t i n g   a s s e s s m e n t s   o f   q u e r y   d i f f i c u l t y   a r e   f o u n d   t o   a g r e e   n o t a b l y   m o r e   t o   t h e   T R E C   c a t e g o r i e s   t h a n   t h e   d i r e c t   u s e r   a s s e s s m e n t s . 	 [ L i o m a ,   C h r i s t i n a ;   S c h u t z e ,   H i n r i c h ]   U n i v   S t u t t g a r t ,   S t u t t g a r t ,   G e r m a n y 	 L i o m a ,   C   ( r e p r i n t   a u t h o r ) ,   U n i v   S t u t t g a r t ,   S t u t t g a r t ,   G e r m a n y . 	 l i o m a c a @ i m s . u n i - s t u t t g a r t . d e ;   b l a r @ i v a . d k ;   h s 9 9 9 @ i f n l p . o r g 	 	 	 	 	 A l l a n   J . ,   2 0 0 7 ,   S P E C I A L   P U B L I C A T I O N ;   C a r m e l   D . ,   2 0 1 0 ,   S Y N T H E S I S   L E C T   I N F O R ;   C a r m e l   D . ,   2 0 0 6 ,   S I G I R   0 6 ,   P 3 9 0 ;   C r o n e n - T o w n s e n d   S ,   2 0 0 2 ,   S I G I R   0 2 ,   P 2 9 9 ;   H a u f f   C ,   2 0 1 0 ,   T H E S I S   U   T W E N T E ;   H e   B ,   2 0 0 4 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 2 4 6 ,   P 4 3 ;   J o n e s   K .   S . ,   1 9 7 2 ,   J o u r n a l   o f   D o c u m e n t a t i o n ,   V 2 8 ,   D O I   1 0 . 1 1 0 8 / e b 0 2 6 5 2 6 ;   J o s a n g   A ,   2 0 0 1 ,   I N T   J   U N C E R T A I N   F U Z Z ,   V 9 ,   P 2 7 9 ,   D O I   1 0 . 1 0 1 6 / S 0 2 1 8 - 4 8 8 5 ( 0 1 ) 0 0 0 8 3 - 1 ;   K u m a r a n   G . ,   2 0 0 7 ,   C I K M   0 7 ,   P 9 2 3 ;   L i o m a   C ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 7 6 6 ,   P 9 2 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 4 4 1 7 - 5 _ 9 ;   S a n d e r s o n   M ,   2 0 1 0 ,   S I G I R   2 0 1 0 :   P R O C E E D I N G S   O F   T H E   3 3 R D   A N N U A L   I N T E R N A T I O N A L   A C M   S I G I R   C O N F E R E N C E   O N   R E S E A R C H   D E V E L O P M E N T   I N   I N F O R M A T I O N   R E T R I E V A L ,   P 5 5 5 ;   T a n g u y   L ,   2 0 0 5 ,   S I G I R   W O R K S H   P R E D   Q U ;   V o o r h e e s   E M . ,   2 0 0 9 ,   S P E C I A L   P U B L I C A T I O N ;   Y o m - T o v   E . ,   2 0 0 5 ,   S I G I R   2 0 0 5 .   P r o c e e d i n g s   o f   t h e   T w e n t y - E i g h t h   A n n u a l   I n t e r n a t i o n a l   A C M   S I G I R   C o n f e r e n c e   o n   R e s e a r c h   a n d   D e v e l o p m e n t   i n   I n f o r m a t i o n   R e t r i e v a l ;   Z h o u   Y . ,   2 0 0 7 ,   S I G I R   0 7 ,   P 5 4 3 ;   Z h o u   Y . ,   2 0 0 6 ,   C I K M   0 6 ,   P 5 6 7 	 1 6 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 2 3 3 1 7 - 3 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 1 	 6 9 3 1 	 	 	 	 	 	 3 	 1 4 	 	 	 	 1 2 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B J 5 7 	 W O S : 0 0 0 3 0 7 0 8 1 0 0 0 0 0 3 	 	 
 S 	 G l i g o r ,   V ;   W i n g ,   J M 	 	 C h r i s t i a n s o n ,   B ;   C r i s p o ,   B ;   M a l c o l m ,   J ;   S t a j a n o ,   F 	 	 G l i g o r ,   V i r g i l ;   W i n g ,   J e a n n e t t e   M . 	 	 	 T o w a r d s   a   T h e o r y   o f   T r u s t   i n   N e t w o r k s   o f   H u m a n s   a n d   C o m p u t e r s 	 S E C U R I T Y   P R O T O C O L S   X I X 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 9 t h   I n t e r n a t i o n a l   S e c u r i t y   P r o t o c o l s   W o r k s h o p 	 M A R   2 8 - 3 0 ,   2 0 1 1 	 C a m b r i d g e ,   E N G L A N D 	 	 S i d n e y   S u s s e x   C o l l 	 	 E S T A B L I S H M E N T 	 W e   a r g u e   t h a t   a   g e n e r a l   t h e o r y   o f   t r u s t   i n   n e t w o r k s   o f   h u m a n s   a n d   c o m p u t e r s   m u s t   b e   b u i l d   o n   b o t h   a   t h e o r y   o f   b e h a v i o r a l   t r u s t   a n d   a   t h e o r y   o f   c o m p u t a t i o n a l   t r u s t .   T h i s   a r g u m e n t   i s   m o t i v a t e d   b y   i n c r e a s e d   p a r t i c i p a t i o n   o f   p e o p l e   i n   s o c i a l   n e t w o r k i n g ,   c r o w d s o u r c i n g ,   h u m a n   c o m p u t a t i o n ,   a n d   s o c i o - e c o n o m i c   p r o t o c o l s ,   e . g . ,   p r o t o c o l s   m o d e l e d   b y   t r u s t   a n d   g i f t - e x c h a n g e   g a m e s   [ 3 , 1 0 , 1 1 ] ,   n o r m s - e s t a b l i s h i n g   c o n t r a c t s   [ 1 ] ,   a n d   s c a m s   [ 6 , 3 5 , 3 3 ] .   U s e r   p a r t i c i p a t i o n   i n   t h e s e   p r o t o c o l s   r e l i e s   p r i m a r i l y   o n   t r u s t ,   s i n c e   o n - l i n e   v e r i f i c a t i o n   o f   p r o t o c o l   c o m p l i a n c e   i s   o f t e n   i m p r a c t i c a l ;   e . g . ,   v e r i f i c a t i o n   c a n   l e a d   t o   u n d e c i d a b l e   p r o b l e m s ,   c o - N P   c o m p l e t e   t e s t   p r o c e d u r e s ,   a n d   u s e r   i n c o n v e n i e n c e .   T r u s t   i s   c a p t u r e d   b y   p a r t i c i p a n t   p r e f e r e n c e s   ( i . e . ,   r i s k   a n d   b e t r a y a l   a v e r s i o n )   a n d   b e l i e f s   i n   t h e   t r u s t w o r t h i n e s s   o f   o t h e r   p r o t o c o l   p a r t i c i p a n t s   [ 1 1 , 1 0 ] .   B o t h   p r e f e r e n c e s   a n d   b e l i e f s   c a n   b e   e n h a n c e d   w h e n e v e r   p r o t o c o l   n o n c o m p l i a n c e   l e a d s   t o   p u n i s h m e n t   o f   u n t r u s t w o r t h y   p a r t i c i p a n t s   [ 1 1 , 2 3 ] ;   i . e . ,   i t   s e e m s   n a t u r a l   t h a t   b e t r a y a l   a v e r s i o n   c a n   b e   d e c r e a s e d   a n d   b e l i e f   i n   t r u s t w o r t h i n e s s   i n c r e a s e d   b y   p r o p e r l y   d e f i n e d   p u n i s h m e n t   [ 1 ] .   W e   a r g u e   t h a t   a   g e n e r a l   t h e o r y   o f   t r u s t   s h o u l d   f o c u s   o n   t h e   e s t a b l i s h m e n t   o f   n e w   t r u s t   r e l a t i o n s   w h e r e   n o n e   w e r e   p o s s i b l e   b e f o r e .   T h i s   f o c u s   w o u l d   h e l p   c r e a t e   n e w   e c o n o m i c   o p p o r t u n i t i e s   b y   i n c r e a s i n g   t h e   p o o l   o f   u s a b l e   s e r v i c e s ,   r e m o v i n g   c o o p e r a t i o n   b a r r i e r s   a m o n g   u s e r s ,   a n d   a t   t h e   v e r y   l e a s t ,   t a k i n g   a d v a n t a g e   o f   " n e t w o r k   e f f e c t s . "   H e n c e   a   n e w   t h e o r y   o f   t r u s t   w o u l d   a l s o   h e l p   f o c u s   s e c u r i t y   r e s e a r c h   i n   a r e a s   t h a t   p r o m o t e   t r u s t - e n h a n c e m e n t   i n f r a s t r u c t u r e s   i n   h u m a n   a n d   c o m p u t e r   n e t w o r k s .   F i n a l l y ,   w e   a r g u e   t h a t   a   g e n e r a l   t h e o r y   o f   t r u s t   s h o u l d   m i r r o r ,   t o   t h e   l a r g e s t   p o s s i b l e   e x t e n t ,   h u m a n   e x p e c t a t i o n s   a n d   m e n t a l   m o d e l s   o f   t r u s t   w i t h o u t   r e l y i n g   o n   f a l s e   m e t h a p h o r s   a n d   a n a l o g i e s   w i t h   t h e   p h y s i c a l   w o r l d . 	 [ G l i g o r ,   V i r g i l ;   W i n g ,   J e a n n e t t e   M . ]   C a r n e g i e   M e l l o n   U n i v ,   P i t t s b u r g h ,   P A   1 5 2 1 3   U S A 	 G l i g o r ,   V   ( r e p r i n t   a u t h o r ) ,   C a r n e g i e   M e l l o n   U n i v ,   P i t t s b u r g h ,   P A   1 5 2 1 3   U S A . 	 g l i g o r @ c m u . e d u ;   w i n g @ c s . c m u . e d u 	 	 	 	 	 A k e r l o f   R . ,   2 0 1 0 ,   P U N I S H M E N T   C O M P L I A N C ;   A N D E R S O N   R . ,   2 0 0 8 ,   S E C U R I T Y   E N G ;   B a c h m a n n   R . ,   2 0 0 8 ,   L A N D M A R K   P A P E R S   T R U S ,   V I I ;   B a c h m a n n   R . ,   2 0 0 8 ,   L A N D M A R K   P A P E R S   T R U S ,   V I ;   B e r g   J . ,   1 9 9 5 ,   G A M E S   E C   B E H A V ,   V 1 0 0 ;   B i r r e l l   A . ,   1 9 8 7 ,   I E E E   S   S E C   P R I V   O A K L ;   C h e n   C . - H . ,   2 0 0 8 ,   A C M   A N N   I N T   C   M O B   C O ;   C h r i s t i n   N . ,   2 0 1 0 ,   A C M   C C S ;   C l a r k   D a v i d   D . ,   2 0 1 1 ,   F E D E R A L   C O M M U N I C A T I O ,   V 6 3 ,   P 3 5 7 ;   d e   Q u e r v a i n   D . ,   S C I E N C E ;   E s c h e n a u e r   L ,   2 0 0 4 ,   L E C T   N O T E S   C O M P U T   S C ,   V 2 8 4 5 ,   P 4 7 ;   F a l k   A ,   2 0 0 6 ,   G A M E   E C O N   B E H A V ,   V 5 4 ,   P 2 9 3 ,   D O I   1 0 . 1 0 1 6 / j . g e b . 2 0 0 5 . 0 3 . 0 0 1 ;   F e h r   E . ,   2 0 0 9 ,   J   E U R O P E A N   E C   A S S ;   F e h r   E . ,   2 0 0 5 ,   N E U R O E C O N O M I C S   F D N   T ;   G l i g o r   V . ,   1 9 9 2 ,   I E E E   S   S E C   P R I V   O A K L ;   G l i g o r   V . ,   1 9 9 3 ,   J   C O M P U T E R   S E C U R I T Y ;   G l i g o r   V . ,   2 0 0 9 ,   L N C S   I N   P R E S S ;   G u p t a   S . ,   1 9 9 2 ,   J   C O M P U T E R   S E C U R I T Y ,   V 1 ,   P 1 3 3 ;   G u p t a   S . ,   1 9 9 1 ,   I E E E   C O M P   S E C   F D N   W O ;   H o w a r d   M ,   2 0 0 5 ,   C O M P U T E R   S E C U R I T Y   I N   T H E   2 1 S T   C E N T U R Y ,   P 1 0 9 ,   D O I   1 0 . 1 0 0 7 / 0 - 3 8 7 - 2 4 0 0 6 - 3 _ 8 ;   H s i a o   H . - C . ,   2 0 1 1 ,   A C M   A N N   I N T   C   M O B   C O ;   J o s a n g   A . ,   2 0 0 9 ,   5   I N T   W O R K S H   S E C   T R U ;   K A H N E M A N   D ,   1 9 7 9 ,   E C O N O M E T R I C A ,   V 4 7 ,   P 2 6 3 ,   D O I   1 0 . 2 3 0 7 / 1 9 1 4 1 8 5 ;   K i m   H . J . ,   2 0 1 1 ,   R O B U S T   O N L I N E   T R U S T ;   L a m p s o n   B . ,   1 9 9 2 ,   A C M   T O C S ;   L a m p s o n   B . W . ,   2 0 0 9 ,   C O M M   A C M ;   L i n   Y . - H . ,   2 0 0 9 ,   I N T   C   M O B   S Y S T   A P P L ;   L i n   Y . - H . ,   2 0 1 0 ,   I E E E   T   M O B I L E   C O M P U T ,   V 9 ;   L u k   M . ,   2 0 0 6 ,   A C M   W O R K S H   S E C   A D   H O ;   M a n a d h a t a   P . K . ,   2 0 1 0 ,   I E E E   T   S O F T W A R E     J U N ;   M a r b a c h   P . ,   2 0 0 8 ,   I E E E   C   I N F   S C I   S Y S T ,   P 2 9 2 ;   M a r l i n s p i k e   M . ,   2 0 0 9 ,   S S L   A T T A C K   D E M O N S T R A ;   M c c u n e   J .   M . ,   2 0 0 5 ,   I E E E   S   S E C   P R I V ;   R a y a   M . ,   2 0 0 8 ,   I N F O C O M   M A R ;   R y a n   T . ,   2 0 1 0 ,   B L A C K   H A T   C ;   S I M O N   H A ,   1 9 5 6 ,   P S Y C H O L   R E V ,   V 6 3 ,   P 1 2 9 ,   D O I   1 0 . 1 0 3 7 / h 0 0 4 2 7 6 9 ;   S t a j a n o   F ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 7 0 ,   D O I   1 0 . 1 1 4 5 / 1 8 9 7 8 5 2 . 1 8 9 7 8 7 2 ;   S u r i e   A ,   2 0 0 7 ,   I E E E   P E R V A S   C O M P U T ,   V 6 ,   P 2 4 ,   D O I   1 0 . 1 1 0 9 / M P R V . 2 0 0 7 . 8 4 ;   T V E R S K Y   A ,   1 9 7 4 ,   S C I E N C E ,   V 1 8 5 ,   P 1 1 2 4 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 8 5 . 4 1 5 7 . 1 1 2 4 ;   W e n d l a n d t   D . ,   2 0 0 8 ,   U S E N I X   A N N   T E C H N   C   J ;   B a c h m a n n   R ,   2 0 0 6 ,   H A N D B O O K   O F   T R U S T   R E S E A R C H ,   P 1 	 4 1 	 1 	 1 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 2 5 8 6 6 - 4 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 1 	 7 1 1 4 	 	 	 	 	 	 2 2 3 	 2 4 2 	 	 	 	 2 0 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B J 2 4 	 W O S : 0 0 0 3 0 7 0 4 1 2 0 0 0 2 2 	 	 
 S 	 A l o n s o ,   O 	 	 F o r n e r ,   P ;   G o n z a l o ,   J ;   K e k a l a i n e n ,   J ;   L a l m a s ,   M ;   D e R i j k e ,   M 	 	 A l o n s o ,   O m a r 	 	 	 C r o w d s o u r c i n g   f o r   I n f o r m a t i o n   R e t r i e v a l   E x p e r i m e n t a t i o n   a n d   E v a l u a t i o n 	 M U L T I L I N G U A L   A N D   M U L T I M O D A L   I N F O R M A T I O N   A C C E S S   E V A L U A T I O N 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 2 n d   I n t e r n a t i o n a l   C o n f e r e n c e   o f   t h e   C r o s s - L a n g u a g e   E v a l u a t i o n   F o r u m ,   C L E F   2 0 1 1 	 S E P   1 9 - 2 2 ,   2 0 1 1 	 A m s t e r d a m ,   N E T H E R L A N D S 	 U n i v   A m s t e r d a m ,   C t r   C r e a t ,   C o n t e n t   &   T e c h n o l ,   C i t y   A m s t e r d a m ,   E L I A S   R e s   N e t w o r k   P r o g r a m m e ,   E u r o p e a n   L a n g u a g e   R e s o u r c e s   A s s o c ,   M i c r o s o f t   R e s ,   N e t h e r l a n d s   I n s t   S o u n d   V i s i o n ,   N e t h e r l a n d s   O r g   S c i   R e s ,   P R O M I S E   N e t w o r k   E x c e l l e n c e ,   U n i v   A m s t e r d a m ,   X e r o x   R e s   C t r   E u r o p e 	 	 	 	 	 M i c r o s o f t   C o r p ,   M o u n t a i n   V i e w ,   C A   U S A 	 A l o n s o ,   O   ( r e p r i n t   a u t h o r ) ,   M i c r o s o f t   C o r p ,   M o u n t a i n   V i e w ,   C A   U S A . 	 o m a r . a l o n s o @ m i c r o s o f t . c o m 	 	 	 	 	 	 0 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 2 3 7 0 7 - 2 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 1 	 6 9 4 1 	 	 	 	 	 	 2 	 2 	 	 	 	 1 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B F 2 1 	 W O S : 0 0 0 3 0 6 6 7 4 6 0 0 0 0 2 	 	 
 S 	 M a y f i e l d ,   J ;   L a w r i e ,   D ;   M c N a m e e ,   P ;   O a r d ,   D W 	 	 F o r n e r ,   P ;   G o n z a l o ,   J ;   K e k a l a i n e n ,   J ;   L a l m a s ,   M ;   D e R i j k e ,   M 	 	 M a y f i e l d ,   J a m e s ;   L a w r i e ,   D a w n ;   M c N a m e e ,   P a u l ;   O a r d ,   D o u g l a s   W . 	 	 	 B u i l d i n g   a   C r o s s - L a n g u a g e   E n t i t y   L i n k i n g   C o l l e c t i o n   i n   T w e n t y - O n e   L a n g u a g e s 	 M U L T I L I N G U A L   A N D   M U L T I M O D A L   I N F O R M A T I O N   A C C E S S   E V A L U A T I O N 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 2 n d   I n t e r n a t i o n a l   C o n f e r e n c e   o f   t h e   C r o s s - L a n g u a g e   E v a l u a t i o n   F o r u m ,   C L E F   2 0 1 1 	 S E P   1 9 - 2 2 ,   2 0 1 1 	 A m s t e r d a m ,   N E T H E R L A N D S 	 U n i v   A m s t e r d a m ,   C t r   C r e a t ,   C o n t e n t   &   T e c h n o l ,   C i t y   A m s t e r d a m ,   E L I A S   R e s   N e t w o r k   P r o g r a m m e ,   E u r o p e a n   L a n g u a g e   R e s o u r c e s   A s s o c ,   M i c r o s o f t   R e s ,   N e t h e r l a n d s   I n s t   S o u n d   V i s i o n ,   N e t h e r l a n d s   O r g   S c i   R e s ,   P R O M I S E   N e t w o r k   E x c e l l e n c e ,   U n i v   A m s t e r d a m ,   X e r o x   R e s   C t r   E u r o p e 	 	 E n t i t y   L i n k i n g ;   C r o s s - L a n g u a g e   E n t i t y   L i n k i n g ;   M u l t i l i n g u a l   C o r p o r a ;   C r o w d s o u r c i n g 	 	 W e   d e s c r i b e   a n   e f f i c i e n t   w a y   t o   c r e a t e   a   t e s t   c o l l e c t i o n   f o r   e v a l u a t i n g   t h e   a c c u r a c y   o f   c r o s s - l a n g u a g e   e n t i t y   l i n k i n g .   Q u e r i e s   a r e   c r e a t e d   b y   s e m i a u t o m a t i c a l l y   i d e n t i f y i n g   p e r s o n   n a m e s   o n   t h e   E n g l i s h   s i d e   o f   a   p a r a l l e l   c o r p u s ,   u s i n g   j u d g m e n t s   o b t a i n e d   t h r o u g h   c r o w d s o u r c i n g   t o   i d e n t i f y   t h e   e n t i t y   c o r r e s p o n d i n g   t o   t h e   n a m e ,   a n d   p r o j e c t i n g   t h e   E n g l i s h   n a m e   o n t o   t h e   n o n - E n g l i s h   d o c u m e n t   u s i n g   w o r d   a l i g n m e n t s .   W e   a p p l i e d   t h e   t e c h n i q u e   t o   p r o d u c e   t h e   f i r s t   p u b l i c l y   a v a i l a b l e   m u l t i l i n g u a l   c r o s s - l a n g u a g e   e n t i t y   l i n k i n g   c o l l e c t i o n .   T h e   c o l l e c t i o n   i n c l u d e s   a p p r o x i m a t e l y   5 5 , 0 0 0   q u e r i e s ,   c o m p r i s i n g   b e t w e e n   8 7 5   a n d   4 , 3 2 9   q u e r i e s   f o r   e a c h   o f   t w e n t y - o n e   n o n - E n g l i s h   l a n g u a g e s . 	 [ M a y f i e l d ,   J a m e s ;   L a w r i e ,   D a w n ;   M c N a m e e ,   P a u l ;   O a r d ,   D o u g l a s   W . ]   J o h n s   H o p k i n s   U n i v ,   H u m a n   L a n g u a g e   T e c h n o l   C t r   E x c e l l e n c e ,   C o l l e g e   P k ,   M D   2 1 2 1 8   U S A 	 M a y f i e l d ,   J   ( r e p r i n t   a u t h o r ) ,   J o h n s   H o p k i n s   U n i v ,   H u m a n   L a n g u a g e   T e c h n o l   C t r   E x c e l l e n c e ,   C o l l e g e   P k ,   M D   2 1 2 1 8   U S A . 	 	 	 	 	 	 A m a z o n ,   2 0 0 5 ,   A M   M E C H   T U R K ;   A r t i l e s   J a v i e r ,   2 0 1 0 ,   C L E F   3   W E P S   E V   W O R K S ;   B a l o g   K . ,   2 0 0 6 ,   C R O S S   L A N G   E V   F O R ,   P 8 0 3 ;   B a r o n   A l e x ,   2 0 0 8 ,   P   2 0 0 8   C   E M P   M E T H   N A ,   P 2 7 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 4 ;   B u n e s c u   R . C . ,   2 0 0 6 ,   E U R O P E A N   C H A P T E R   A S S ;   C a l l i s o n - B u r c h   C . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 ;   C u c e r z a n   S . ,   2 0 0 7 ,   E M P I R I C A L   M E T H O D S   N A ;   H a g h i g h i   A r i a ,   2 0 0 9 ,   P   J O I N T   C   4 7   A N N   M   A ,   V 2 ,   P 9 2 3 ,   D O I   1 0 . 3 1 1 5 / 1 6 9 0 2 1 9 . 1 6 9 0 2 7 6 ;   J i   H . ,   2 0 1 0 ,   T E X T   A N   C   T A C ;   J o a c h i m s   T ,   2 0 0 6 ,   P   1 2   A C M   S I G K D D   I N T ,   P 2 1 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 1 5 0 4 0 2 . 1 1 5 0 4 2 9 ;   M c N a m e e   P a u l ,   2 0 0 9 ,   P   T E X T   A N   C ;   R a t i n o v   L ,   2 0 0 9 ,   P   1 3   C   C O M P   N A T   L A N G ,   P 1 4 7 ,   D O I   1 0 . 3 1 1 5 / 1 5 9 6 3 7 4 . 1 5 9 6 3 9 9 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   T i w a r i   C . ,   2 0 1 0 ,   F I R E ;   T j o n g   K i m   S a n g   E . ,   2 0 0 3 ,   C   N A T   L A N G   L E A R N   C O N ;   Y a r o w s k y   D . ,   2 0 0 1 ,   N A A C L 	 1 6 	 1 	 1 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 2 3 7 0 7 - 2 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 1 	 6 9 4 1 	 	 	 	 	 	 3 	 1 3 	 	 	 	 1 1 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B F 2 1 	 W O S : 0 0 0 3 0 6 6 7 4 6 0 0 0 0 3 	 	 
 S 	 H a r r i s ,   C G ;   X u ,   T 	 	 F o r n e r ,   P ;   G o n z a l o ,   J ;   K e k a l a i n e n ,   J ;   L a l m a s ,   M ;   D e R i j k e ,   M 	 	 H a r r i s ,   C h r i s t o p h e r   G . ;   X u ,   T a o 	 	 	 T h e   I m p o r t a n c e   o f   V i s u a l   C o n t e x t   C l u e s   i n   M u l t i m e d i a   T r a n s l a t i o n 	 M U L T I L I N G U A L   A N D   M U L T I M O D A L   I N F O R M A T I O N   A C C E S S   E V A L U A T I O N 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 2 n d   I n t e r n a t i o n a l   C o n f e r e n c e   o f   t h e   C r o s s - L a n g u a g e   E v a l u a t i o n   F o r u m ,   C L E F   2 0 1 1 	 S E P   1 9 - 2 2 ,   2 0 1 1 	 A m s t e r d a m ,   N E T H E R L A N D S 	 U n i v   A m s t e r d a m ,   C t r   C r e a t ,   C o n t e n t   &   T e c h n o l ,   C i t y   A m s t e r d a m ,   E L I A S   R e s   N e t w o r k   P r o g r a m m e ,   E u r o p e a n   L a n g u a g e   R e s o u r c e s   A s s o c ,   M i c r o s o f t   R e s ,   N e t h e r l a n d s   I n s t   S o u n d   V i s i o n ,   N e t h e r l a n d s   O r g   S c i   R e s ,   P R O M I S E   N e t w o r k   E x c e l l e n c e ,   U n i v   A m s t e r d a m ,   X e r o x   R e s   C t r   E u r o p e 	 	 	 C U E S ;   L A N G U A G E 	 A s   v i d e o - s h a r i n g   w e b s i t e s   s u c h   a s   Y o u T u b e   p r o l i f e r a t e ,   t h e   a b i l i t y   t o   r a p i d l y   t r a n s l a t e   v i d e o   c l i p s   i n t o   m u l t i p l e   l a n g u a g e s   h a s   b e c o m e   a n   e s s e n t i a l   c o m p o n e n t   f o r   e n h a n c i n g   t h e i r   g l o b a l   r e a c h   a n d   i m p a c t .   M o r e o v e r ,   t h e   a b i l i t y   t o   p r o v i d e   c l o s e d   c a p t i o n i n g   i n   a   v a r i e t y   o f   l a n g u a g e s   i s   p a r a m o u n t   t o   r e a c h   a   w i d e r   v a r i e t y   o f   v i e w e r s .   W e   i n v e s t i g a t e   t h e   i m p o r t a n c e   o f   v i s u a l   c o n t e x t   c l u e s   b y   c o m p a r i n g   t r a n s c r i p t s   o f   m u l t i m e d i a   c l i p s   ( w h i c h   a l l o w   t r a n s c r i p t i o n i s t s   t o   m a k e   u s e   o f   v i s u a l   c o n t e x t   c l u e s   i n   t h e i r   t r a n s l a t i o n s )   w i t h   t h e i r   c o r r e s p o n d i n g   w r i t t e n   t r a n s c r i p t s   ( w h i c h   d o   n o t ) .   A d d i t i o n a l l y ,   w e   c o n t r a s t   t r a n s l a t i o n s   p r o d u c e d   u s i n g   c r o w d s o u r c i n g   w o r k e r s   w i t h   t h o s e   m a d e   b y   p r o f e s s i o n a l   t r a n s l a t o r s   o n   c o s t   a n d   q u a l i t y .   F i n a l l y ,   w e   e v a l u a t e   s e v e r a l   g e n r e s   o f   m u l t i m e d i a   t o   e x a m i n e   t h e   e f f e c t s   o f   v i s u a l   c o n t e x t   c l u e s   o n   e a c h   a n d   d e m o n s t r a t e   t h e   r e s u l t s   t h r o u g h   h e a t   m a p s . 	 [ H a r r i s ,   C h r i s t o p h e r   G . ]   U n i v   I o w a ,   I n f o r m a t   P r o g r a m ,   I o w a   C i t y ,   I A   5 2 2 4 2   U S A 	 H a r r i s ,   C G   ( r e p r i n t   a u t h o r ) ,   U n i v   I o w a ,   I n f o r m a t   P r o g r a m ,   I o w a   C i t y ,   I A   5 2 2 4 2   U S A . 	 c h r i s t o p h e r - h a r r i s @ u i o w a . e d u ;   m i c h a e l t j x t @ h o t m a i l . c o m 	 	 	 	 	 A g a r w a l   A . ,   2 0 0 8 ,   3   W O R K S H   S T A T   M A C H   T ;   B a n e r j e e   S a t a n j e e v ,   2 0 0 5 ,   A C L   W O R K S H   I N T R   E X T R ;   B a r - H i l l e l   Y ,   1 9 6 4 ,   D E M O N S T R A T I O N   N O N F E A ;   C h u n   M M ,   2 0 0 0 ,   T R E N D S   C O G N   S C I ,   V 4 ,   P 1 7 0 ,   D O I   1 0 . 1 0 1 6 / S 1 3 6 4 - 6 6 1 3 ( 0 0 ) 0 1 4 7 6 - 5 ;   C r o c k e r   M . ,   1 9 9 6 ,   C O M P U T A T I O N A L   P S Y C H O ;   C u n i l l e r a   T ,   2 0 1 0 ,   Q   J   E X P   P S Y C H O L ,   V 6 3 ,   P 2 6 0 ,   D O I   1 0 . 1 0 8 0 / 1 7 4 7 0 2 1 0 9 0 2 8 8 8 8 0 9 ;   D e u b e l   H ,   2 0 0 0 ,   A T T E N T I O N   I N F O R M   P R O ;   F e r n a l d   A ,   2 0 0 8 ,   L O O K I N G   L I S T E N I N G   U S ;   G r a i n g e r   J . ,   1 9 9 6 ,   V I S U A L   W O R D   R E C O G N I T ;   G u l l b e r g   M ,   2 0 1 0 ,   L A N G   L E A R N ,   V 6 0 ,   P 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 9 2 2 . 2 0 1 0 . 0 0 5 9 8 . x ;   H a r d i s o n   D M ,   2 0 1 0 ,   L A N G   T E A C H ,   V 4 3 ,   P 8 4 ,   D O I   1 0 . 1 0 1 7 / S 0 2 6 1 4 4 4 8 0 9 9 9 0 1 7 6 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ;   J o h n s o n - L a i r d   P . N . ,   1 9 8 3 ,   M E N T A L   M O D E L S   C O G N I T ;   K a w a h a r a   J I ,   2 0 0 7 ,   P E R C E P T   P S Y C H O P H Y S ,   V 6 9 ,   P 1 3 9 9 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 1 9 2 9 5 5 ;   L e w   M S ,   2 0 0 6 ,   A C M   T   M U L T I M   C O M P U T ,   V 2 ,   P 1 ,   D O I   1 0 . 1 1 4 5 / 1 1 2 6 0 0 4 . 1 1 2 6 0 0 5 ;   L o n g   D . R ,   1 9 8 9 ,   M O D E R N   L A N G U A G E   J ,   V 7 3 ;   M a d s e n   M ,   2 0 0 9 ,   L I M I T S   M A C H I N E   T R A N S ;   M a r g e   M ,   2 0 1 0 ,   I C A S S P   L A S   V E G   A P R ;   M e s k i l l   C ,   1 9 9 6 ,   J   E D   M U L T I M E D I A   H Y P E ,   V 5 ,   P 1 7 9 ;   M i l l e r   G . ,   2 0 1 0 ,   W O R D N E T ;   M o r i t a   D . ,   2 0 0 9 ,   1 4   I N T   C   I N T   U S   I N T ;   M U E L L E R   G A ,   1 9 8 0 ,   M O D   L A N G   J ,   V 6 4 ,   P 3 3 5 ,   D O I   1 0 . 2 3 0 7 / 3 2 4 5 0 0 ;   M u n r o   R ,   2 0 1 0 ,   N A A C L   H L T   2 0 1 0   W O R K S ,   P 1 2 2 ;   N o v o t n e y   S . ,   2 0 1 0 ,   H U M A N   L A N G U A G E   T E C H N ,   P 2 0 7 ;   P o r t e r   M . ,   2 0 0 1 ,   S N O W B A L L   L A N G U A G E   S T ;   R a o   L ,   C O M S C O R E   Y O U T U B E   R E A ;   R o y   D ,   2 0 0 5 ,   C O M P U T   S P E E C H   L A N G ,   V 1 9 ,   P 2 2 7 ,   D O I   1 0 . 1 0 1 6 / j . c s l . 2 0 0 4 . 0 8 . 0 0 3 ;   S n o w   R . ,   2 0 0 8 ,   C   E M P   M E T H   N A T   L A N G ;   T o r r e s - O v i e d o   G ,   2 0 1 0 ,   J   N E U R O S C I ,   V 3 0 ,   P 1 7 0 1 5 ,   D O I   1 0 . 1 5 2 3 / J N E U R O S C I . 4 2 0 5 - 1 0 . 2 0 1 0 ;   T u n g   L L ,   2 0 0 2 ,   D E C I S   S U P P O R T   S Y S T ,   V 3 3 ,   P 1 7 7 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 7 - 9 2 3 6 ( 0 1 ) 0 0 1 4 3 - 9 ;   v a n   R i j s b e r g e n   C . ,   1 9 7 9 ,   I N F O R M   R E T R I E V A L ;   Z h a n g   X ,   2 0 1 1 ,   1 7   I N T   C   A D V   M U L T   2 	 3 2 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 2 3 7 0 7 - 2 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 1 	 6 9 4 1 	 	 	 	 	 	 1 0 7 	 1 1 8 	 	 	 	 1 2 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B F 2 1 	 W O S : 0 0 0 3 0 6 6 7 4 6 0 0 0 1 3 	 	 
 S 	 S c h a l l ,   D ;   S k o p i k ,   F 	 	 E d e r ,   J ;   B i e l i k o v a ,   M ;   T j o a ,   A M 	 	 S c h a l l ,   D a n i e l ;   S k o p i k ,   F l o r i a n 	 	 	 A n   A n a l y s i s   o f   t h e   S t r u c t u r e   a n d   D y n a m i c s   o f   L a r g e - S c a l e   Q / A   C o m m u n i t i e s 	 A D V A N C E S   I N   D A T A B A S E S   A N D   I N F O R M A T I O N   S Y S T E M S 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 5 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   A d v a n c e s   i n   D a t a b a s e s   a n d   I n f o r m a t i o n   S y s t e m s 	 S E P   2 0 - 2 3 ,   2 0 1 1 	 V i e n n a ,   A U S T R I A 	 	 	 O n l i n e   c o m m u n i t i e s ;   E x p e r t i s e   m i n i n g ;   C r o w d s o u r c i n g 	 T R U S T ;   S I M I L A R I T Y 	 I n   r e c e n t   y e a r s ,   t h e   W o r l d   W i d e   W e b   ( W W W )   h a s   t r a n s f o r m e d   t o   a   g i g a n t i c   s o c i a l   n e t w o r k   w h e r e   p e o p l e   i n t e r a c t   a n d   c o l l a b o r a t e   i n   d i v e r s e   o n l i n e   c o m m u n i t i e s .   B y   u s i n g   W e b   2 . 0   t o o l s ,   p e o p l e   c o n t r i b u t e   c o n t e n t   a n d   k n o w l e d g e   a t   a   r a p i d   p a c e .   K n o w l e d g e - i n t e n s i v e   s o c i a l   n e t w o r k s   s u c h   a s   Q / A   c o m m u n i t i e s   o f f e r   a   g r e a t   s o u r c e   o f   e x p e r t i s e   f o r   c r o w d s o u r c i n g   a p p l i c a t i o n s .   C o m p a n i e s   d e s i r i n g   t o   o u t s o u r c e   h u m a n   t a s k s   t o   t h e   c r o w d ,   h o w e v e r ,   d e m a n d   f o r   c e r t a i n   g u a r a n t e e s   s u c h   a s   q u a l i t y   t h a t   c a n   b e   e x p e c t e d   f r o m   r e t u r n e d   t a s k s .   W e   a r g u e   t h a t   t h e   q u a l i t y   o f   c r o w d - s o u r c e d   t a s k s   g r e a t l y   d e p e n d s   o n   i n c e n t i v e s   a n d   t h e   u s e r s '   d y n a m i c a l l y   e v o l v i n g   e x p e r t i s e   a n d   i n t e r e s t s .   H e r e   w e   p r o p o s e   e x p e r t i s e   m i n i n g   t e c h n i q u e s   t h a t   a r e   a p p l i e d   i n   o n l i n e   s o c i a l   c o m m u n i t i e s .   O u r   a p p r o a c h   r e c o m m e n d s   u s e r s   b y   c o n s i d e r i n g   c o n t e x t u a l   p r o p e r t i e s   o f   Q / A   c o m m u n i t i e s   s u c h   a s   p a r t i c i p a t i o n   d e g r e e   a n d   t o p i c - s e n s i t i v e   e x p e r t i s e .   F u r t h e r m o r e ,   w e   d i s c u s s   p r e d i c t i o n   m e c h a n i s m s   t o   e s t i m a t e   a n s w e r i n g   d y n a m i c s   c o n s i d e r i n g   a   p e r s o n ' s   i n t e r e s t   a n d   s o c i a l   p r e f e r e n c e s . 	 [ S c h a l l ,   D a n i e l ;   S k o p i k ,   F l o r i a n ]   V i e n n a   U n i v   T e c h n o l ,   D i s t r i b u t e d   S y s t   G r p ,   A - 1 0 4 0   V i e n n a ,   A u s t r i a 	 S c h a l l ,   D   ( r e p r i n t   a u t h o r ) ,   V i e n n a   U n i v   T e c h n o l ,   D i s t r i b u t e d   S y s t   G r p ,   A r g e n t i n i e r s t r   8 - 1 8 4 - 1 ,   A - 1 0 4 0   V i e n n a ,   A u s t r i a . 	 s c h a l l @ i n f o s y s . t u w i e n . a c . a t ;   s k o p i k @ i n f o s y s . t u w i e n . a c . a t 	 	 	 	 	 A d a m i c   L .   A . ,   2 0 0 8 ,   W W W   0 8 ,   P 6 6 5 ;   A g i c h t e i n   E . ,   2 0 0 8 ,   W S D M   0 8 ,   P 1 8 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 4 1 5 3 1 . 1 3 4 1 5 5 7 ;   [ A n o n y m o u s ] ,   Y A H   A N S W   S C O R   S Y S T ;   [ A n o n y m o u s ] ,   Y A H   A N S W   H O M ;   A r t z   D ,   2 0 0 7 ,   J   W E B   S E M A N T ,   V 5 ,   P 5 8 ,   D O I   1 0 . 1 0 1 6 / j . w e b s e m . 2 0 0 7 . 0 3 . 0 0 2 ;   B e c e r r a - F e r n a n d e z   I . ,   2 0 0 6 ,   A C M   T r a n s a c t i o n s   o n   I n t e r n e t   T e c h n o l o g y ,   V 6 ,   D O I   1 0 . 1 1 4 5 / 1 1 8 3 4 6 3 . 1 1 8 3 4 6 4 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   D e   C h o u d h u r y   M . ,   2 0 1 0 ,   W W W   1 0 ,   P 3 0 1 ;   G o l b e c k   J ,   2 0 0 9 ,   A C M   T   W E B ,   V 3 ,   D O I   1 0 . 1 1 4 5 / 1 5 9 4 1 7 3 . 1 5 9 4 1 7 4 ;   G y o n g y i   Z . ,   2 0 0 7 ,   2 0 0 7 3 5   S T A N F   I N F O L A B ;   H a v e l i w a l a   T . H . ,   2 0 0 2 ,   W W W   0 2 ,   P 5 1 7 ;   H o r o w i t z   D . ,   2 0 1 0 ,   W W W   1 0 ,   P 4 3 1 ;   J u r c z y k   P . ,   2 0 0 7 ,   C I K M ,   P 9 1 9 ;   K l e i n b e r g   J M ,   1 9 9 9 ,   J   A C M ,   V 4 6 ,   P 6 0 4 ,   D O I   1 0 . 1 1 4 5 / 3 2 4 1 3 3 . 3 2 4 1 4 0 ;   K u m a r   R . ,   2 0 1 0 ,   W S D M   2 0 1 0 ,   P 3 1 1 ;   P a g e   L . ,   1 9 9 8 ,   P A G E R A N K   C I T A T I O N   R A ;   S c h a l l   D ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 4 3 0 ,   P 1 6 0 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 6 5 6 7 - 2 _ 1 2 ;   S k o p i k   F ,   2 0 1 0 ,   I N F O R M   S Y S T ,   V 3 5 ,   P 7 3 5 ,   D O I   1 0 . 1 0 1 6 / j . i s . 2 0 1 0 . 0 3 . 0 0 1 ;   V a z q u e z   A ,   2 0 0 6 ,   P H Y S   R E V   E ,   V 7 3 ,   D O I   1 0 . 1 1 0 3 / P h y s R e v E . 7 3 . 0 3 6 1 2 7 ;   W e n g   J . ,   2 0 1 0 ,   W S D M   1 0 ,   P 2 6 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 1 8 4 8 7 . 1 7 1 8 5 2 0 ;   Z h a n g   J . ,   2 0 0 7 ,   W W W   0 7 ,   P 2 2 1 ;   Z i e g l e r   C N ,   2 0 0 7 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 3 ,   P 4 6 0 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 6 . 1 1 . 0 0 3 	 2 2 	 3 	 3 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 2 3 7 3 6 - 2 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 1 	 6 9 0 9 	 	 	 	 	 	 2 8 5 	 3 0 1 	 	 	 	 1 7 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B B 8 6 	 W O S : 0 0 0 3 0 6 3 9 2 0 0 0 0 2 1 	 	 
 S 	 M u r g a n t e ,   B ;   T i l i o ,   L ;   S c o r z a ,   F ;   L a n z a ,   V 	 	 M u r g a n t e ,   B ;   G e r v a s i ,   O ;   I g l e s i a s ,   A ;   T a n i a r ,   D ;   A p d u h a n ,   B O 	 	 M u r g a n t e ,   B e n i a m i n o ;   T i l i o ,   L u c i a ;   S c o r z a ,   F r a n c e s c o ;   L a n z a ,   V i v i a n a 	 	 	 C r o w d - C l o u d   T o u r i s m ,   N e w   A p p r o a c h e s   t o   T e r r i t o r i a l   M a r k e t i n g 	 C O M P U T A T I O N A L   S C I E N C E   A N D   I T S   A P P L I C A T I O N S   -   I C C S A   2 0 1 1 ,   P T   I I 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 1 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m p u t a t i o n a l   S c i e n c e   a n d   I t s   A p p l i c a t i o n s   ( I C C S A ) 	 J U N   2 0 - 2 3 ,   2 0 1 1 	 S a n t a n d e r ,   S P A I N 	 K y u s h u   S a n g y o   U n i v ,   U n i v   P e r u g i a ,   M o n a s h   U n i v ,   U n i v   B a s i l i c a t a ,   U n i v   C a n t a b r i a ,   D e p t   A p p l   M a t h   &   C o m p u t a t   S c i ,   U n i v   C a n t a b r i a ,   D e p t   M a t h ,   S t a t   &   C o m p u t a t ,   U n i v   C a n t a b r i a ,   F a c   S c i ,   U n i v   C a n t a b r i a ,   V i c e r r e c t o r   R e s   &   K n o w l e d g e   T r a n s f e r ,   C a n t a b r i a   C a m p u s   I n t ,   M u n i c i p a l   S a n t a n d e r ,   R e g   G o v t   C a n t a b r i a ,   S p a n i s h   M i n i s t   S c i   &   I n n o v a t ,   G e o C o n n e x ,   V e c t o r 1   M e d i a 	 U n i v   C a n t a b r i a 	 N e o g e o g r a p h y ;   V o l u n t e e r e d   G e o g r a p h i c a l   I n f o r m a t i o n ;   C r o w d s o u r c i n g ;   C o l l a b o r a t i v e   M a p p i n g ;   C l o u d   S e r v i c e s ;   G i s C l o u d ;   T e r r i t o r i a l   M a r k e t i n g ;   T o u r i s m   D e v e l o p m e n t 	 T O O L S ;   G I S 	 D e s p i t e   g r e a t   e f f o r t s   i n   a d o p t i n g   t e c h n o l o g i e s   f o r   t o u r i s m   d e v e l o p m e n t ,   f e w   r e s u l t s   h a v e   b e e n   a c h i e v e d .   A   l o t   o f   e x p e r i e n c e s   a r e   m o s t l y   b a s e d   o n   p i l o t   p r o j e c t s   o r   o n   n e v e r   c o m p l e t e d   p r o t o t y p e s .   N a t i o n s   w i t h   a   l a r g e   t o u r i s m   v o c a t i o n   l a c k   o f   a   s e r i o u s   n a t i o n a l   t o u r i s m   p o r t a l .   A   d i f f e r e n t   a p p r o a c h   h a s   b e e n   a d o p t e d   i n   M a t e r a   ( s o u t h e r n   I t a l y ) ,   w h e r e   a   v o l u n t e e r e d   w a y   h a s   b e e n   a d o p t e d   i n   m a p p i n g   a l l   t o u r i s t   s e r v i c e s   a n d   r e l a t e d   i n f o r m a t i o n .   A l l   d a t a   r e l a t e d   t o   c u l t u r a l   h e r i t a g e ,   s e r v i c e s ,   t r a n s p o r t ,   e t c .   h a v e   b e e n   c o l l e c t e d   b y   v o l u n t a r y   a c t i o n s   o f   s t u d e n t s   a n d   c i t i z e n s   a n d   s h a r e d   u s i n g   c l o u d - g i s   w e b   s e r v i c e .   T h e s e   d a t a   h a v e   b e e n   l i n k e d   w i t h   o t h e r   i n f o r m a t i o n   a l r e a d y   e x i s t i n g   o n   t h e   w e b   ( m o v i e s ,   p i c t u r e s ,   W i k i p e d i a ,   h i s t o r i c a l   d o c u m e n t a t i o n s ,   e t c . ) ,   p r o d u c i n g   a   s o r t   o f   l o c a l   m i n i - p o r t a l   f o r   t o u r i s m   d e v e l o p m e n t .   A f t e r   t h i s   f i r s t   p h a s e   a   s t r o n g   i n t e r a c t i o n   w i t h   c i t i z e n s   h a s   b e e n   c r e a t e d   u s i n g   a   b l o g   a n d   s o c i a l   n e t w o r k s   i n   o r d e r   t o   c o m p l e t e   a n d   c o r r e c t   t h e   w h o l e   d a t a s e t . 	 [ M u r g a n t e ,   B e n i a m i n o ;   T i l i o ,   L u c i a ;   S c o r z a ,   F r a n c e s c o ;   L a n z a ,   V i v i a n a ]   U n i v   B a s i l i c a t a ,   L a b   U r b a n   &   T e r r i t o r i a l   S y s t ,   I - 8 5 1 0 0   P o t e n z a ,   I t a l y 	 M u r g a n t e ,   B   ( r e p r i n t   a u t h o r ) ,   U n i v   B a s i l i c a t a ,   L a b   U r b a n   &   T e r r i t o r i a l   S y s t ,   1 0   V i a l e   A t e n e o ,   I - 8 5 1 0 0   P o t e n z a ,   I t a l y . 	 b e n i a m i n o . m u r g a n t e @ u n i b a s . i t ;   l u c i a . t i l i o @ u n i b a s . i t ;   f r a n c e s c o . s c o r z a @ u n i b a s . i t ;   v i v i a n a . l a n z a @ u n i b a s . i t ;   b e n i a m i n o . m u r g a n t e @ u n i b a s . i t 	 	 	 	 	 [ A n o n y m o u s ] ,   1 9 8 5 ,   M I N   R E S P   C U L T   A F F   R E ;   C o g l i a n d r o   G . ,   2 0 0 1 ,   E U R O P E A N   C I T I E S   C U L T ;   C o n r o y   M M ,   2 0 0 6 ,   E N V I R O N   P L A N N   C ,   V 2 4 ,   P 3 7 1 ,   D O I   1 0 . 1 0 6 8 / c 1 k ;   E u r o p e a n   C o m m i s s i o n   ( E d u c a t i o n   a n d   C u l t u r e   D i r e c t o r a t e - G e n e r a l ) ,   2 0 0 0 ,   C U L T   2 0 0 0   P R O G R   E U R ;   E v a n s - C o w l e y   J ,   2 0 0 6 ,   J   U R B A N   T E C H N O L ,   V 1 3 ,   P 8 1 ,   D O I   1 0 . 1 0 8 0 / 1 0 6 3 0 7 3 0 6 0 0 7 5 2 8 9 2 ;   F r a n k l i n   C . ,   1 9 9 2 ,   D A T A B A S E ,   V 1 5 ,   P 1 3 ;   G o o d c h i l d   M i c h a e l ,   2 0 0 9 ,   J o u r n a l   o f   L o c a t i o n   B a s e d   S e r v i c e s ,   V 3 ,   D O I   1 0 . 1 0 8 0 / 1 7 4 8 9 7 2 0 9 0 2 9 5 0 3 7 4 ;   G o o d c h i l d   M   F ,   2 0 0 7 ,   I N T   J   S P A T I A L   D A T A   I ,   V 2 ,   P 2 4 ;   H u d s o n - S m i t h   A ,   2 0 0 9 ,   H D B   R E S   U R B A N   I N F O R M ;   L a n z a   V . ,   2 0 0 9 ,   U R B A N   R E G I O N A L   D A T A ,   P 2 7 3 ;   M u r g a n t e   B ,   2 0 1 1 ,   J   B A L K A N   N E A R   E   S T U D ,   V 1 3 ,   P 9 7 ,   D O I   1 0 . 1 0 8 0 / 1 9 4 4 8 9 5 3 . 2 0 1 1 . 5 5 0 8 0 9 ;   M u r g a n t e   B ,   2 0 0 9 ,   S T U D   C O M P U T   I N T E L L ,   V 1 7 6 ,   P 1 ;   M y e r s c o u g h   J . ,   1 9 9 4 ,   E U R O P E A N   C I T I E S   C U L T ;   S i m o n   H . ,   1 9 9 7 ,   A D M   B E H A V   S T U D Y   D E C I ;   S u i   D Z ,   2 0 0 8 ,   C O M P U T   E N V I R O N   U R B A N ,   V 3 2 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / j . c o m p e n v u r b s y s . 2 0 0 7 . 1 2 . 0 0 1 ;   T i l i o   L ,   2 0 0 9 ,   L E C T   N O T E S   A R T I F   I N T ,   V 5 7 3 6 ,   P 2 2 8 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 4 7 5 4 - 1 _ 2 4 ;   T u r n e r   A . ,   2 0 0 6 ,   I N T R O   N E O G E O G R A P H Y ;   W o r l d   T o u r i s m   O r g a n i z a t i o n ,   1 9 9 4 ,   R E C   T O U R   S T A T 	 1 8 	 2 	 2 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 2 1 8 8 6 - 6 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 1 	 6 7 8 3 	 	 	 	 	 	 2 6 5 	 2 7 6 	 	 	 	 1 2 	 C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B A X 0 0 	 W O S : 0 0 0 3 0 5 8 9 9 6 0 0 0 2 1 	 	 
 B 	 S c o t t ,   L 	 	 	 I O N 	 S c o t t ,   L o g a n 	 	 	 J 9 1 1 :   T h e   C a s e   f o r   F a s t   J a m m e r   D e t e c t i o n   a n d   L o c a t i o n   U s i n g   C r o w d s o u r c i n g   A p p r o a c h e s 	 P R O C E E D I N G S   O F   T H E   2 4 T H   I N T E R N A T I O N A L   T E C H N I C A L   M E E T I N G   O F   T H E   S A T E L L I T E   D I V I S I O N   O F   T H E   I N S T I T U T E   O F   N A V I G A T I O N   ( I O N   G N S S   2 0 1 1 ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 2 4 t h   I n t e r n a t i o n a l   T e c h n i c a l   M e e t i n g   o f   t h e   S a t e l l i t e   D i v i s i o n   o f   t h e   I n s t i t u t e   o f   N a v i g a t i o n   ( I O N   G N S S ) 	 S E P   2 0 - 2 3 ,   2 0 1 0 	 P o r t l a n d ,   O R 	 I n s t   N a v i g a t ,   S a t e l l i t e   D i v 	 	 	 	 E v e n t s   i n   e a r l y   2 0 1 0   a t   N e w a r k   L i b e r t y   I n t e r n a t i o n a l   A i r p o r t   ( E W R )   p r o v i d e   a   c l e a r   d e m o n s t r a t i o n   o f   t h e   v u l n e r a b i l i t y   o f   c i v i l   G P S   i n f r a s t r u c t u r e   t o   i n t e n t i o n a l   i n t e r f e r e n c e .   A n   i n t e r d i c t i o n   e f f o r t   w a s   l a u n c h e d   t o   c a t c h   a n   o f f e n d e r   u s i n g   a d v a n c e d   i n t e r f e r e n c e   d e t e c t i o n   e q u i p m e n t   a n d   m u l t i p l e   s u r v e i l l a n c e   c a m e r a s .   A n   o f f e n d e r ,   a   t r u c k   d r i v e r ,   w a s   c a u g h t   a n d   a r r e s t e d .   I n   h i s   p o s s e s s i o n :   a   w i d e l y   a v a i l a b l e   G P S   j a m m e r   t h a t   p l u g s   d i r e c t l y   i n t o   t h e   c i g a r e t t e   l i g h t e r .   T o   p r e v e n t   f u t u r e   i n c i d e n t s ,   t h e   F A A   i s   r e l o c a t i n g   t h e   G B A S   s y s t e m   t o   a   m o r e   p r o t e c t e d   l o c a t i o n   a w a y   f r o m   t h e   f r e e w a y .   T h e r e   a r e   s t r o n g   p r i v a c y   a n d   f i n a n c i a l   m o t i v a t i o n s   t o   u s e   G P S   j a m m i n g .   C o n v e n t i o n a l   e m i t t e r   l o c a t i o n   t e c h n i q u e s   p e r f o r m   p o o r l y   i n   t h e   g r o u n d   m o b i l e   e n v i r o n m e n t   a n d   a r e   u n a f f o r d a b l e   i f   w i d e   a r e a   g e o g r a p h i c   c o v e r a g e   i s   n e e d e d .   W i t h o u t   e f f e c t i v e   i n t e r d i c t i o n ,   w e   m a y   r e a c h   a   p o i n t   w h e r e   l o w   p o w e r   G P S   j a m m i n g   b e c o m e s   c h r o n i c .   C e l l   p h o n e s   c o u l d   i n c l u d e   G P S   J a m   t o   N o i s e   ( J / N )   r a t i o   d e t e c t o r s   t o   p r o v i d e   t i m e l y   i n t e r f e r e n c e   d e t e c t i o n .   G i v e n   m e a s u r e m e n t s   f r o m   s e v e r a l   c e l l   p h o n e s ,   t h e   j a m m e r ' s   l o c a t i o n   c a n   b e   e s t i m a t e d   b y   e x a m i n i n g   m e a s u r e d   j a m m i n g   p o w e r   a s   a   f u n c t i o n   o f   o b s e r v e r   p o s i t i o n s .   T h i s   p a p e r   e x p l o r e s   h o w   v i a b l e   s u c h   a   c o n c e p t   m i g h t   b e ,   h o w   a c c u r a t e l y   j a m m e r   l o c a t i o n   c a n   b e   d e t e r m i n e d   a n d   w h a t   i t   w o u l d   t a k e   t o   i m p l e m e n t   s u c h   a   s y s t e m .   T h e   i n f l u e n c e s   o f   c e l l   p h o n e   J / N   m e a s u r e m e n t   a c c u r a c y ,   c e l l   p h o n e   p o s i t i o n   a c c u r a c y ,   p r o p a g a t i o n ,   a n d   c e l l   p h o n e   d e n s i t y   o n   j a m m e r   l o c a t i o n   a c c u r a c y   a r e   e x a m i n e d .   T h e   r e l a t i v e   a d v a n t a g e s   o f   s m a r t   p h o n e s ,   d u m b   p h o n e s ,   a n d   s m a r t   m e t e r s   a s   m e a s u r e m e n t   d e v i c e s   a r e   a l s o   c o n s i d e r e d .   I t   a p p e a r s   f e a s i b l e   a n d   c o s t   e f f e c t i v e   t o   p r o v i d e   j a m m i n g   d e t e c t i o n   i n   u n d e r   1 0   s e c o n d s   a n d   p r o v i d e   r e a l - t i m e   j a m m e r   l o c a t i o n   t o   b e t t e r   t h a n   4 0   m e t e r s   b u t   i t   w i l l   r e q u i r e   a n   a c t   o f   n a t i o n a l   w i l l .   I O C   c o u l d   h a p p e n   a s   e a r l y   a s   2 0 1 6   w i t h   f u l l   n a t i o n a l   c o v e r a g e   b y   2 0 1 8 .   C o n c e p t s   d i s c u s s e d   i n   t h i s   p a p e r   c a n   b e   e x t e n d e d   t o   l o c a t i n g   c e l l u l a r   j a m m e r s ,   e x p l o s i v e s ,   a n d   r a d i a t i o n   s o u r c e s 	 	 	 	 	 	 	 	 A M O R O S O   F ,   1 9 8 3 ,   I E E E   T   C O M M U N ,   V 3 1 ,   P 1 1 1 7 ,   D O I   1 0 . 1 1 0 9 / T C O M . 1 9 8 3 . 1 0 9 5 7 5 3 ;   [ A n o n y m o u s ] ,   2 0 0 2 E I B 1 4 ;   B e l l o w s   C h a r l i e ,   G P S   O P E R A T I O N S   C T R ;   C a r r o l   &   M o n t g o m e r y ,   2 0 0 8 ,   4 0   A N N   P R E C   T I M   T I M ;   C l y n c h ,   2 0 0 2 ,   I O N   G P S   2 0 0 2   2 4   2 7   S ;   F l e m i n g   N i c ,   2 0 1 1 ,   N E W   S C I                   0 7 3 0 ,   p [ 4 2 ,   3 0 ] ;   G a l t o n   F ,   1 9 0 7 ,   N A T U R E ,   V 7 5 ,   P 4 5 0 ,   D O I   1 0 . 1 0 3 8 / 0 7 5 4 5 0 a 0 ;   G r a n t ,   2 0 0 9 ,   J   N A V I G A T I O N ,   V 6 2 ,   P 1 7 3 ;   I T U - R ,   2 0 0 9 ,   M 2 1 3 5 1   I T U R ;   J a n d u r a   &   V o i g h t ,   U R S I G A S S   2 0 1 1 ;   P a r s o n s   J .   D . ,   2 0 0 0 ,   M O B I L E   R A D I O   P R O P A G A ;   S c o t t   L o g a n ,   2 0 1 1 ,   I O N   G N S S   2 0 1 1   S E P T   2 ;   S c o t t   L o g a n ,   S T A T   P R O P A G A T I O N   M O D ;   S c o t t   L o g a n ,   P R I N C I P L E S   M I L I T A R Y ;   S c o t t   L o g a n ,   F R E E   S P A C E   P R O P A G A T I ;   S h i n ,   2 0 1 1 ,   J   P E R V A S I V E   M O B I L E   C ,   V 7 ,   P 1 6 ;   W i M A X   F o r u m & R E G ,   2 0 1 1 ,   T E S T   P R O C   W I M A X   F O R 	 1 7 	 0 	 0 	 I N S T   N A V I G A T I O N 	 W A S H I N G T O N 	 8 1 5   1 5 T H   S T   N W ,   S T E   8 3 2 ,   W A S H I N G T O N ,   D C   2 0 0 0 5   U S A 	 	 	 	 	 	 	 2 0 1 1 	 	 	 	 	 	 	 1 9 3 1 	 1 9 4 0 	 	 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   T e l e c o m m u n i c a t i o n s 	 B A F 7 3 	 W O S : 0 0 0 3 0 4 0 3 2 0 0 1 0 9 0 	 	 
 J 	 G a r c i a ,   A C B ;   V i v a c q u a ,   A S ;   T a v a r e s ,   T C 	 	 	 	 G a r c i a ,   A n a   C r i s t i n a   B . ;   V i v a c q u a ,   A d r i a n a   S . ;   T a v a r e s ,   T h i a g o   C . 	 	 	 E n a b l i n g   C r o w d   P a r t i c i p a t i o n   i n   G o v e r n m e n t a l   D e c i s i o n - m a k i n g 	 J O U R N A L   O F   U N I V E R S A L   C O M P U T E R   S C I E N C E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 m - G o v e r n m e n t ;   M o b i l e   i n t e r a c t i o n ;   C r o w d s o u r c i n g ;   C o l l e c t i v e   I n t e l l i g e n c e ;   P a r t i c i p a t o r y   d e c i s i o n - m a k i n g ;   m - D e m o c r a c y 	 	 D e m o c r a t i c   g o v e r n m e n t s   c o n s t a n t l y   n e e d   t o   m a k e   s e n s e   o f   t h e i r   c i t i z e n s '   n e e d s   t o   m a k e   a p p r o p r i a t e   d e c i s i o n s   t h a t   r e f l e c t   t h e   o v e r a l l   w i s h e s   a n d   n e e d s   o f   t h e   p o p u l a t i o n .   H o w e v e r ,   e x c e p t   f o r   m a n d a t o r y   v o t i n g   s c e n a r i o s ,   a   l o w   r a t e   o f   c i t i z e n   p a r t i c i p a t i o n   i n   g o v e r n m e n t   d e c i s i o n s   t h r o u g h   d e m o c r a t i c   p r o c e s s e s   i s   a n   a s p e c t   t h a t   d e f i e s   d e m o c r a c y   i t s e l f .   B r a z i l ' s   p a r t i c i p a t o r y   b u d g e t   p o l i c y   e m p h a s i z e s   p e o p l e ' s   d i r e c t   g u i d a n c e   r e g a r d i n g   c e r t a i n   b u d g e t   a l l o c a t i o n s   t h o u g h   g r o u p   m e e t i n g s .   T h i s   p a p e r   p r e s e n t s   m P a r t i c i p a t i o n ,   a n   a g e n t - b a s e d   m o d e l   f o r   e l i c i t i n g   a n d   a n s w e r i n g   c i t i z e n   d e m a n d s   i n   a   p a r t i c i p a t o r y   g o v e r n m e n t   s t r u c t u r e   u s i n g   m o b i l e   t e c h n o l o g y .   A   p r o t o t y p e   s y s t e m   a p p l i e d   t o   t h e   d o m a i n   o f   p u b l i c   b u d g e t   a l l o c a t i o n   d o m a i n   d e m o n s t r a t e s   t h a t   i t   i s   f e a s i b l e   t o   p r o v i d e   e f f e c t i v e   c o m p u t a t i o n a l   s u p p o r t   t o   p a r t i c i p a t o r y   c o l l e c t i v e   d e c i s i o n - m a k i n g . 	 [ G a r c i a ,   A n a   C r i s t i n a   B . ;   T a v a r e s ,   T h i a g o   C . ]   U n i v   F e d   F l u m i n e n s e ,   A D D L a b s   I C ,   N i t e r o i ,   R J ,   B r a z i l ;   [ V i v a c q u a ,   A d r i a n a   S . ]   U n i v   F e d   R i o   d e   J a n e i r o ,   P P G I ,   R i o   D e   J a n e i r o ,   B r a z i l 	 G a r c i a ,   A C B   ( r e p r i n t   a u t h o r ) ,   U n i v   F e d   F l u m i n e n s e ,   A D D L a b s   I C ,   N i t e r o i ,   R J ,   B r a z i l . 	 b i c h a r r a @ i c . u f f . b r ;   a v i v a c q u a @ d c c . u f r j . b r ;   t h i a g o c o r t a t @ g m a i l . c o m 	 	 	 	 	 A l v a r e s   R .   V . ,   2 0 0 5 ,   P   P O R T   C   A R T   I N T   E P I ,   V 1 2 ,   P 6 9 3 ;   A v r i t z e r   L . ,   2 0 0 6 ,   I N T   J   U R B A N   R E G I O N A L ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   D A V I E S   G W P ,   1 9 9 5 ,   J   I N F O R M   S C I ,   V 2 1 ,   P 3 8 3 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 9 5 0 2 1 0 0 5 0 5 ;   D e l b e q   A .   L . ,   1 9 7 5 ,   G R O U P   T E C H N I Q U E S   P R O ;   F e d o z z i   L u c i a n o ,   2 0 0 7 ,   O B S E R V A N D O   O R C A M E N T O ;   G r o b e l n i k   M . ,   2 0 0 5 ,   P   A C A I   0 5   A D V   C O U R S ;   H e l a l   A .   A . ,   1 9 9 9 ,   S P R I N G E R   I N T   S E R I E S ;   H e r m a n n s   H . ,   2 0 0 8 ,   P O L I T I C S ,   V 2 8 ,   P 7 4 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 2 5 6 . 2 0 0 8 . 0 0 3 1 4 . x ;   H i r s t   P a u l ,   2 0 0 0 ,   D E B A T I N G   G O V E R N A N C E ;   I B G E ,   2 0 0 9 ,   C E N S   D E M ;   I B G E ,   2 0 0 8 ,   S I N T   I N D   S O C   P O P   B R A ;   I B O P E ,   2 0 0 8 ,   P E S Q   N U M   P E S S   C O M   A C ;   K e s h a v   S . ,   2 0 0 5 ,   A C M   S I G C O M M   C O M P U T E R ,   V 3 5 ,   P 8 3 ;   K l e i n   M . ,   2 0 0 7 ,   2 0 0 7 0 0 1   C C I   M I T   S O A N ;   L a y n e   K ,   2 0 0 1 ,   G O V   I N F O R M   Q ,   V 1 8 ,   P 1 2 2 ,   D O I   1 0 . 1 0 1 6 / S 0 7 4 0 - 6 2 4 X ( 0 1 ) 0 0 0 6 6 - 1 ;   N e z   H . ,   2 0 0 8 ,   D E M   P A R T   I N C L   S O C   E X ;   N o g u e i r a   J .   L .   T . ,   2 0 0 8 ,   T H E S I S   U   F E D E R A L   F L U ;   O r c a m e n t o   P a r t i c i p a t i v o   D i g i t a l   P r e f e i t u r a   d e   B e l o   H o r i z o n t e ,   2 0 0 8 ,   P R E F   B E L   H O R ;   O u   C M ,   2 0 0 8 ,   J   U N I V E R S   C O M P U T   S C I ,   V 1 4 ,   P 2 3 0 9 ;   R o w e   G ,   2 0 0 0 ,   S C I   T E C H N O L   H U M   V A L ,   V 2 5 ,   P 3 ;   S m i t h   R . ,   2 0 0 0 ,   S I G C U E   O U T L O O K ,   V 2 1 ,   P 1 8 ;   S t r a g i e r   J ,   2 0 1 0 ,   J   U N I V E R S   C O M P U T   S C I ,   V 1 6 ,   P 1 0 7 5 ;   V e r m a   N . ,   2 0 0 7 ,   P   1   I N T   C   T H E O R   P R A C ;   W a n g   X . H . ,   2 0 0 4 ,   P   2   I E E E   A N N   C   P E R V 	 2 5 	 0 	 0 	 G R A Z   U N I V   T E C H N O L G O Y ,   I N S T   I N F O R M A T I O N   S Y S T E M S   C O M P U T E R   M E D I A - I I C M 	 G R A Z 	 I N F F E L D G A S S E   1 6 C ,   G R A Z ,   A - 8 0 1 0 ,   A U S T R I A 	 0 9 4 8 - 6 9 5 X 	 	 	 J   U N I V E R S   C O M P U T   S C I 	 J .   U n i v e r s .   C o m p u t .   S c i . 	 	 2 0 1 1 	 1 7 	 1 4 	 	 	 	 	 1 9 3 1 	 1 9 5 0 	 	 	 	 2 0 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 9 4 9 W O 	 W O S : 0 0 0 3 0 4 6 0 7 9 0 0 0 0 4 	 	 
 B 	 B i g h a m ,   J P ;   L a d n e r ,   R E ;   B o r o d i n ,   Y 	 	 	 A C M 	 B i g h a m ,   J e f f r e y   P . ;   L a d n e r ,   R i c h a r d   E . ;   B o r o d i n ,   Y e v g e n 	 	 	 T h e   D e s i g n   o f   H u m a n - P o w e r e d   A c c e s s   T e c h n o l o g y 	 A S S E T S   1 1 :   P R O C E E D I N G S   O F   T H E   1 3 T H   I N T E R N A T I O N A L   A C M   S I G A C C E S S   C O N F E R E N C E   O N   C O M P U T E R S   A N D   A C C E S S I B I L I T Y 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 3 t h   I n t e r n a t i o n a l   A C M   S I G A C C E S S   C o n f e r e n c e   o n   C o m p u t e r s   a n d   A c c e s s i b i l i t y 	 O C T   2 4 - 2 6 ,   2 0 1 1 	 D u n d e e ,   S C O T L A N D 	 S I G   A C C E S S 	 	 C r o w d s o u r c i n g ;   H u m a n   C o m p u t a t i o n ;   A c c e s s   T e c h n o l o g y 	 	 P e o p l e   w i t h   d i s a b i l i t i e s   h a v e   a l w a y s   o v e r c o m e   a c c e s s i b i l i t y   p r o b l e m s   b y   e n l i s t i n g   p e o p l e   i n   t h e i r   c o m m u n i t y   t o   h e l p .   T h e   I n t e r n e t   h a s   b r o a d e n e d   t h e   a v a i l a b l e   c o m m u n i t y   a n d   m a d e   i t   e a s i e r   t o   g e t   o n - d e m a n d   a s s i s t a n c e   r e m o t e l y .   I n   p a r t i c u l a r ,   t h e   p a s t   f e w   y e a r s   h a v e   s e e n   t h e   d e v e l o p m e n t   o f   t e c h n o l o g y   i n   b o t h   r e s e a r c h   a n d   i n d u s t r y   t h a t   u s e s   h u m a n   p o w e r   t o   o v e r c o m e   t e c h n i c a l   p r o b l e m s   t o o   d i f f i c u l t   t o   s o l v e   a u t o m a t i c a l l y .   I n   t h i s   p a p e r ,   w e   f r a m e   r e c e n t   d e v e l o p m e n t s   i n   h u m a n   c o m p u t a t i o n   i n   t h e   h i s t o r i c a l   c o n t e x t   o f   a c c e s s i b i l i t y ,   a n d   o u t l i n e   a   f r a m e w o r k   f o r   d i s c u s s i n g   n e w   a d v a n c e s   i n   h u m a n - p o w e r e d   a c c e s s   t e c h n o l o g y .   S p e c i f i c a l l y ,   w e   p r e s e n t   a   s e t   o f   1 3   d e s i g n   p r i n c i p l e s   f o r   h u m a n - p o w e r e d   a c c e s s   t e c h n o l o g y   m o t i v a t e d   b o t h   b y   h i s t o r i c a l   c o n t e x t   a n d   c u r r e n t   t e c h n o l o g i c a l   d e v e l o p m e n t s .   W e   t h e n   d e m o n s t r a t e   t h e   u t i l i t y   o f   t h e s e   p r i n c i p l e s   b y   u s i n g   t h e m   t o   c o m p a r e   s e v e r a l   e x i s t i n g   h u m a n - p o w e r e d   a c c e s s   t e c h n o l o g i e s .   T h e   p o w e r   o f   i d e n t i f y i n g   t h e   1 3   p r i n c i p l e s   i s   t h a t   t h e y   w i l l   i n s p i r e   n e w   w a y s   o f   t h i n k i n g   a b o u t   h u m a n - p o w e r e d   a c c e s s   t e c h n o l o g i e s . 	 [ B i g h a m ,   J e f f r e y   P . ]   U n i v   R o c h e s t e r ,   R O C   H C I ,   R o c h e s t e r ,   N Y   1 4 6 1 8   U S A 	 B i g h a m ,   J P   ( r e p r i n t   a u t h o r ) ,   U n i v   R o c h e s t e r ,   R O C   H C I ,   R o c h e s t e r ,   N Y   1 4 6 1 8   U S A . 	 j b i g h a m @ c s . r o c h e s t e r . e d u ;   l a d n e r @ c s . w a s h i n g t o n . e d u ;   b o r o d i n @ c s . s t o n y b r o o k . e d u 	 	 	 	 	 [ A n o n y m o u s ] ,   D R A G O N   N A T U R A L L Y   S P E ;   [ A n o n y m o u s ] ,   A M A Z O N S   M E C H   T U R K ;   [ A n o n y m o u s ] ,   F A C E B O O K   S T A T S ;   A z e n k o t   S . ,   C H I   2 0 1 1 ;   B e r n s t e i n   M . ,   U I S T   2 0 1 0 ;   B e y e r   H . ,   1 9 9 8 ,   C O N T E X T U A L   D E S I G N   D E ;   B i g h a m   J . P . ,   C V A V I   2 0 1 0 ;   B i g h a r n   J e f f r e y   P . ,   U I S T   2 0 1 0 ;   B o r o d i n   Y . ,   2 0 0 8 ,   A S S E T S   0 8 ,   P 1 4 5 ;   B o r o d i n   Y . ,   W 4 A   2 0 1 0 ,   P 1 ;   C a r m i e n   S . ,   2 0 0 3 ,   G R O U P ,   P 9 5 ;   C a r o l   P a i   S . C . ,   U B I C O M P   2 0 0 6 ,   P 1 5 9 ;   C a v e n d e r   A . C . ,   C H I   2 0 1 0 ,   P 2 0 7 5 ;   C h u   W . - T . ,   2 0 0 6 ,   E U R A S I P   J   A P P L   S I G   P ,   P 1 8 1 ;   C o w l i n g   M ,   2 0 0 3 ,   P A T T E R N   R E C O G N   L E T T ,   V 2 4 ,   P 2 8 9 5 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 7 - 8 6 5 5 ( 0 3 ) 0 0 1 4 7 - 8 ;   D a w e   M . ,   C H I   2 0 0 6 ,   P 1 1 4 3 ;   E v a n s   N . ,   2 0 0 9 ,   B E H A V   M O N I T O R I N G   I N T ;   F e r r e s   L . ,   2 0 1 1 ,   P   I N T   C R O S S   D I S C   C   W ;   G o e t t e   T . ,   A S S E T S   1 9 9 8 ,   P 1 8 9 ;   H o w e   J . ,   2 0 0 9 ,   W H Y   P O W E R   C R O W D   I S   D ;   J o s e   J .   M . ,   2 0 0 4 ,   C V A V I ;   K a m v a r   S . D . ,   W 4 A   2 0 1 0 ,   P 4 3 1 ;   K A S S I R E R   J P ,   1 9 7 8 ,   A N N   I N T E R N   M E D ,   V 8 9 ,   P 2 4 5 ;   K a w a n a k a   S . ,   A S S E T S   2 0 0 8 ,   P 1 5 3 ;   K i t t u r   A . ,   C H I   2 0 0 8 ,   P 4 5 3 ;   L a d n e r   R . E . ,   A S S E T S   2 0 0 5 ,   P 1 5 0 ;   M a n d u c h i   R . ,   I C C H P   2 0 0 8 ,   P 1 1 3 5 ;   M i e s e n b e r g e r   K . ,   C O M P U T E R S   H E L P I N G   P E ,   P 6 4 7 ;   P h i l l i p s   B ,   1 9 9 3 ,   A s s i s t   T e c h n o l ,   V 5 ,   P 3 6 ;   P o r r e r o   P . ,   1 9 9 8 ,   I M P R O V I N G   Q U A L I T Y   L I ;   R i c h a r d   O . G . a . G . ,   I C A S S P   2 0 0 5 ,   P 2 0 5 ;   S a m u e l   W h i t e   H . J . ,   U I S T   2 0 1 0   D E M O S ;   S n y d e r   J . ,   2 0 0 5 ,   I N T   C   S E R I E S ,   V 1 2 8 2 ,   P 9 3 5 ,   D O I   1 0 . 1 0 1 6 / j . i c s . 2 0 0 5 . 0 5 . 2 1 5 ;   S t i n s o n   M . ,   1 9 9 9 ,   R E A L   T I M E   S P E E C H   T O ;   S u d o l   J . ,   C V A V I   2 0 1 0 ;   T a k a g i   H . ,   A S S E T S   2 0 0 9 ,   P 1 9 5 ;   U n i o n   I T . ,   2 0 0 7 ,   T R E N D S   T E L E C O M M U N I C A ;   V i e g a s   F .   B . ,   2 0 0 7 ,   P   4 0   A N N   H A W   I N T   C   S ,   P 7 8 ,   D O I   1 0 . 1 1 0 9 / H I C S S . 2 0 0 7 . 5 1 1 ;   W a l d   M i k e ,   2 0 0 7 ,   I n t e r n a t i o n a l   J o u r n a l   o f   S p e e c h   T e c h n o l o g y ,   V 1 0 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 7 2 - 0 0 8 - 9 0 1 4 - 4 	 3 9 	 2 	 2 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 1 5 1 5   B R O A D W A Y ,   N E W   Y O R K ,   N Y   1 0 0 3 6 - 9 9 9 8   U S A 	 	 	 9 7 8 - 1 - 4 5 0 3 - 0 9 1 9 - 6 	 	 	 	 2 0 1 1 	 	 	 	 	 	 	 3 	 1 0 	 	 	 	 8 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B A F 5 2 	 W O S : 0 0 0 3 0 4 0 1 8 9 0 0 0 0 2 	 	 
 B 	 B r a d y ,   E 	 	 	 A C M 	 B r a d y ,   E r i n 	 	 	 A n a l y z i n g   V i s u a l   Q u e s t i o n s   f r o m   V i s u a l l y   I m p a i r e d   U s e r s 	 A S S E T S   1 1 :   P R O C E E D I N G S   O F   T H E   1 3 T H   I N T E R N A T I O N A L   A C M   S I G A C C E S S   C O N F E R E N C E   O N   C O M P U T E R S   A N D   A C C E S S I B I L I T Y 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 3 t h   I n t e r n a t i o n a l   A C M   S I G A C C E S S   C o n f e r e n c e   o n   C o m p u t e r s   a n d   A c c e s s i b i l i t y 	 O C T   2 4 - 2 6 ,   2 0 1 1 	 D u n d e e ,   S C O T L A N D 	 S I G   A C C E S S 	 	 N o n - V i s u a l   I n t e r f a c e s ;   B l i n d   U s e r s ;   Q & A ;   C r o w d s o u r c i n g 	 	 M a n y   n e w   t e c h n o l o g i e s   h a v e   b e e n   d e v e l o p e d   t o   a s s i s t   p e o p l e   w h o   a r e   v i s u a l l y   i m p a i r e d   i n   l e a r n i n g   a b o u t   t h e i r   e n v i r o n m e n t ,   b u t   t h e r e   i s   l i t t l e   u n d e r s t a n d i n g   o f   t h e i r   m o t i v a t i o n s   f o r   u s i n g   t h e s e   t o o l s .   O u r   t o o l   V i z   W i z   a l l o w s   u s e r s   t o   t a k e   a   p i c t u r e   u s i n g   t h e i r   m o b i l e   p h o n e ,   a s k   a   q u e s t i o n   a b o u t   t h e   p i c t u r e ' s   c o n t e n t s ,   a n d   r e c e i v e   a n   a n s w e r   i n   n e a r l y   r e a l t i m e .   T h i s   s t u d y   i n v e s t i g a t e s   p a t t e r n s   i n   t h e   q u e s t i o n s   t h a t   v i s u a l l y   i m p a i r e d   u s e r s   a s k   a b o u t   t h e i r   s u r r o u n d i n g s ,   a n d   p r e s e n t s   t h e   b e n e f i t s   a n d   l i m i t a t i o n s   o f   r e s p o n s e s   f r o m   b o t h   h u m a n   a n d   c o m p u t e r i z e d   s o u r c e s . 	 U n i v   R o c h e s t e r ,   R O C   H C I ,   R o c h e s t e r ,   N Y   1 4 6 1 8   U S A 	 B r a d y ,   E   ( r e p r i n t   a u t h o r ) ,   U n i v   R o c h e s t e r ,   R O C   H C I ,   R o c h e s t e r ,   N Y   1 4 6 1 8   U S A . 	 b r a d y @ c s . r o c h e s t e r . e d u 	 	 	 	 	 [ A n o n y m o u s ] ,   C O L O R   I D   F R E E ;   B i g h a m   J . P ,   2 0 1 0 ,   V I Z W I Z   N E A R L Y   R E A L   T ;   S u d o l   J . ,   C V A V I   2 0 1 0 	 3 	 0 	 0 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 1 5 1 5   B R O A D W A Y ,   N E W   Y O R K ,   N Y   1 0 0 3 6 - 9 9 9 8   U S A 	 	 	 9 7 8 - 1 - 4 5 0 3 - 0 9 1 9 - 6 	 	 	 	 2 0 1 1 	 	 	 	 	 	 	 3 0 9 	 3 1 0 	 	 	 	 2 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B A F 5 2 	 W O S : 0 0 0 3 0 4 0 1 8 9 0 0 0 7 4 	 	 
 B 	 P r a s a i n ,   S 	 	 	 A C M 	 P r a s a i n ,   S a n j a n a 	 	 	 S t o p F i n d e r :   I m p r o v i n g   t h e   E x p e r i e n c e   o f   B l i n d   P u b l i c   T r a n s i t   R i d e r s   w i t h   C r o w d s o u r c i n g 	 A S S E T S   1 1 :   P R O C E E D I N G S   O F   T H E   1 3 T H   I N T E R N A T I O N A L   A C M   S I G A C C E S S   C O N F E R E N C E   O N   C O M P U T E R S   A N D   A C C E S S I B I L I T Y 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 3 t h   I n t e r n a t i o n a l   A C M   S I G A C C E S S   C o n f e r e n c e   o n   C o m p u t e r s   a n d   A c c e s s i b i l i t y 	 O C T   2 4 - 2 6 ,   2 0 1 1 	 D u n d e e ,   S C O T L A N D 	 S I G   A C C E S S 	 	 B l i n d ;   C r o w d s o u r c i n g ;   S m a r t   p h o n e ;   A c c e s s i b i l i t y ;   P u b l i c   t r a n s i t ;   I n d e p e n d e n c e 	 	 I   d e v e l o p e d   a   s y s t e m   f o r   m o b i l e   d e v i c e s   f o r   c r o w d s o u r c i n g   l a n d m a r k s   a r o u n d   b u s   s t o p s   f o r   b l i n d   t r a n s i t   r i d e r s .   T h e   m a i n   f o c u s   o f   m y   r e s e a r c h   i s   t o   d e v e l o p   a   m e t h o d   t o   p r o v i d e   r e l i a b l e   a n d   a c c u r a t e   i n f o r m a t i o n   a b o u t   l a n d m a r k s   a r o u n d   b u s   s t o p s   t o   b l i n d   t r a n s i t   r i d e r s .   I n   a d d i t i o n   t o   t h a t ,   m y   r e s e a r c h   f o c u s e s   o n   u n d e r s t a n d i n g   h o w   a c c e s s   t o   s u c h   i n f o r m a t i o n   a f f e c t s   t h e i r   u s e   o f   p u b l i c   t r a n s p o r t a t i o n . 	 U n i v   W a s h i n g t o n ,   S e a t t l e ,   W A   9 8 1 9 5   U S A 	 P r a s a i n ,   S   ( r e p r i n t   a u t h o r ) ,   U n i v   W a s h i n g t o n ,   S e a t t l e ,   W A   9 8 1 9 5   U S A . 	 p r a s 5 1 8 1 @ u w . e d u 	 	 	 	 	 A z e n k o t   S . ,   P   S I G C H I   C   H U M   F A C T ;   F E R R I S   B ,   2 0 1 0 ,   P   C H I   2 0 1 0 ,   P 1 8 0 7 ,   D O I   1 0 . 1 1 4 5 / 1 7 5 3 3 2 6 . 1 7 5 3 5 9 7 	 2 	 1 	 1 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 1 5 1 5   B R O A D W A Y ,   N E W   Y O R K ,   N Y   1 0 0 3 6 - 9 9 9 8   U S A 	 	 	 9 7 8 - 1 - 4 5 0 3 - 0 9 1 9 - 6 	 	 	 	 2 0 1 1 	 	 	 	 	 	 	 3 2 3 	 3 2 4 	 	 	 	 2 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B A F 5 2 	 W O S : 0 0 0 3 0 4 0 1 8 9 0 0 0 8 1 	 	 
 S 	 N a m ,   T ;   S a y o g o ,   D S 	 	 D a t t a ,   A ;   S h u l m a n ,   S ;   Z h e n g ,   B ;   L i n ,   S D ;   S u n ,   A ;   L i m ,   E P 	 	 N a m ,   T a e w o o ;   S a y o g o ,   D j o k o   S i g i t 	 	 	 G o v e r n m e n t   2 . 0   C o l l e c t s   t h e   W i s d o m   o f   C r o w d s 	 S O C I A L   I N F O R M A T I C S 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 3 r d   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S o c i a l   I n f o r m a t i c s 	 O C T   0 6 - 0 8 ,   2 0 1 1 	 S i n g a p o r e ,   S I N G A P O R E 	 A O A R D ,   A F O S R ,   L e e   F d n ,   P o l i s h   J a p a n e s e   I n s t   I n f o r m a t   T e c h n o l ,   M e d i a   D e v   A u t h o r   S i n g a p o r e ,   N a n y a n g   T e c h n o l   U n i v S i n g a p o r e   I n t e r n e t   R e s   C t r 	 	 G o v e r n m e n t   2 . 0 ;   W e b   2 . 0 ;   C r o w d s o u r c i n g ;   W i s d o m   o f   c r o w d s 	 O P E N - S O U R C E   P R O J E C T S 	 A n   e m e r g i n g   t r e n d   i s   n o t e w o r t h y   t h a t   g o v e r n m e n t   a g e n c i e s   t a p   o n   c i t i z e n s '   i n n o v a t i v e   i d e a s .   G o v e r n m e n t   2 . 0 - g o v e r n m e n t a l   a d o p t i o n   o f   W e b   2 . 0   t e c h n o l o g i e s   e n a b l e s   a n d   e m p o w e r s   c i t i z e n s   t o   p a r t i c i p a t e   i n   v a r i o u s   f u n c t i o n s   a n d   p r o c e s s e s   o f   g o v e r n m e n t   s u c h   a s   s e r v i c e   p r o v i s i o n ,   i n f o r m a t i o n   p r o d u c t i o n ,   a n d   p o l i c y   m a k i n g .   G o v e r n m e n t   2 . 0   i s   a   t o o l   f o r   g o v e r n m e n t   t o   c o l l e c t   t h e   w i s d o m   o f   c r o w d s ,   w h i c h   h e l p s   i m p r o v e   s e r v i c e ,   i n f o r m a t i o n ,   a n d   p o l i c y .   C r o w d - s o u r c i n g   i s   n o t   o n l y   f o r   b u s i n e s s e s   b u t   i s   n o w   b e i n g   i m p l e m e n t e d   i n   t h e   p u b l i c   s e c t o r .   C u r r e n t l y   g o v e r n m e n t   a g e n c i e s   c h i e f l y   u s e   f o u r   s t r a t e g i e s   f o r   c r o w d - s o u r c i n g :   c o n t e s t ,   w i k i ,   s o c i a l   n e t w o r k i n g ,   a n d   s o c i a l   v o t i n g .   T h i s   p a p e r   t a k e s   a   c l o s e   l o o k   a t   h o w   g o v e r n m e n t   a g e n c i e s   u t i l i z e   t h o s e   s t r a t e g i e s . 	 [ N a m ,   T a e w o o ;   S a y o g o ,   D j o k o   S i g i t ]   S U N Y   A l b a n y ,   C t r   T e c h n o l   G o v t ,   A l b a n y ,   N Y   1 2 2 0 5   U S A 	 N a m ,   T   ( r e p r i n t   a u t h o r ) ,   S U N Y   A l b a n y ,   C t r   T e c h n o l   G o v t ,   1 8 7   W o l f   R d ,   A l b a n y ,   N Y   1 2 2 0 5   U S A . 	 t n a m @ c t g . a l b a n y . e d u ;   d s a y o g o @ c t g . a l b a n y . e d u 	 	 	 	 	 B a t o r s k i   M . ,   2 0 1 0 ,   E M B R A C I N G   G O V T   2   0   L ;   B i t t l e   S . ,   2 0 0 9 ,   P R O M I S I N G   P R A C T I C E S ;   B o n a c c o r s i   A . ,   2 0 0 4 ,   1   M O N D A Y ,   V 9 ;   B r a b h a m   D . ,   2 0 0 9 ,   F L O W   C R I T I C A L   F O R U M ,   V 9 ;   B r a b h a m   D C ,   2 0 0 9 ,   P L A N   T H E O R ,   V 8 ,   P 2 4 2 ,   D O I   1 0 . 1 1 7 7 / 1 4 7 3 0 9 5 2 0 9 1 0 4 8 2 4 ;   B u r k e   M . ,   2 0 0 9 ,   C H I   2 0 0 9   B O S T   A P R   7 ;   C h a v e z   C . ,   2 0 1 0 ,   L O C A L   G O V T   U S E   S O C I A ;   G H O S H   R .   A ,   1 9 9 8 ,   1   M O N D A Y ,   V 3 ,   P 3 ;   H a r s   A ,   2 0 0 2 ,   I N T   J   E L E C T R O N   C O M M ,   V 6 ,   P 2 5 ;   H e r t e l   G ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 1 5 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 4 7 - 7 ;   H i n d m a n   M . ,   2 0 0 7 ,   G O V E R N A N C E   I N F O R M   T E ,   P 1 8 3 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   V 1 4 ,   P 1 7 6 ;   H o w e   J . ,   2 0 0 9 ,   C R O W D S O U R C I N G   W H Y   P O ;   M o o r e   T . D . ,   2 0 0 7 ,   S I C M I S   C P R   A P R   1 9   2 1 ;   N o v   O ,   2 0 0 7 ,   C O M M U N   A C M ,   V 5 0 ,   P 6 0 ,   D O I   1 0 . 1 1 4 5 / 1 2 9 7 7 9 7 . 1 2 9 7 7 9 8 ;   N o v e c k   B . S ,   2 0 0 9 ,   T E C H N O L O G Y   C A N   M A K E ;   P e d d i b h o t l a   N B ,   2 0 0 7 ,   O R G A N   S T U D ,   V 2 8 ,   P 3 2 7 ,   D O I   1 0 . 1 1 7 7 / 0 1 7 0 8 4 0 6 0 7 0 7 6 0 0 2 ;   R a f a e l i   S ,   2 0 0 8 ,   P S Y C H O L O G I C A L   A S P E C T S   O F   C Y B E R S P A C E :   T H E O R Y ,   R E S E A R C H ,   A P P L I C A T I O N S ,   P 2 4 3 ;   R a m o s   M . ,   2 0 0 6 ,   R e f e r e n c e   S e r v i c e s   R e v i e w ,   V 3 4 ,   D O I   1 0 . 1 1 0 8 / 0 0 9 0 7 3 2 0 6 1 0 7 1 6 4 5 9 	 1 9 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 2 4 7 0 3 - 3 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 1 	 6 9 8 4 	 	 	 	 	 	 5 1 	 5 8 	 	 	 	 8 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B A C 3 8 	 W O S : 0 0 0 3 0 3 7 9 2 6 0 0 0 1 0 	 	 
 S 	 M a r c e n g o ,   A ;   R a p p ,   A 	 	 S t e p h a n i d i s ,   C 	 	 M a r c e n g o ,   A l e s s a n d r o ;   R a p p ,   A m o n 	 	 	 G e o D r i n k i n g :   H o w   t o   E x t r a c t   V a l u e   f r o m   a n   E x t e n d e d   S o c i a l   W i n e   D r i n k i n g   E x p e r i e n c e 	 U N I V E R S A L   A C C E S S   I N   H U M A N - C O M P U T E R   I N T E R A C T I O N :   C O N T E X T   D I V E R S I T Y ,   P T   3 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 6 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   U n i v e r s a l   A c c e s s   i n   H u m a n - C o m p u t e r   I n t e r a c t i o n   ( U A H C I ) / 1 4 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   H u m a n - C o m p u t e r   I n t e r a c t i o n   ( H C I ) 	 J U L   0 9 - 1 4 ,   2 0 1 1 	 O r l a n d o ,   F L 	 	 	 L o c a t i o n   S e r v i c e s ;   L B S ;   H C I ;   S e r v i c e   D e s i g n ;   C r o w d s o u r c i n g ;   F o o d   &   W i n e 	 	 W i t h i n   t h e   T e l e c o m   I t a l i a   R e s e a r c h   P r o j e c t s   a   s e r v i c e   p r o t o t y p e   h a s   b e e n   d e v e l o p e d   i n   o r d e r   t o   s a t i s f y   b o t h   t h e   n e e d s   a r i s i n g   f r o m   t h e   c o n s u m p t i o n   a n d   w i n e   p r o d u c t i o n .   T h a n k s   t o   t h e   n e w   t e c h n o l o g i c a l   o p p o r t u n i t i e s   o p e n e d   b y   t h e   I n t e r n e t   o f   T h i n g s   a n d   D i s t r i b u t e d   I n t e l l i g e n c e ,   t h e   G e o D r i n k i n g   s e r v i c e   i s   d e s i g n e d   t o   a l l o w   w o r l d w i d e   u s e r s   t o   p u b l i s h   o n   t h e   m a i n   s o c i a l   n e t w o r k s   t h e i r   w i n e   c o n s u m p t i o n   b e h a v i o u r   p a t t e r n s .   A t   t h e   s a m e   t i m e   G e o D r i n k i n g   a l l o w s   t h e   w i n e   p r o d u c e r s   t o   w a t c h   o n   a   d e d i c a t e d   p l a t f o r m   t h o s e   s p a t i a l   a n d   t i m e   c o n s u m p t i o n   p a t t e r n s ,   e x p l o i t i n g   t h o s e   d a t a   f o r   m a r k e t i n g   p u r p o s e s . 	 [ M a r c e n g o ,   A l e s s a n d r o ]   T e l e c o m   I t a l i a ,   I - 1 0 1 0 0   T u r i n ,   I t a l y 	 M a r c e n g o ,   A   ( r e p r i n t   a u t h o r ) ,   T e l e c o m   I t a l i a ,   V i a   R e i s s   R o m o l i   2 7 4 ,   I - 1 0 1 0 0   T u r i n ,   I t a l y . 	 a l e s s a n d r o . m a r c e n g o @ t e l e c o m i t a l i a . i t ;   a m o n . r a p p @ g u e s t . t e l e c o m i t a l i a . i t 	 	 	 	 	 B o n a n n i   L . ,   2 0 1 0 ,   P   2 8   I N T   C   H U M   F A C T ;   C h o i   J . H . ,   2 0 1 0 ,   P   N O R D C H I   2 0 1 0 ;   G o b o   G . ,   2 0 0 4 ,   R A S S E G N A   I T A L I A N A   S O ,   V X L V ;   G r i m e s   A . ,   2 0 0 8 ,   C H I   2 0 0 8 ;   J u   W ,   2 0 0 1 ,   P   C H I   2 0 0 1 ,   P 2 6 9 ;   M a s o n   J ,   1 9 9 6 ,   Q U A L I T A T I V E   R E S ;   R a p p a   M . ,   B U S I N E S S   M O D E L S   W E B ;   S v e n s s o n   M . ,   2 0 0 5 ,   A C M   T r a n s a c t i o n s   o n   C o m p u t e r - H u m a n   I n t e r a c t i o n ,   V 1 2 ,   D O I   1 0 . 1 1 4 5 / 1 0 9 6 7 3 7 . 1 0 9 6 7 3 9 ;   S v e n s s o n   M . ,   2 0 0 1 ,   P   C H I   2 0 0 1 ,   P 3 4 1 ,   D O I   1 0 . 1 1 4 5 / 3 6 5 0 2 4 . 3 6 5 1 3 0 ;   T e r r e n g h i   L ,   2 0 0 7 ,   P E R S   U B I Q U I T   C O M P U T ,   V 1 1 ,   P 4 0 9 ,   D O I   1 0 . 1 0 0 7 / s 0 0 7 7 9 - 0 0 6 - 0 0 7 9 - 2 ;   v o n   R e i s c h a c h   F ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 7 2 6 ,   P 8 0 4 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 3 6 5 5 - 2 _ 8 8 	 1 1 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 2 1 6 6 5 - 7 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 1 	 6 7 6 7 	 	 3 	 	 	 	 5 6 	 6 5 	 	 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B Z S 5 2 	 W O S : 0 0 0 3 0 2 7 8 6 7 0 0 0 0 7 	 	 
 J 	 O ' H a g a n ,   M 	 	 	 	 O ' H a g a n ,   M i n a k o 	 	 	 C o m m u n i t y   T r a n s l a t i o n :   T r a n s l a t i o n   a s   a   s o c i a l   a c t i v i t y   a n d   i t s   p o s s i b l e   c o n s e q u e n c e s   i n   t h e   a d v e n t   o f   W e b   2 . 0   a n d   b e y o n d 	 L I N G U I S T I C A   A N T V E R P I E N S I A   N E W   S E R I E S - T H E M E S   I N   T R A N S L A T I O N   S T U D I E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c o m m u n i t y   t r a n s l a t i o n ;   c o m m u n i t y   i n t e r p r e t i n g ;   c r o w d s o u r c i n g ;   W e b   2 . 0 ;   f a n   t r a n s l a t i o n ;   a m a t e u r ;   e x p e r t 	 	 T h i s   i n t r o d u c t i o n   t o   t h e   1 0 t h   i s s u e   o f   L i n g u i s t i c a   A n t v e r p i e n s i a   N e w   S e r i e s   -   T h e m e s   i n   t r a n s l a t i o n   S t u d i e s   ( L A N S - T T S )   b e g i n s   b y   d i s c u s s i n g   t h e   c e n t r a l   c o n c e p t   o f   c o m m u n i t y   t r a n s l a t i o n ,   h i g h l i g h t i n g   i t s   t e r m i n o l o g i c a l   a m b i g u i t y .   T h i s   i s   i n   p a r t   d u e   t o   t h e   a l r e a d y   w e l l - e s t a b l i s h e d   f i e l d   o f   c o m m u n i t y   i n t e r p r e t i n g   w h e r e   t h e   t e r m   i s   o f t e n   u s e d   t o   m e a n   t h e   w r i t t e n   t r a n s l a t i o n   o f   p u b l i c   i n f o r m a t i o n   f o r   i m m i g r a n t s .   I t   i s   a l s o   a n   i n d i c a t i o n   o f   t h e   t e r m i n o l o g i c a l   i n s t a b i l i t y   t y p i c a l   o f   a n   e m e r g i n g   p a r a d i g m .   F o r   e x a m p l e ,   c o m m u n i t y   t r a n s l a t i o n   i s   u s e d   m o r e   o r   l e s s   s y n o n y m o u s l y   w i t h   s u c h   t e r m s   a s   t r a n s l a t i o n   c r o w d s o u r c i n g ,   u s e r - g e n e r a t e d   t r a n s l a t i o n   a n d   c o l l a b o r a t i v e   t r a n s l a t i o n .   T h e   m e a n i n g   o f   t h e   t e r m   a s   w e   d i s c u s s   i n   t h i s   i s s u e   c a n   b e   b e s t   s p e c i f i e d   w h e n   t h e   c o n c e p t   i s   a n c h o r e d   i n   t h e   c o n t e x t   o f   W e b   2 . 0   ( s e c o n d   g e n e r a t i o n   w e b - t e c h n o l o g i e s ) .   T h i s   i n   t u r n   a c k n o w l e d g e s   i t s   i n t r i n s i c   t i e   t o   o n l i n e   c o m m u n i t i e s   a n d   d i r e c t s   u s   t o   n e w   d y n a m i c s   r e s u l t i n g   f r o m   g e n e r a l   I n t e r n e t   u s e r s   a c t i n g   a s   t r a n s l a t o r s .   W h i l e   p a r t i c i p a n t s   i n   c o m m u n i t y   t r a n s l a t i o n   a r e   n o t   n e c e s s a r i l y   a l l   u n p a i d ,   u n t r a i n e d   v o l u n t e e r s   c o m m u n i t y   t r a n s l a t i o n   i s   u s e d   b y   s o m e   o r g a n i s a t i o n s   a s   a   m e c h a n i s m   t o   o b t a i n   f r e e   t r a n s l a t i o n s   b y   g o i n g   o u t s i d e   t h e   p r o f e s s i o n a l   t r a n s l a t i o n   s p h e r e .   T o   t h i s   e n d   t h e   e t h i c a l   q u e s t i o n   o f   p r o f i t - m a k i n g   e n t e r p r i s e s   a c c e s s i n g   f r e e   l a b o u r   o n   t h e   p r e t e x t   o f   o p e n n e s s   a n d   s h a r i n g   r e m a i n s .   T h a t   s a i d ,   t h e   a u t h o r   b e l i e v e s   c o m m u n i t y   t r a n s l a t i o n   i s   f a r   m o r e   t h a n   a   d i l e t t a n t e ,   a n t i - p r o f e s s i o n a l   m o v e m e n t .   B u i l d i n g   o n   t h e   e m e r g i n g   p i c t u r e   f r o m   t h e   c o n t r i b u t i o n s   i n   t h i s   v o l u m e ,   t h e   a u t h o r   s u g g e s t s   s o m e   o f   t h e   f u t u r e   d i r e c t i o n s   t h a t   r e s e a r c h   o n   c o m m u n i t y   t r a n s l a t i o n   m i g h t   t a k e ,   e m p h a s i s i n g   t h e   n e e d   t o   r e f l e c t   o n   t h e   c u r r e n t   t r a n s l a t i o n   p r a c t i c e s   a n d   b e   o p e n   t o   t h e   n e w   d e v e l o p m e n t s   a n d   o p p o r t u n i t i e s   a r i s i n g   f r o m   t h e   f r e e   a n d   s o c i a l   I n t e r n e t . 	 D u b l i n   C i t y   U n i v ,   S c h   A p p l   L a n g u a g e   &   I n t e r c u l t u r a l   S t u d i e s ,   C t r   T r a n s l a t   &   T e x t u a l   S t u d i e s ,   D u b l i n   9 ,   I r e l a n d 	 O ' H a g a n ,   M   ( r e p r i n t   a u t h o r ) ,   D u b l i n   C i t y   U n i v ,   S c h   A p p l   L a n g u a g e   &   I n t e r c u l t u r a l   S t u d i e s ,   C t r   T r a n s l a t   &   T e x t u a l   S t u d i e s ,   D u b l i n   9 ,   I r e l a n d . 	 m i n a k o . o h a g a n @ d c u . i e 	 	 	 	 	 B a r r y   D .   M . ,   2 0 0 8 ,   C O P Y   R I P   B U R N   P O L I T I ;   B a y m   N . ,   2 0 1 1 ,   H D B   I N T E R N E T   S T U D I E S ,   P 3 8 4 ;   B e y   Y . ,   2 0 0 6 ,   P   3   I N T   W O R K S H   L A N G ,   P 4 9 ;   C r o n i n   M i c h a e l ,   2 0 1 0 ,   R E V   T R A D U M A T I C A ,   V 8 ;   D e P a l m a   D .   A . ,   2 0 0 8 ,   T R A N S L A T I O N   P E O P L E ;   D e s i l e t s   A . ,   2 0 0 7 ,   A S L I B   T R A N S L   C O M P U T ;   D i a z   C i n t a s   J . ,   2 0 0 7 ,   J   S P E C I A L I S E D   T R A N S L ,   V 6 ,   P 3 7 ;   G e e   J P ,   2 0 1 1 ,   L A N G U A G E   A N D   L E A R N I N G   I N   T H E   D I G I T A L   A G E ,   P 1 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   P 1 4 ;   K e e g a n   N . ,   2 0 0 9 ,   C R O W D S O U R C I N G   U S I N G ;   K e e n   A . ,   2 0 0 7 ,   C U L T   A M A T E U R ;   K e l l y   N . ,   2 0 0 9 ,   F R E E L A N C E   T R A N S L A T O R ;   K e n d a l l   L ,   2 0 1 1 ,   H D B   I N T E R N E T   S T U D I E S ,   P 3 0 9 ;   L e o n a r d   S ,   2 0 0 5 ,   I N T   J   C U L T U R A L   S T U D ,   V 8 ,   P 2 8 1 ,   D O I   1 0 . 1 1 7 7 / 1 3 6 7 8 7 7 9 0 5 0 5 5 6 7 9 ;   N o r n e s   M . ,   2 0 0 7 ,   C I N E M A   B A B E L   T R A N S L A ;   O ' H a g a n   M i n a k o ,   2 0 0 9 ,   J   I N T   L O C A L I S A T I O N ,   V 1 ,   P 9 4 ;   O E C D ,   2 0 0 7 ,   P A R T   W E B   U S   C R E A T   C O ;   P e r r i n o   S . ,   2 0 0 9 ,   J   S P E C I A L I S E D   T R A N S L ,   V 1 2 ;   P y m   A n t h o n y ,   2 0 1 1 ,   T R A N S L A T I O N   R E S   P R O J ,   P 7 5 ;   S c h a l e r   R . ,   2 0 0 8 ,   R O U T L E D G E   E N C Y   T R A N S ,   P 1 5 7 ;   S h i r k y   C l a y ,   2 0 1 0 ,   C O G N I T I V E   S U R P L U S   C R ;   S u r o w i e c k i   J . ,   2 0 0 5 ,   W I S D O M   C R O W D   W H Y   M A N ;   T a p s c o t t   D . ,   2 0 0 6 ,   W I K I N O M I C S   M A S S   C O L L ;   W a d e n s j o   C . ,   2 0 0 9 ,   R O U T L E D G E   E N C Y   T R A N S ,   P 4 3 	 2 5 	 1 	 1 	 A C A D E M I C   &   S C I E N T I F I C   P U B L I S H E R S - A S P 	 B R U S S E L S 	 U N I V   P R E S S   A N T W E R P   D I V ,   R A V E N S T E I N G A L E R I J   2 8 ,   B R U S S E L S ,   B - 1 0 0 0 ,   B E L G I U M 	 0 3 0 4 - 2 2 9 4 	 	 	 L I N G   A N T V E R P   N E W   S E R 	 L i n g .   A n t v e r p .   N e w   S e r . 	 	 2 0 1 1 	 1 0 	 	 	 	 	 	 1 1 	 + 	 	 	 	 1 4 	 L i n g u i s t i c s ;   L a n g u a g e   &   L i n g u i s t i c s 	 L i n g u i s t i c s 	 9 2 1 C Z 	 W O S : 0 0 0 3 0 2 4 5 6 9 0 0 0 0 1 	 	 
 J 	 D e s i l e t s ,   A ;   v a n   d e r   M e e r ,   J 	 	 	 	 D e s i l e t s ,   A l a i n ;   v a n   d e r   M e e r ,   J a a p 	 	 	 C o - c r e a t i n g   a   r e p o s i t o r y   o f   b e s t - p r a c t i c e s   f o r   c o l l a b o r a t i v e   t r a n s l a t i o n 	 L I N G U I S T I C A   A N T V E R P I E N S I A   N E W   S E R I E S - T H E M E S   I N   T R A N S L A T I O N   S T U D I E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C o l l a b o r a t i v e   T r a n s l a t i o n ;   T r a n s l a t i o n   C r o w d s o u r c i n g ;   B e s t - P r a c t i c e s ;   D e s i g n   P a t t e r n s 	 	 C o l l a b o r a t i v e   t r a n s l a t i o n   h a s   t h e   p o t e n t i a l   f o r   s i g n i f i c a n t l y   c h a n g i n g   h o w   w e   t r a n s l a t e   c o n t e n t .   H o w e v e r ,   s u c c e s s f u l   d e p l o y m e n t   o f   t h i s   k i n d   o f   a p p r o a c h   i s   f a r   f r o m   t r i v i a l ,   a s   i t   p r e s e n t s '   p o t e n t i a l   a d o p t e r s   w i t h   a   r i c h   a n d   c o m p l e x   e n v e l o p e   o f   p r o c e s s e s   a n d   t e c h n o l o g i e s ,   w h o s e   r e s p e c t i v e   i m p a c t s   a r e   s t i l l   p o o r l y   u n d e r s t o o d .   T h e   p r e s e n t   p a p e r   a i m s   a t   f a c i l i t a t i n g   t h i s   k i n d   o f   d e c i s i o n   m a k i n g ,   b y   d e s c r i b i n g   a n d   c a t a l o g u i n g   c u r r e n t   b e s t - p r a c t i c e s   i n   c o l l a b o r a t i v e   t r a n s l a t i o n .   M o r e   p r e c i s e l y ,   w e   p r e s e n t   a   c o l l e c t i o n   o f   D e s i g n   P a t t e r n s   w h i c h   w a s   c r e a t e d   c o l l e c t i v e l y   b y   a   s m a l l   g r o u p   o f   p r a c t i t i o n e r s ,   a t   a   o n e - d a y   r o u n d t a b l e   h o s t e d   b y   t h e   T r a n s l a t i o n   A u t o m a t i o n   U s e r s   S o c i e t y   i n   O c t o b e r   o f   2 0 1 1 .   T h i s   c o l l e c t i o n   h a s   b e e n   p u t   o n   a n   o p e n   w i k i   s i t e   ( w w w . c o l l a b o r a t i v e - t r a n s l a t i o n - p a t t e r n s . c o m )   i n   t h e   h o p e s   t h a t   o t h e r   p r a c t i t i o n e r s   i n   t h e   f i e l d   w i l l   r e f i n e   a n d   a u g m e n t   i t . 	 [ D e s i l e t s ,   A l a i n ]   N a t l   R e s   C o u n c i l   C a n a d a ,   I n s t   I n f o r m a t   T e c h n o l ,   O t t a w a ,   O N   K 1 A   0 R 6 ,   C a n a d a ;   [ v a n   d e r   M e e r ,   J a a p ]   T A U S ,   N L - 1 0 1 1   K W   A m s t e r d a m ,   N e t h e r l a n d s 	 D e s i l e t s ,   A   ( r e p r i n t   a u t h o r ) ,   N a t l   R e s   C o u n c i l   C a n a d a ,   I n s t   I n f o r m a t   T e c h n o l ,   1 2 0 0   M o n t r e a l   R d , B l d g   M - 5 0 ,   O t t a w a ,   O N   K 1 A   0 R 6 ,   C a n a d a . 	 a l a i n . d e s i l e t s @ n r c - c n r c . g c . c a ;   j a a p @ t r a n s l a t i o n a u t o m a t i o n . c o m 	 	 	 	 	 A m b a t i   V a m s h i ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ;   A M T A ,   2 0 1 0 ,   A M T A   2 0 1 0   O C T   3 1   2 0 1 ;   [ A n o n y m o u s ] ,   2 0 1 0 ,   P E D A G O G I C A L   P A T   1 2 1 6 ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   I N T E R A C T I O N   D E S   0 7 1 6 ;   [ A n o n y m o u s ] ,   2 0 0 7 ,   G O O G L E   T R A N S L A T   1 2 0 1 ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   P A T T E R N   A R C H I T E   0 5 2 1 ;   [ A n o n y m o u s ] ,   2 0 0 8 ,   T R A N S L A T O R S   B O R   1 2 2 0 ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   D E S I G N   P A T T E R N     1 0 1 7 ;   A s i a   O n l i n e ,   2 0 1 1 ,   A S I A   O N L I N E           1 0 1 7 ;   B a e r   N . ,   2 0 1 0 ,   A T A   2 0 1 0   O C T   2 7   3 0   2 ;   B a e r   N . ,   2 0 1 0 ,   T R A N S L O R I A L   J   N O   F E B ;   B a e r   N . ,   2 0 1 1 ,   S C A L I N G   S T R E N G T H E N I N ;   B e n i n a t t o   R . ,   2 0 0 8 ,   M U L T I L I N G U A L ;   B l o o d g o o d   M . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ;   C a l v e r t   D . ,   2 0 0 8 ,   A S L I B   T R A N S L A T I N G   C O ;   D e   P a l m a   D . ,   2 0 1 1 ,   C O M M O N   S E N S E   A D V I S O R ;   E l l i s   D ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 6 2 3 ,   P 2 3 6 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 2 7 6 7 - 3 _ 2 6 ;   G o d d a r d   P . ,   2 0 1 0 ,   I T I   B                         J A N ;   G o o g l e   T r a n s l a t o r   T o o l k i t ,   2 0 1 1 ,   G O O G L E   T R A N S L A T   0 8 3 0 ;   K u d o z ,   2 0 1 1 ,   K U D O Z   T E R M   Q U E S T I O N S ;   M a s o n   W . ,   2 0 0 9 ,   K D D   H C O M P   0 9   P A R   F R A ;   M e y e r   D . ,   2 0 1 1 ,   C O M M U N I T Y   T R A N S L A T I O ;   M i c r o s o f t   C o l l a b o r a t i v e   T r a n s l a t i o n   F r a m e w o r k ,   2 0 1 1 ,   C O L L   T R A N S L   A N N   N E X T ;   M u n r o   R . ,   2 0 1 0 ,   P   C O L L   T R A N S L   T E C H N ;   M y M e m o r y ,   2 0 1 1 ,   M Y M E M O R Y                 0 6 1 9 ;   O r r   P r i e b e   S . ,   2 0 0 9 ,   T   S A W Y E R   C R O W D S O U R C I ;   P r o Z . c o m ,   2 0 1 1 ,   P R O Z                         0 9 0 5 ;   R o g s t a d i u s   J . ,   2 0 1 1 ,   P   5   I N T   A A A I   C   W E B L ;   S t e j s k a l   J . ,   2 0 0 9 ,   A T A   C H R O N I C L E         A U G ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   T r a n s l a t e d . n e t ,   2 0 1 1 ,   F A S T   E A S   P R O F   T R A N S L ;   T r a n s l a t o r C a f e ,   2 0 1 1 ,   T R A N S L A T O R C A F E   P L A C ;   W i k i W i k i W e b ,   2 0 1 1 ,   W I K I W I K I W E B           0 8 1 6 ;   W i k t i o n a r y ,   2 0 1 1 ,   W I K T I O N A R Y             1 0 1 7 ;   Y a h a y a   F . ,   2 0 0 8 ,   A S L I B   T R A N S L A T I N G   C O 	 3 5 	 1 	 1 	 A C A D E M I C   &   S C I E N T I F I C   P U B L I S H E R S - A S P 	 B R U S S E L S 	 U N I V   P R E S S   A N T W E R P   D I V ,   R A V E N S T E I N G A L E R I J   2 8 ,   B R U S S E L S ,   B - 1 0 0 0 ,   B E L G I U M 	 0 3 0 4 - 2 2 9 4 	 	 	 L I N G   A N T V E R P   N E W   S E R 	 L i n g .   A n t v e r p .   N e w   S e r . 	 	 2 0 1 1 	 1 0 	 	 	 	 	 	 2 7 	 + 	 	 	 	 2 0 	 L i n g u i s t i c s ;   L a n g u a g e   &   L i n g u i s t i c s 	 L i n g u i s t i c s 	 9 2 1 C Z 	 W O S : 0 0 0 3 0 2 4 5 6 9 0 0 0 0 2 	 	 
 J 	 D o l m a y a ,   J M 	 	 	 	 D o l m a y a ,   J u l i e   M c D o n o u g h 	 	 	 T h e   e t h i c s   o f   c r o w d s o u r c i n g 	 L I N G U I S T I C A   A N T V E R P I E N S I A   N E W   S E R I E S - T H E M E S   I N   T R A N S L A T I O N   S T U D I E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c o l l a b o r a t i v e   t r a n s l a t i o n ;   c r o w d s o u r c i n g ;   t r a n s l a t i o n   e t h i c s ;   v o l u n t e e r   t r a n s l a t o r s ;   t r a n s l a t o r   s t a t u s 	 	 B e c a u s e   c r o w d s o u r c e d   t r a n s l a t i o n   i n i t i a t i v e s   r e l y   o n   v o l u n t e e r   l a b o u r   t o   s u p p o r t   b o t h   f o r - p r o f i t   a n d   n o t - f o r - p r o f i t   a c t i v i t i e s ,   t h e y   l e a d   t o   q u e s t i o n s   a b o u t   h o w   p a r t i c i p a n t s   a r e   r e m u n e r a t e d ,   h o w   t h e   p e r c e p t i o n   o f   t r a n s l a t i o n   i s   a f f e c t e d ,   a n d   h o w   m i n o r i t y   l a n g u a g e s   a r e   i m p a c t e d .   U s i n g   e x a m p l e s   o f   c r o w d s o u r c e d   t r a n s l a t i o n   i n i t i a t i v e s   a t   n o n - p r o f i t   a n d   f o r - p r o f i t   o r g a n i z a t i o n s ,   t h i s   p a p e r   e x p l o r e s   v a r i o u s   e t h i c a l   q u e s t i o n s   t h a t   a p p l y   t o   t r a n s l a t i o n   p e r f o r m e d   b y   p e o p l e   w h o   a r e   n o t   n e c e s s a r i l y   t r a i n e d   a s   t r a n s l a t o r s   o r   f i n a n c i a l l y   r e m u n e r a t e d   f o r   t h e i r   w o r k .   I t   a r g u e s   t h a t   t h e   e t h i c s   o f   a   c r o w d - s o u r c e d   t r a n s l a t i o n   i n i t i a t i v e   d e p e n d   n o t   j u s t   o n   w h e t h e r   t h e   i n i t i a t i v e   i s   p a r t   o f   a   n o t - f o r   p r o f i t   o r   a   f o r - p r o f i t   e f f o r t ,   b u t   a l s o   o n   h o w   t h e   p r o j e c t   i s   o r g a n i z e d   a n d   d e s c r i b e d   t o   t h e   p u b l i c .   W h i l e   s o m e   i n i t i a t i v e s   d o   e n h a n c e   t h e   v i s i b i l i t y   o f   t r a n s l a t i o n ,   s h o w c a s e   i t s   v a l u e   t o   s o c i e t y ,   a n d   h e l p   m i n o r   l a n g u a g e s   b e c o m e   m o r e   v i s i b l e   o n l i n e ,   o t h e r s   d e v a l u e   t h e   w o r k   i n v o l v e d   i n   t h e   t r a n s l a t i o n   p r o c e s s ,   w h i c h   i n   t u r n   l o w e r s   t h e   o c c u p a t i o n a l   s t a t u s   o f   p r o f e s s i o n a l   t r a n s l a t o r s . 	 Y o r k   U n i v ,   S c h   T r a n s l a t ,   T o r o n t o ,   O N   M 4 N   3 M 6 ,   C a n a d a 	 D o l m a y a ,   J M   ( r e p r i n t   a u t h o r ) ,   Y o r k   U n i v ,   S c h   T r a n s l a t ,   G l e n d o n   C a m p u s , 2 2 7 5   B a y v i e w   A v e ,   T o r o n t o ,   O N   M 4 N   3 M 6 ,   C a n a d a . 	 d o l m a y a @ y o r k u . c a 	 M c D o n o u g h   D o l m a y a ,   J u l i e / B - 8 3 0 0 - 2 0 1 2 	 	 	 	 A r r i n g t o n   M . ,   2 0 0 8 ,   T E C H C R U N C H             0 1 2 1 ;   B a e r   N . ,   2 0 1 0 ,   T R A N S L O R I A L   J   N   0 2 0 1 ;   B a k e r   M . ,   2 0 0 6 ,   T R A N S L A T I O N   C O N F L I C T ;   B o e r i   J ,   2 0 0 8 ,   T R A N S L A T O R ,   V 1 4 ,   P 2 1 ;   C H E S T E R M A N   A n d r e w ,   2 0 0 1 ,   T R A N S L A T O R ,   V 7 ,   P 1 3 9 ;   C r o n i n   M i c h a e l ,   2 0 1 0 ,   R E V   T R A D U M A T I C A ,   V 8 ;   D a m   H V ,   2 0 0 8 ,   T R A N S L A T O R ,   V 1 4 ,   P 7 1 ;   D e p a l m a   D o n a l d   A . ,   2 0 0 8 ,   T R A N S L A T I O N   P E O P L E   U ;   D o d d   S .   M . ,   2 0 1 1 ,   J   N O   C A L I F O R N I A   0 1 0 1 ;   D o l m a y a   J M ,   2 0 1 1 ,   T R A N S L A T O R ,   V 1 7 ,   P 7 7 ;   E s s e l i n k   B . ,   2 0 0 0 ,   P R A C T I C A L   G U I D E   L O C A ;   G u y o n   A n d r e ,   2 0 1 0 ,   A C T U A L I T E   L A N G A G I E R E ,   V 7 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   M c D o n o u g h   D o l m a y a   J . ,   2 0 1 1 ,   J   S P E C I A L I S E D   T R A N S L ,   V 1 5 ,   P 2 8 ;   N e w m a n   A .   A . ,   2 0 0 9 ,   N Y   T I M E S                 0 6 2 9 ,   p B 2 ;   O ' H a g a n   M i n a k o ,   2 0 0 9 ,   J   I N T   L O C A L I S A T I O N ,   V 1 ,   P 9 4 ;   P e r r i n o   S ,   2 0 0 9 ,   J   S P E C I A L I S E D   T R A N S L ,   V 1 2 ,   P 5 5 ;   P Y M   A n t h o n y ,   2 0 0 4 ,   M O V I N G   T E X T   L O C A L I Z A ;   R a y   R ,   2 0 1 1 ,   C R O W D S O U R C E D   T R A N S L A ;   R a y   R e b e c c a ,   2 0 0 9 ,   C R O W D S O U R C I N G   C R O W D ;   S a r g e n t   B e n j a m i n   B . ,   2 0 0 8 ,   C O M M O N   S E N S E   A D   0 8 1 4 ;   V a n   D i j c k   J ,   2 0 0 9 ,   N E W   M E D I A   S O C ,   V 1 1 ,   P 8 5 5 ,   D O I   1 0 . 1 1 7 7 / 1 4 6 1 4 4 4 8 0 9 1 0 5 3 5 6 	 2 2 	 1 	 1 	 A C A D E M I C   &   S C I E N T I F I C   P U B L I S H E R S - A S P 	 B R U S S E L S 	 U N I V   P R E S S   A N T W E R P   D I V ,   R A V E N S T E I N G A L E R I J   2 8 ,   B R U S S E L S ,   B - 1 0 0 0 ,   B E L G I U M 	 0 3 0 4 - 2 2 9 4 	 	 	 L I N G   A N T V E R P   N E W   S E R 	 L i n g .   A n t v e r p .   N e w   S e r . 	 	 2 0 1 1 	 1 0 	 	 	 	 	 	 9 7 	 + 	 	 	 	 1 5 	 L i n g u i s t i c s ;   L a n g u a g e   &   L i n g u i s t i c s 	 L i n g u i s t i c s 	 9 2 1 C Z 	 W O S : 0 0 0 3 0 2 4 5 6 9 0 0 0 0 5 	 	 
 J 	 J i m e n e z - C r e s p o ,   M A 	 	 	 	 J i m e n e z - C r e s p o ,   M i g u e l   A . 	 	 	 F r o m   m a n y   o n e :   N o v e l   a p p r o a c h e s   t o   t r a n s l a t i o n   q u a l i t y   i n   a   s o c i a l   n e t w o r k   e r a 	 L I N G U I S T I C A   A N T V E R P I E N S I A   N E W   S E R I E S - T H E M E S   I N   T R A N S L A T I O N   S T U D I E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 T r a n s l a t i o n   q u a l i t y ;   c r o w d s o u r c i n g ;   l o c a l i z a t i o n ;   t r a n s l a t i o n   t e c h n o l o g y ;   c o r p u s   u s e 	 F U N C T I O N A L I S T - A P P R O A C H ;   L O C A L I Z A T I O N 	 F o r   d e c a d e s ,   t h e   f u z z y   n o t i o n   o f   t r a n s l a t i o n   q u a l i t y   h a s   e v o l v e d   p a r a l l e l   t o   t h e   t h e o r i z a t i o n s   o f   t r a n s l a t i o n   a n d   l o c a l i z a t i o n .   T h i s   p a p e r   f o c u s e s   o n   a   n o v e l   a p p r o a c h   t o   q u a l i t y   e v a l u a t i o n   i n   t h e   l o c a l i z a t i o n   i n d u s t r y :   h o w   F a c e b o o k   c r o w d s o u r c e d   q u a l i t y   e v a l u a t i o n   t o   a n   a c t i v e   c o m m u n i t y   o f   u s e r s   t h a t   v o t e s   o n   p r o p o s e d   t r a n s l a t i o n s .   T h i s   a p p r o a c h ,   u n t h i n k a b l e   a   d e c a d e   a g o ,   s e e m s   t o   c o m b i n e   a n d   d i s t i l l   s o m e   o f   t h e   b e s t   a s p e c t s   o f   s e v e r a l   p r e v i o u s   T r a n s l a t i o n   S t u d i e s   e v a l u a t i o n   p r o p o s a l s ,   s u c h   a s   u s e r - b a s e d   a p p r o a c h e s   ( N i d a ,   1 9 6 4 ) ,   f u n c t i o n a l i s t   a p p r o a c h e s   ( N o r d ,   1 9 9 7 ;   R e i s s   a n d   V e r m e e r ,   1 9 8 4 )   o r   c o r p u s - a s s i s t e d   a p p r o a c h e s   ( B o w k e r ,   2 0 0 1 ) .   T h e s e   m o d e l s   w e r e   l a r g e l y   c r i t i c i z e d   a t   t h e   t i m e   b e c a u s e   t h e y   d i d   n o t   e x p l i c i t l y   i n d i c a t e   h o w   t h e y   c o u l d   b e   p r o f e s s i o n a l l y   i m p l e m e n t e d .   T h e   c u r r e n t   p a p e r   c r i t i c a l l y   r e v i e w s   t h e   e m e r g i n g   c r o w d s o u r c i n g   m o d e l   i n   l i g h t   o f   t h e s e   a p p r o a c h e s   t o   q u a l i t y   e v a l u a t i o n   a n d   d e s c r i b e s   h o w   m e c h a n i s m s   s u g g e s t e d   i n   t h e s e   e a r l i e r   t h e o r e t i c a l   p r o p o s a l s   a r e   a c t u a l l y   i m p l e m e n t e d   i n   t h e   F a c e b o o k   m o d e l . 	 R u t g e r s   S t a t e   U n i v ,   D e p t   S p a n i s h   &   P o r t u g u e s e ,   N e w   B r u n s w i c k ,   N J   0 8 9 0 1   U S A 	 J i m e n e z - C r e s p o ,   M A   ( r e p r i n t   a u t h o r ) ,   R u t g e r s   S t a t e   U n i v ,   D e p t   S p a n i s h   &   P o r t u g u e s e ,   1 0 5   G e o r g e   S t ,   N e w   B r u n s w i c k ,   N J   0 8 9 0 1   U S A . 	 m i g u e l j i @ r c i . r u t g e r s . e d u 	 	 	 	 	 A n g e l e l l i   C V ,   2 0 0 9 ,   A M   T R A N S L A T   A S   S C H ,   V 1 4 ,   P 1 3 ;   [ A n o n y m o u s ] ,   1 9 9 8 ,   2 3 4 5   D I N ;   A S T M ,   2 0 0 6 ,   F 2 5 7 5   0 6   S T A N D   G U I D ;   B a s s   S . ,   2 0 0 6 ,   P E R S P E C T I V E S   L O C A L I Z ,   P 6 9 ;   B e e b y   A ,   2 0 0 9 ,   B E N J A M I N   T R A N S L   L I B ,   V 8 2 ,   P 1 ;   A n g e l e l l i   C V ,   2 0 0 9 ,   A M   T R A N S L A T   A S   S C H ,   V 1 4 ,   P 1 ;   B o r j e l   J . ,   2 0 0 7 ,   T H E S I S   L I N K O P I N G S   U ;   B o w k e r   L ,   2 0 0 1 ,   M E T A ,   V 4 6 ,   P 3 4 5 ;   B o w k e r   L y n n e ,   2 0 0 8 ,   T O P I C S   L A N G U A G E   R E S O ,   P 1 ;   C A R R O L L   J B ,   1 9 6 6 ,   M E C H   T R A N S L ,   V 9 ,   P 5 5 ;   C o l i n a   S ,   2 0 0 8 ,   T R A N S L A T O R ,   V 1 4 ,   P 9 7 ;   C o l i n a   S ,   2 0 0 9 ,   T A R G E T - N E T H ,   V 2 1 ,   P 2 3 5 ,   D O I   1 0 . 1 0 7 5 / t a r g e t . 2 1 . 2 . 0 2 c o l ;   C o r p a s   P a s t o r   G . ,   2 0 0 6 ,   L I N G U I S T I C S   2 1   C E N T U ;   C r o n i n   M i c h a e l ,   2 0 1 0 ,   T R A D U M A T I C A ,   V 8 ;   C r o n i n   M i c h a e l ,   2 0 0 3 ,   T R A N S L A T I O N   G L O B A L I Z ;   D i a z - C i n t a s   J . ,   2 0 0 6 ,   J   S P E C I A L I S E D   T R A N S L ,   V 6 ,   P 3 7 ;   D u n n e   K ,   2 0 0 9 ,   A M   T R A N S L A T   A S   S C H ,   V 1 4 ,   P 1 8 5 ;   D u n n e   K e i r a n ,   2 0 0 6 ,   P E R S P E C T I V E S   L O C A L I Z ,   P 1 ;   F I L L M O R E   C J ,   1 9 7 6 ,   A N N   N Y   A C A D   S C I ,   V 2 8 0 ,   P 2 0 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 4 9 - 6 6 3 2 . 1 9 7 6 . t b 2 5 4 6 7 . x ;   G A M E R O   P E R E Z   S i l v i a ,   2 0 0 1 ,   T R A D U C C I O N   T E X T O S   T E ;   G l a s e r   R o s e m a r i e ,   1 9 9 0 ,   F A C H T E X T S O R T E N   E N G L I ,   V 1 3 ;   G o p f e r i c h   S . ,   1 9 9 5 ,   T E X T S O R T E N   N A T U R W I S S ;   H a t i m   B ,   1 9 9 7 ,   T R A N S L A T O R   C O M M U N I C A ;   H o e y   M . ,   2 0 0 5 ,   L E X I C A L   P R I M I N G   N E W ;   H o l z - M a n t t a r i   J . ,   1 9 8 4 ,   T R A N S L A T O R I S C H E S   H A N ;   H o n i g   H .   G . ,   1 9 9 8 ,   T R A N S L A T I O N   Q U A L I T Y ,   P 6 3 4 ;   H o u s e   J . ,   1 9 7 7 ,   M O D E L   T R A N S L A T I O N   Q U ;   H o u s e   J ,   2 0 0 1 ,   M E T A ,   V 4 6 ,   P 2 4 3 ;   H o u s e   J . ,   1 9 9 7 ,   T R A N S L A T I O N   Q U A L I T Y ;   J i a n g b o   H . ,   2 0 1 0 ,   B A B E L ,   V 5 6 ,   P 3 5 ;   J i m e n e z - C r e s p o   M .   A . ,   P E R S P E C T I V E   I N   P R E S S ;   J i m e n e z - C r e s p o   M .   A . ,   2 0 1 1 ,   J O S T R A N S   J   S P E C I A L I Z ,   V 1 5 ,   P 2 ;   J i m e n e z - C r e s p o   M A ,   2 0 1 0 ,   T R A N S L   I N T E R P R E T   S T U ,   V 5 ,   P 1 8 6 ,   D O I   1 0 . 1 0 7 5 / t i s . 5 . 2 . 0 3 j i m ;   J i m e n e z - C r e s p o   M i g u e l   A . ,   2 0 0 8 ,   T H E S I S   U   G R A N A D A   S P A ;   J i m e n e z - C r e s p o   M i g u e l   A . ,   2 0 0 9 ,   J O S T R A N S   J   S P E C I A L I Z ,   V 1 2 ,   P 7 9 ;   J i m e n e z - C r e s p o   M i g u e l A ,   2 0 1 0 ,   T R A D U M A T I C A ,   V 8 ;   L a r o s e   R . ,   1 9 9 8 ,   M E T A ,   V 4 3 ;   L a v i o s a   S . ,   2 0 0 2 ,   C O R P U S   B A S E D   T R A N S L A ;   L I S A ,   2 0 0 4 ,   L O C   I N D   P R I M ;   M a r t i n e z   M e l i s   N . ,   2 0 0 1 ,   M E T A ,   V 4 7 ,   P 2 7 2 ;   M U N D A Y   J e r e m y ,   2 0 0 8 ,   I N T R O   T R A N S L A T I O N   S T ;   M u n o z   S a n c h e z   P . ,   2 0 0 9 ,   J   I N T   L O C A L I Z A T I O N ,   V 1 ,   P 1 6 8 ;   N i d a   E .   A . ,   1 9 6 9 ,   T H E O R Y   P R A C T I C E   T R A N ;   N i d a   E .   A . ,   1 9 6 4 ,   S C I   T R A N S L A T I O N ;   N i e l s e n   J . ,   2 0 0 6 ,   P R I O R I T I Z I N G   W E B   U S A ;   N o b s   M a r i e ,   2 0 0 6 ,   T R A D U C C I O N   F O L L E T O S ;   N o r d   C . ,   1 9 9 7 ,   T R A N S L A T I N G   P U R P O S E F ;   N o r d   C . ,   1 9 9 1 ,   T E X T   A N A L   T R A N S L A T I O ;   O ' H a g a n   M . ,   2 0 0 9 ,   J   I N T   L O C A L I Z A T I O N ,   V 1 ,   P 9 4 1 2 1 ;   O ' H a g a n   M i n a k o ,   2 0 0 6 ,   P E R S P E C T I V E S   S T U D I E S ,   V 1 4 ,   P 2 4 3 ;   O r s t e d   J ,   2 0 0 1 ,   M E T A ,   V 4 6 ,   P 4 3 8 ;   P i e r i n i   P . ,   2 0 0 6 ,   J O S T R A N S   J   S P E C I A L I Z ,   V 8 ,   P 8 5 ;   P y m   A . ,   2 0 0 3 ,   L I S A   N E W S L E T T E R   G L O B ,   V 1 2 ;   P Y M   A n t h o n y ,   2 0 0 4 ,   M O V I N G   T E X T   L O C A L I Z A ;   R e i s s   K . ,   1 9 8 4 ,   G R U N D L E G U N G   A L L G E M E I ;   R e i s s   K a t h a r i n a ,   1 9 7 1 ,   M O G L I C H K E I T E N   G R E N Z E ;   R o t h e -   N e v e s   R . ,   2 0 0 2 ,   C A D E R N O S   T R A D U C A O   P R ,   V 2 ,   P 1 1 3 ;   S a g e r   J u a n   C . ,   1 9 8 9 ,   T R A N S L A T O R S   H D B ,   P 9 1 ;   S h r e v e   G r e g o r y   M . ,   2 0 0 6 ,   P E R S P E C T I V E S   L O C A L I Z ,   P 3 0 9 ;   S p i r o   R . ,   1 9 8 0 ,   T H E O R E T I C A L   I S S U E S   R ,   P 3 3 ;   T e i c h   E l k e ,   2 0 0 3 ,   C R O S S   L I N G U I S T I C   V A R ;   T o g n i n i   B o n e l l i   E . ,   1 9 9 6 ,   C O R P U S   T H E O R Y   P R A C T I ;   V a u g h a n   M W ,   2 0 0 6 ,   I N T   J   H U M - C O M P U T   S T ,   V 6 4 ,   P 5 0 2 ,   D O I   1 0 . 1 0 1 6 / j . i j h c s . 2 0 0 5 . 1 1 . 0 0 2 ;   W a d d i n g t o n   C . ,   2 0 0 1 ,   M E T A ,   V 4 6 ,   P 3 1 2 ;   W i l l i a m s   M i c h a e l ,   2 0 0 3 ,   T R A N S L A T I O N   Q U A L I T Y ;   W r i g h t   S . ,   2 0 0 6 ,   P E R S P E C T I V E S   L O C A L I Z ,   P 2 4 1 ;   W u   X i a n w e i ,   2 0 1 0 ,   T R A N S L   H U M   C   U   I L L   U ;   Z a n e t t i n   F . ,   2 0 0 1 ,   L E A R N I N G   C O R P O R A ,   P 1 7 7 ;   Z a n e t t i n   F ,   1 9 9 8 ,   M E T A ,   V 4 3 ,   P 6 1 6 	 6 9 	 2 	 2 	 A C A D E M I C   &   S C I E N T I F I C   P U B L I S H E R S - A S P 	 B R U S S E L S 	 U N I V   P R E S S   A N T W E R P   D I V ,   R A V E N S T E I N G A L E R I J   2 8 ,   B R U S S E L S ,   B - 1 0 0 0 ,   B E L G I U M 	 0 3 0 4 - 2 2 9 4 	 	 	 L I N G   A N T V E R P   N E W   S E R 	 L i n g .   A n t v e r p .   N e w   S e r . 	 	 2 0 1 1 	 1 0 	 	 	 	 	 	 1 3 1 	 + 	 	 	 	 2 3 	 L i n g u i s t i c s ;   L a n g u a g e   &   L i n g u i s t i c s 	 L i n g u i s t i c s 	 9 2 1 C Z 	 W O S : 0 0 0 3 0 2 4 5 6 9 0 0 0 0 7 	 	 
 J 	 G o u g h ,   J 	 	 	 	 G o u g h ,   J o a n n a 	 	 	 A n   e m p i r i c a l   s t u d y   o f   p r o f e s s i o n a l   t r a n s l a t o r s '   a t t i t u d e s ,   u s e   a n d   a w a r e n e s s   o f   W e b   2 . 0   t e c h n o l o g i e s ,   a n d   i m p l i c a t i o n s   f o r   t h e   a d o p t i o n   o f   e m e r g i n g   t e c h n o l o g i e s   a n d   t r e n d s 	 L I N G U I S T I C A   A N T V E R P I E N S I A   N E W   S E R I E S - T H E M E S   I N   T R A N S L A T I O N   S T U D I E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 W e b   2 . 0 ;   t r a n s l a t i o n   t e c h n o l o g y ;   t r a n s l a t i o n   t r e n d s ;   p r o f e s s i o n a l   t r a n s l a t o r s ;   o p e n   t r a n s l a t i o n   t o o l s ;   c o l l a b o r a t i v e   t r a n s l a t i o n ;   c o m m u n i t y   t r a n s l a t i o n ;   c r o w d s o u r c i n g 	 	 T h i s   q u e s t i o n n a i r e - b a s e d   s t u d y   w a s   c o n d u c t e d   a s   a   p a r t   o f   a n   M A   D i s s e r t a t i o n   i n   t h e   s u m m e r   o f   2 0 1 0   ( G o u g h ,   2 0 1 0 a ) .   I t   e x a m i n e s   t h e   t r e n d s   w i t h i n   t h e   t r a n s l a t i o n   i n d u s t r y   w h i c h   h a v e   d e v e l o p e d   i n   r e s p o n s e   t o   t h e   e v o l u t i o n   o f   t h e   W e b   f r o m   W e b   1 . 0   ( t h e   i n f o r m a t i o n   w e b )   t o   W e b   2 . 0   ( t h e   s o c i a l   w e b )   a n d   p l a c e s   p r o f e s s i o n a l   t r a n s l a t o r s   a g a i n s t   t h e   b a c k d r o p   o f   t h e s e   t r e n d s .   T h e   d e v e l o p m e n t s   b a s e d   o n   t h e   p r i n c i p l e s   o f   s h a r i n g ,   o p e n n e s s   a n d   c o l l a b o r a t i o n   a s s o c i a t e d   w i t h   W e b   2 . 0   c a n   b e   s e e n   a s   a f f e c t i n g   t h e   t o o l s   u s e d   b y   t r a n s l a t o r s   a n d   t h e   p r o c e s s e s   i n   w h i c h   t h e y   e n g a g e .   T h i s   s t u d y   e x a m i n e s   p r o f e s s i o n a l   t r a n s l a t o r s '   a w a r e n e s s   a n d   p e r c e p t i o n   o f   t h e   n e w   o p e n ,   c o l l a b o r a t i v e   t o o l s   a n d   p r o c e s s e s   a n d   t h e   d e g r e e   o f   t o o l s   u s a g e   a n d   p r o c e s s   p a r t i c i p a t i o n .   T h e   k e y   f i n d i n g s   o f   t h i s   s t u d y   h i g h l i g h t   t r a n s l a t o r s '   v a g u e   a w a r e n e s s   a n d   i n s u f f i c i e n t   u n d e r s t a n d i n g   o f   t h e s e   t r e n d s ,   m a r g i n a l   u s e   o f   t h e   o p e n   t o o l s   a n d   l i t t l e   e n g a g e m e n t   i n   t h e   c o l l a b o r a t i v e   p r o c e s s e s .   T h e   u n d e r l y i n g   f a c t o r   d e t e r m i n i n g   t r a n s l a t o r s '   a w a r e n e s s ,   p e r c e p t i o n   a n d   t h e   u s e   o f   t h e s e   t o o l s   a n d   p r o c e s s e s   i s   t h e i r   a t t i t u d e   t o w a r d s   a d o p t i n g   n e w   t e c h n o l o g i e s ,   w i t h   a n   i n d i c a t i o n   t h a t   p r o f e s s i o n a l s   w i t h   i n n o v a t i v e   a t t i t u d e s   a r e   m o r e   i n c l i n e d   t o   e m b r a c e   t h e   n e w   t r e n d s   a n d   d e v e l o p m e n t s . 	 U n i v   S u r r e y ,   F a c   A r t s   &   H u m a n   S c i ,   S c h   E n g l i s h   &   L a n g u a g e s ,   G u i l d f o r d   G U 2   7 X H ,   S u r r e y ,   E n g l a n d 	 G o u g h ,   J   ( r e p r i n t   a u t h o r ) ,   U n i v   S u r r e y ,   F a c   A r t s   &   H u m a n   S c i ,   S c h   E n g l i s h   &   L a n g u a g e s ,   G u i l d f o r d   G U 2   7 X H ,   S u r r e y ,   E n g l a n d . 	 j . g o u g h @ s u r r e y . a c . u k 	 	 	 	 	 B e n i g e r   J a m e s   R . ,   1 9 8 6 ,   C O N T R O L   R E V O L U T I O N   T ;   B e n i n a t t o   R . ,   2 0 0 7 ,   E N D   L O C A L I Z A T I O N   T A Y ;   B e r g m a n   F . ,   P R O J E C T   O P E N   T E C H N O L ;   B r i n k e r h o f f   D .   B . ,   2 0 0 8 ,   E S S E N T I A L S   S O C I O L O G Y ;   G a r c i a   I . ,   2 0 0 8 ,   M U L T I L I N G U A L           A P R ,   P 2 8 3 1 ;   G a r c i a   I . ,   2 0 0 9 ,   J   S P E C I A L I S E D   T R A N S L ;   G O U A D E C   D a n i e l ,   2 0 0 7 ,   T R A N S L A T I O N   P R O F E S S I ;   G o u g h   J . ,   2 0 1 0 ,   T R O U B L E D   R E L A T I O N S H I ;   G o u g h   J . ,   2 0 1 0 ,   T H E S I S   U   S U R R E Y ;   G o u g h   J . ,   2 0 1 0 ,   I M A G I N G   Y O U   A R E   T R A N ;   S c h m i d t   E . ,   2 0 0 9 ,   C O L L A B O R A T E   P E R I S H ;   S h o r t   J .   E . ,   2 0 0 9 ,   M U C H   I N F O R M   2 0 0 9   R E P ;   S h u t t l e w o r t h   M . ,   2 0 0 6 ,   P   1   A T H   I N T   C   T R A N S L ;   V a n   d e r   M e e r   J . ,   2 0 1 1 ,   T A U S   A N N   P L A N   2 0 1 1 ;   V a n   d e r   M e e r   J . ,   2 0 1 1 ,   F U T U R E   T R A N S L A T O R S   L ;   V a s h e e   K . ,   2 0 1 0 ,   F A L L I N G   T R A N S L A T I O N 	 1 6 	 0 	 0 	 A C A D E M I C   &   S C I E N T I F I C   P U B L I S H E R S - A S P 	 B R U S S E L S 	 U N I V   P R E S S   A N T W E R P   D I V ,   R A V E N S T E I N G A L E R I J   2 8 ,   B R U S S E L S ,   B - 1 0 0 0 ,   B E L G I U M 	 0 3 0 4 - 2 2 9 4 	 	 	 L I N G   A N T V E R P   N E W   S E R 	 L i n g .   A n t v e r p .   N e w   S e r . 	 	 2 0 1 1 	 1 0 	 	 	 	 	 	 1 9 5 	 + 	 	 	 	 2 4 	 L i n g u i s t i c s ;   L a n g u a g e   &   L i n g u i s t i c s 	 L i n g u i s t i c s 	 9 2 1 C Z 	 W O S : 0 0 0 3 0 2 4 5 6 9 0 0 0 1 0 	 	 
 S 	 A l o n s o ,   O ;   B a e z a - Y a t e s ,   R 	 	 C l o u g h ,   P ;   F o l e y ,   C ;   G u r r i n ,   C ;   J o n e s ,   G J F ;   K r a a i j ,   W ;   L e e ,   H ;   M u r d o c h ,   V 	 	 A l o n s o ,   O m a r ;   B a e z a - Y a t e s ,   R i c a r d o 	 	 	 D e s i g n   a n d   I m p l e m e n t a t i o n   o f   R e l e v a n c e   A s s e s s m e n t s   U s i n g   C r o w d s o u r c i n g 	 A D V A N C E S   I N   I N F O R M A T I O N   R E T R I E V A L 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 3 3 r d   E u r o p e a n   C o n f e r e n c e   o n   I n f o r m a t i o n   R e t r i e v a l 	 A P R   1 8 - 2 1 ,   2 0 1 1 	 D u b l i n ,   I R E L A N D 	 	 	 	 	 I n   t h e   l a s t   y e a r s   c r o w d s o u r c i n g   h a s   e m e r g e d   a s   a   v i a b l e   p l a t f o r m   f o r   c o n d u c t i n g   r e l e v a n c e   a s s e s s m e n t s .   T h e   m a i n   r e a s o n   b e h i n d   t h i s   t r e n d   i s   t h a t   m a k e s   p o s s i b l e   t o   c o n d u c t   e x p e r i m e n t s   e x t r e m e l y   f a s t ,   w i t h   g o o d   r e s u l t s   a n d   a t   l o w   c o s t .   H o w e v e r ,   l i k e   i n   a n y   e x p e r i m e n t ,   t h e r e   a r e   s e v e r a l   d e t a i l s   t h a t   w o u l d   m a k e   a n   e x p e r i m e n t   w o r k   o r   f a i l .   T o   g a t h e r   u s e f u l   r e s u l t s ,   u s e r   i n t e r f a c e   g u i d e l i n e s ,   i n t e r - a g r e e m e n t   m e t r i c s ,   a n d   j u s t i f i c a t i o n   a n a l y s i s   a r e   i m p o r t a n t   a s p e c t s   o f   a   s u c c e s s f u l   c r o w d s o u r c i n g   e x p e r i m e n t .   I n   t h i s   w o r k   w e   e x p l o r e   t h e   d e s i g n   a n d   e x e c u t i o n   o f   r e l e v a n c e   j u d g m e n t s   u s i n g   A m a z o n   M e c h a n i c a l   T u r k   a s   c r o w d s o u r c i n g   p l a t f o r m ,   i n t r o d u c i n g   a .   m e t h o d o l o g y   f o r   c r o w d s o u r c i n g   r e l e v a n c e   a s s e s s m e n t s   a n d   t h e   r e s u l t s   o f   a   s e r i e s   o f   e x p e r i m e n t s   u s i n g   T R E C   8   w i t h   a   f i x e d   b u d g e t .   O u r   f i n d i n g s   i n d i c a t e   t h a t   w o r k e r s   a r e   a s   g o o d   a s   T R E C   e x p e r t s ,   e v e n   p r o v i d i n g   d e t a i l e d   f e e d b a c k   f o r   c e r t a i n   q u e r y - d o c u m e n t   p a i r s .   W e   a l s o   e x p l o r e   t h e   i m p o r t a n c e   o f   d o c u m e n t   d e s i g n   a n d   p r e s e n t a t i o n   w h e n   p e r f o r m i n g   r e l e v a n c e   a s s e s s m e n t   t a s k s .   F i n a l l y ,   w e   s h o w   o u r   m e t h o d o l o g y   a t   w o r k   w i t h   s e v e r a l   e x a m p l e s   t h a t   a r e   i n t e r e s t i n g   i n   t h e i r   o w n . 	 [ A l o n s o ,   O m a r ]   M i c r o s o f t   C o r p ,   M o u n t a i n   V i e w ,   C A   9 4 0 4 3   U S A 	 A l o n s o ,   O   ( r e p r i n t   a u t h o r ) ,   M i c r o s o f t   C o r p ,   M o u n t a i n   V i e w ,   C A   9 4 0 4 3   U S A . 	 o m a r . a l o n s o @ m i c r o s o f t . c o m ;   r b a e z a @ a c m . o r g 	 	 	 	 	 A l o n s o   O . ,   2 0 1 0 ,   C E R I   2 0 1 0   M A D R   S P A I N ;   A l o n s o   O . ,   2 0 0 9 ,   S I G I R   W O R K S H   F U T   I R ;   A l o n s o   O . ,   2 0 1 0 ,   3 2   E C I R   M I L T   K E Y N   U K ;   B r a d b u r n   N .   M . ,   2 0 0 4 ,   A S K I N G   Q U E S T I O N S   D E F ;   C a l l i s o n - B u r c h   C . ,   2 0 0 9 ,   P   E M N L P ;   G r a d y   C . ,   2 0 1 0 ,   N A A C L   H L T H   W O R K S H   C R ;   K a z a i   G . ,   2 0 0 9 ,   3 2   S I G I R ;   K i n n e y   K . ,   2 0 0 8 ,   1 7   C I K M ;   M a l o n e   T . W . ,   2 0 0 9 ,   H A R N E S S I N G   C R O W D S   M A ;   M a s o n   W . ,   2 0 0 9 ,   H C O M P   W O R K S H   K D D   P A R ;   N o v   O . ,   2 0 0 8 ,   C H I   F L O R   I T ;   S n o w   R . ,   2 0 0 8 ,   E M N L P ;   T a n g   J . ,   2 0 1 0 ,   3 2   E C I R   M I L T   K E Y N   U K ;   v o n   A h n   L ,   2 0 0 6 ,   C O M P U T E R ,   V 3 9 ,   P 9 2 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 6 . 1 9 6 ;   V o o r h e e s   E . ,   2 0 0 9 ,   C O M M U N I C A T I O N 	 1 5 	 6 	 6 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 2 0 1 6 0 - 8 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 1 	 6 6 1 1 	 	 	 	 	 	 1 5 3 	 1 6 4 	 	 	 	 1 2 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B Z L 8 7 	 W O S : 0 0 0 3 0 1 9 6 8 0 0 0 0 1 6 	 	 
 S 	 K a z a i ,   G 	 	 C l o u g h ,   P ;   F o l e y ,   C ;   G u r r i n ,   C ;   J o n e s ,   G J F ;   K r a a i j ,   W ;   L e e ,   H ;   M u r d o c h ,   V 	 	 K a z a i ,   G a b r i e l l a 	 	 	 I n   S e a r c h   o f   Q u a l i t y   i n   C r o w d s o u r c i n g   f o r   S e a r c h   E n g i n e   E v a l u a t i o n 	 A D V A N C E S   I N   I N F O R M A T I O N   R E T R I E V A L 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 3 3 r d   E u r o p e a n   C o n f e r e n c e   o n   I n f o r m a t i o n   R e t r i e v a l 	 A P R   1 8 - 2 1 ,   2 0 1 1 	 D u b l i n ,   I R E L A N D 	 	 	 I R   e v a l u a t i o n ;   r e l e v a n c e   d a t a   g a t h e r i n g ;   c r o w d s o u r c i n g 	 	 C r o w d s o u r c i n g   i s   i n c r e a s i n g l y   l o o k e d   u p o n   a s   a   f e a s i b l e   a l t e r n a t i v e   t o   t r a d i t i o n a l   m e t h o d s   o f   g a t h e r i n g   r e l e v a n c e   l a b e l s   f o r   t h e   e v a l u a t i o n   o f   s e a r c h   e n g i n e s ,   o f f e r i n g   a   s o l u t i o n   t o   t h e   s c a l a b i l i t y   p r o b l e m   t h a t   h i n d e r s   t r a d i t i o n a l   a p p r o a c h e s .   H o w e v e r ,   c r o w d s o u r c i n g   r a i s e s   a   r a n g e   o f   q u e s t i o n s   r e g a r d i n g   t h e   q u a l i t y   o f   t h e   r e s u l t i n g   d a t a .   W h a t   i n d e e d   c a n   b e   s a i d   a b o u t   t h e   q u a l i t y   o f   t h e   d a t a   t h a t   i s   c o n t r i b u t e d   b y   a n o n y m o u s   w o r k e r s   w h o   a r e   o n l y   p a i d   c e n t s   f o r   t h e i r   e f f o r t s ?   C a n   h i g h e r   p a y   g u a r a n t e e   b e t t e r   q u a l i t y ?   D o   b e t t e r   q u a l i f i e d   w o r k e r s   p r o d u c e   h i g h e r   q u a l i t y ,   l a b e l s ?   I n   t h i s   p a p e r ,   w e   i n v e s t i g a t e   t h e s e   a n d   s i m i l a r   q u e s t i o n s   v i a   a   s e r i e s   o f   c o n t r o l l e d   c r o w d s o u r c i n g   e x p e r i m e n t s   w h e r e   w e   v a r y   p a y ,   r e q u i r e d   e f f o r t   a n d   w o r k e r   q u a l i f i c a t i o n s   a n d   o b s e r v e   t h e i r   e f f e c t s   o n   t h e   r e s u l t i n g   l a b e l   q u a l i t y ,   m e a s u r e d   b a s e d   o n   a g r e e m e n t   w i t h   a   g o l d   s e t . 	 M i c r o s o f t   R e s   C a m b r i d g e ,   C a m b r i d g e ,   M A   0 2 1 4 2   U S A 	 K a z a i ,   G   ( r e p r i n t   a u t h o r ) ,   M i c r o s o f t   R e s   C a m b r i d g e ,   C a m b r i d g e ,   M A   0 2 1 4 2   U S A . 	 v - g a b k a z @ m i c r o s o f t . c o m 	 	 	 	 	 A l o n s o   O . ,   2 0 0 9 ,   P   S I G I R   2 0 0 9   W O R K S H ,   P 5 5 7 ;   A l o n s o   O . ,   2 0 0 8 ,   A C M   S I G I R   F O R U M ,   V 4 2 ,   P 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 8 0 5 0 6 . 1 4 8 0 5 0 8 ;   B a i l e y   P . ,   2 0 0 8 ,   S I G I R   0 8 ,   P 6 6 7 ;   G r a d y   C . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 7 2 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   K a p e l n e r   A . ,   2 0 1 0 ,   W O R L D S   1   C   F U T   D I S T R ;   K a z a i   G ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 2 0 3 ,   P 1 4 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 4 5 5 6 - 8 _ 1 6 ;   L e   J . ,   2 0 1 0 ,   S I G I R   W O R K S H   C R O W D S ,   P 1 7 ;   M a r s d e n   P . ,   2 0 0 9 ,   C O N T A G I O U S   M A G A Z I N E ,   V 1 8 ,   P 2 4 ;   Q u i n n   A . J . ,   2 0 0 9 ,   H C I L 2 0 0 9 2 3   U   M A R Y L ;   v o n   A h n   L . ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 3 1 9 ,   D O I   1 0 . 1 1 4 5 / 9 8 5 6 9 2 . 9 8 5 7 3 3 ;   W a t t s   D . ,   2 0 0 9 ,   H C O M P   0 9 ,   P 7 7 ;   Z h u   D . ,   2 0 1 0 ,   S I G I R   2 0 1 0   W O R K S H   C R 	 1 3 	 1 1 	 1 1 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 2 0 1 6 0 - 8 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 1 	 6 6 1 1 	 	 	 	 	 	 1 6 5 	 1 7 6 	 	 	 	 1 2 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B Z L 8 7 	 W O S : 0 0 0 3 0 1 9 6 8 0 0 0 0 1 7 	 	 
 S 	 K o f l e r ,   C ;   L a r s o n ,   M ;   H a n j a l i c ,   A 	 	 C l o u g h ,   P ;   F o l e y ,   C ;   G u r r i n ,   C ;   J o n e s ,   G J F ;   K r a a i j ,   W ;   L e e ,   H ;   M u r d o c h ,   V 	 	 K o f l e r ,   C h r i s t o p h ;   L a r s o n ,   M a r t h a ;   H a n j a l i c ,   A l a n 	 	 	 T o   S e e k ,   P e r c h a n c e   t o   F a i l :   E x p r e s s i o n s   o f   U s e r   N e e d s   i n   I n t e r n e t   V i d e o   S e a r c h 	 A D V A N C E S   I N   I N F O R M A T I O N   R E T R I E V A L 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 3 3 r d   E u r o p e a n   C o n f e r e n c e   o n   I n f o r m a t i o n   R e t r i e v a l 	 A P R   1 8 - 2 1 ,   2 0 1 1 	 D u b l i n ,   I R E L A N D 	 	 	 M u l t i m e d i a   r e t r i e v a l ;   I n t e r n e t   v i d e o ;   u s e r   i n f o r m a t i o n   n e e d ;   s e a r c h - g o a l   f a i l u r e ;   c r o w d s o u r c i n g 	 	 T h i s   w o r k   i n v e s t i g a t e s   u s e r   e x p r e s s i o n s   o f   c o n t e n t   n e e d s   i n   I n t e r n e t   v i d e o   s e a r c h ,   f o c u s i n g   o n   c a s e s   i n   w h i c h   u s e r s   h a v e   f a i l e d   t o   m e e t   t h e i r   s e a r c h   g o a l s ,   a l t h o u g h   r e l e v a n t   c o n t e n t   i s   r e a s o n a b l y   c e r t a i n   t o   e x i s t .   W e   s t u d y   e x p r e s s i o n s   o f   u s e r   n e e d s   i n   t h e   f o r m   o f   r e q u e s t s   ( i . e . ,   q u e s t i o n s )   f o r m u l a t e d   i n   n a t u r a l   l a n g u a g e   a n d   p u b l i s h e d   t o   Y a h o o !   A n s w e r s .   E x p e r i m e n t s   s h o w   t h a t   c l a s s i f i e r s   c a n   d i s t i n g u i s h   r e q u e s t s   a s s o c i a t e d   w i t h   s e a r c h - g o a l   f a i l u r e .   W e   i d e n t i f y   a   g r o u p   o f   ' e a s y - t o - p r e d i c t '   r e q u e s t s   ( c a s e s   f o r   w h i c h   t h e   c l a s s i f i e r   p r e d i c t s   s e a r c h - g o a l   f a i l u r e   w e l l )   a n d   c o m p i l e   a n   i n v e n t o r y   o f   s t r a t e g i e s   u s e d   b y   u s e r s   t o   e x p r e s s   s e a r c h   g o a l s   i n   t h e s e   c a s e s .   I n   a   f i n a l   s e t   o f   e x p e r i m e n t s ,   w e   d e m o n s t r a t e   t h e   f e a s i b i l i t y   o f   p r e d i c t i n g   s e a r c h - g o a l   f a i l u r e   b a s e d   o n   q u e r y - l i k e   r e p r e s e n t a t i o n s   o f   t h e   o r i g i n a l   n a t u r a l - l a n g u a g e   r e q u e s t s .   T h e   r e s u l t s   o f   o u r   s t u d y   a r e   i n t e n d e d   t o   i n f o r m   t h e   f u t u r e   d e v e l o p m e n t   o f   i n d e x i n g   a n d   r e t r i e v a l   t e c h n i q u e s   f o r   I n t e r n e t   v i d e o   t h a t   t a r g e t   d i f f i c u l t   q u e r i e s . 	 [ K o f l e r ,   C h r i s t o p h ;   L a r s o n ,   M a r t h a ;   H a n j a l i c ,   A l a n ]   D e l f t   U n i v   T e c h n o l ,   M u l t i m e d i a   I n f o r m a t   R e t r i e v a l   L a b ,   N L - 2 6 2 8   C D   D e l f t ,   N e t h e r l a n d s 	 K o f l e r ,   C   ( r e p r i n t   a u t h o r ) ,   D e l f t   U n i v   T e c h n o l ,   M u l t i m e d i a   I n f o r m a t   R e t r i e v a l   L a b ,   M e k e l w e g   4 ,   N L - 2 6 2 8   C D   D e l f t ,   N e t h e r l a n d s . 	 c . k o f l e r @ t u d e l f t . n l ;   m . a . l a r s o n @ t u d e l f t . n l ;   a . h a n j a l i c @ t u d e l f t . n l 	 L a r s o n ,   M a r t h a / E - 9 9 8 3 - 2 0 1 4 	 	 	 	 H u u r n i n k   B ,   2 0 1 0 ,   J   A M   S O C   I N F   S C I   T E C ,   V 6 1 ,   P 1 1 8 0 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 1 3 2 7 ;   J a n s e n   B .   J . ,   2 0 0 0 ,   W o r l d   W i d e   W e b ,   V 3 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 1 8 7 4 3 0 2 4 1 2 3 ;   J o n e s   R . ,   2 0 0 8 ,   C I K M   0 8 ,   P 6 9 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 5 8 0 8 2 . 1 4 5 8 1 7 6 ;   P u   H T ,   2 0 0 8 ,   J   I N F   S C I ,   V 3 4 ,   P 2 7 5 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 0 7 0 8 4 1 4 0 ;   W i l d e m u t h   B . M . ,   2 0 1 0 ,   I I I X   2 0 1 0 ,   P 2 5 5 	 5 	 1 	 1 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 2 0 1 6 0 - 8 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 1 	 6 6 1 1 	 	 	 	 	 	 6 1 1 	 6 1 6 	 	 	 	 6 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B Z L 8 7 	 W O S : 0 0 0 3 0 1 9 6 8 0 0 0 0 6 1 	 	 
 J 	 S h e e r m a n - C h a s e ,   T ;   O n g ,   E J ;   B o w d e n ,   R 	 	 	 I E E E 	 S h e e r m a n - C h a s e ,   T i m ;   O n g ,   E n g - J o n ;   B o w d e n ,   R i c h a r d 	 	 	 C u l t u r a l   F a c t o r s   i n   t h e   R e g r e s s i o n   o f   N o n - v e r b a l   C o m m u n i c a t i o n   P e r c e p t i o n 	 2 0 1 1   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   C O M P U T E R   V I S I O N   W O R K S H O P S   ( I C C V   W O R K S H O P S ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m p u t e r   V i s i o n   ( I C C V ) 	 N O V   0 6 - 1 3 ,   2 0 1 1 	 B a r c e l o n a ,   S P A I N 	 I E E E ,   T o y o t a ,   G o o g l e ,   M i c r o s o f t   R e s ,   S i e m e n s ,   T e c h n i c o l o r ,   A d o b e ,   A l c a t e l   L u c e n t ,   G e n t e x   C o r p ,   K o o a b a   I m a g e   R e c o g n i t ,   M i t s u b i s h i   E l e c t ,   M o b i l e y e ,   O b j e c t   V i d e o   ( O V ) ,   T o s h i b a ,   X e r o x ,   Z e i s s ,   2 d 3 ,   S A T U R N U S 	 	 	 E M O T I O N S 	 R e c o g n i t i o n   o f   n o n - v e r b a l   c o m m u n i c a t i o n   ( N V C )   i s   i m p o r t a n t   f o r   u n d e r s t a n d i n g   h u m a n   c o m m u n i c a t i o n   a n d   d e s i g n i n g   u s e r   c e n t r i c   u s e r   i n t e i f a c e s .   C u l t u r a l   d i f f e r e n c e s   a f f e c t   t h e   e x p r e s s i o n   a n d   p e r c e p t i o n   o f   N V C   b u t   n o   p r e v i o u s   a u t o m a t i c   s y s t e m   c o n s i d e r s   t h e s e   c u l t u r a l   d i f f e r e n c e s .   A n n o t a t i o n   d a t a   f o r   t h e   L I L i R   T w o T a l k   c o r p u s ,   c o n t a i n i n g   d y a d i c   ( t w o   p e r s o n )   c o n v e r s a t i o n s ,   w a s   g a t h e r e d   u s i n g   I n t e r n e t   c r o w d s o u r c i n g ,   w i t h   a   s i g n i f i c a n t   q u a n t i t y   c o l l e c t e d   f r o m   I n d i a ,   K e n y a   a n d   t h e   U n i t e d   K i n g d o m   ( U K ) .   M a n y   s t u d i e s   h a v e   i n v e s t i g a t e d   c u l t u r a l   d i f f e r e n c e s   b a s e d   o n   h u m a n   o b s e r v a t i o n s   b u t   t h i s   h a s   n o t   b e e n   a d d r e s s e d   i n   t h e   c o n t e x t   o f   a u t o m a t i c   e m o t i o n   o r   N V C   r e c o g n i t i o n .   P e r h a p s   n o t   s u r p r i s i n g l y ,   t e s t i n g   a n   a u t o m a t i c   s y s t e m   o n   d a t a   t h a t   i s   n o t   c u l t u r a l l y   r e p r e s e n t a t i v e   o f   t h e   t r a i n i n g   d a t a   i s   s e e n   t o   r e s u l t   i n   l o w   p e r f o r m a n c e .   W e   a d d r e s s   t h i s   p r o b l e m   b y   t r a i n i n g   a n d   t e s t i n g   o u r   s y s t e m   o n   a   s p e c i f i c   c u l t u r e   t o   e n a b l e   b e t t e r   m o d e l i n g   o f   t h e   c u l t u r a l   d i f f e r e n c e s   i n   N V C   p e r c e p t i o n .   T h e   s y s t e m   u s e s   l i n e a r   p r e d i c t o r   t r a c k i n g ,   w i t h   f e a t u r e s   g e n e r a t e d   b a s e d   o n   d i s t a n c e s   b e t w e e n   p a i r s   o f   t r a c k e r s .   T h e   a n n o t a t i o n s   i n d i c a t e d   t h e   s t r e n g t h   o f   t h e   N V C   w h i c h   e n a b l e s   t h e   u s e   o f   v - S V R   t o   p e r f o r m   t h e   r e g r e s s i o n . 	 [ S h e e r m a n - C h a s e ,   T i m ;   O n g ,   E n g - J o n ;   B o w d e n ,   R i c h a r d ]   U n i v   S u r r e y ,   C V S S P ,   G u i l d f o r d   G U 2   7 X H ,   S u r r e y ,   E n g l a n d 	 S h e e r m a n - C h a s e ,   T   ( r e p r i n t   a u t h o r ) ,   U n i v   S u r r e y ,   C V S S P ,   G u i l d f o r d   G U 2   7 X H ,   S u r r e y ,   E n g l a n d . 	 t . s h e e r m a n - c h a s e @ s u r r e y . a c . u k ;   e . o n g @ s u r r e y . a c . u k ;   r . b o w d e n @ s u r r e y . a c . u k 	 	 	 	 	 A b r i l i a n   S . ,   2 0 0 6 ,   5   I N T   C   L A N G   R E S   E V ;   A f z a l   S . ,   2 0 0 9 ,   A F F   C O M P   I N T   I N T   A C I ;   C a r l e t t a   J ,   2 0 0 7 ,   L A N G   R E S O U R   E V A L ,   V 4 1 ,   P 1 8 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 5 7 9 - 0 0 7 - 9 0 4 0 - x ;   C o h n   J . ,   2 0 0 4 ,   I N T   J   W A V E L E T S   M U L T I ,   V 2 ,   P 1 ,   D O I   D O I   1 0 . 1 1 4 2 / S 0 2 1 9 6 9 1 3 0 4 0 0 0 3 1 7 ;   C o w i e   R . ,   2 0 0 9 ,   A F F   C O M P   I N T   I N T   A C I ;   D a r w i n   C . ,   2 0 0 2 ,   E X P R E S S I O N   E M O T I O N S ;   D e v i l l e r s   L . ,   2 0 0 8 ,   P   6   I N T   L A N G   R E S   E V ;   D r u c k e r   H ,   1 9 9 7 ,   A D V   N E U R   I N ,   V 9 ,   P 1 5 5 ;   E k m a n   P ,   1 9 9 9 ,   H D B   C O G N I T I O N   E M O T I O ;   e l   K a l i o u b y   R ,   2 0 0 5 ,   R e a l - T i m e   V i s i o n   f o r   H u m a n - C o m p u t e r   I n t e r a c t i o n ,   P 1 8 1 ;   E l f e n b e i n   H A ,   2 0 0 3 ,   C U R R   D I R   P S Y C H O L   S C I ,   V 1 2 ,   P 1 5 9 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 8 7 2 1 . 0 1 2 5 2 ;   J a c k   R E ,   2 0 0 9 ,   C U R R   B I O L ,   V 1 9 ,   P 1 5 4 3 ,   D O I   1 0 . 1 0 1 6 / j . c u b . 2 0 0 9 . 0 7 . 0 5 1 ;   K a n l u a n   I ,   2 0 0 8 ,   1 6   E U R   S I G N   P R O C   C   L ;   L e e   V ,   1 9 9 8 ,   S E M I O T I C A ,   V 1 2 0 ,   P 3 9 ,   D O I   1 0 . 1 5 1 5 / s e m i . 1 9 9 8 . 1 2 0 . 1 - 2 . 3 9 ;   M a r s h   A A ,   2 0 0 3 ,   P S Y C H O L   S C I ,   V 1 4 ,   P 3 7 3 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 9 2 8 0 . 2 4 4 6 1 ;   M a t s u m o t o   D . ,   2 0 0 6 ,   S A G E   H D B   N O N V E R B A L   C ,   P 2 1 9 ;   O n g   E . ,   2 0 0 9 ,   I N T   C   C O M P   V I S ;   P e t r i d i s   S . ,   2 0 0 8 ,   P   I E E E   I N T   C   M U L T   I N ,   P 3 7 ,   D O I   1 0 . 1 1 4 5 / 1 4 5 2 3 9 2 . 1 4 5 2 4 0 2 ;   R e i d s m a   D . ,   2 0 0 8 ,   P   L R E C   W O R K S H   M U L T   C ,   P 5 2 ;   R U S S E L L   J A ,   1 9 9 1 ,   P S Y C H O L   B U L L ,   V 1 1 0 ,   P 4 2 6 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 0 9 . 1 1 0 . 3 . 4 2 6 ;   S c h o l k o p f   B . ,   2 0 0 0 ,   N E U R A L   C O M P U T ,   V 1 2 ,   P 1 2 0 7 ;   S h e e r m a n - C h a s e   T . ,   2 0 0 9 ,   I E E E   I N T   W O R K S H   H U M ;   V a l s t a r   M .   F . ,   2 0 0 6 ,   I N T   C   M U L T   I N T ,   P 1 6 2 ;   W i e r z b i c k a   A . ,   1 9 9 9 ,   E M O T I O N S   L A N G U A G E S   C ,   P 2 4 	 2 4 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 6 7 3 - 0 0 6 3 - 6 	 	 	 	 2 0 1 1 	 	 	 	 	 	 	 	 	 	 	 	 8 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B Y S 9 6 	 W O S : 0 0 0 3 0 0 0 5 6 7 0 0 1 7 9 	 	 
 J 	 R i b e i r o ,   F ;   F l o r e n c i o ,   D ;   N a s c i m e n t o ,   V 	 	 	 I E E E 	 R i b e i r o ,   F l a v i o ;   F l o r e n c i o ,   D i n e i ;   N a s c i m e n t o ,   V t o r 	 	 	 C R O W D S O U R C I N G   S U B J E C T I V E   I M A G E   Q U A L I T Y   E V A L U A T I O N 	 2 0 1 1   1 8 T H   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   I M A G E   P R O C E S S I N G   ( I C I P ) 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I m a g e   P r o c e s s i n g   I C I P 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 8 t h   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I m a g e   P r o c e s s i n g   ( I C I P ) 	 S E P   1 1 - 1 4 ,   2 0 1 1 	 B r u s s e l s ,   B E L G I U M 	 I E E E ,   I E E E   S i g n a l   P r o c   S o c 	 	 c r o w d s o u r c i n g ;   s u b j e c t i v e   q u a l i t y ;   q u a l i t y   a s s e s s m e n t ;   m e a n   o p i n i o n   s c o r e ;   M O S ;   m e c h a n i c a l   t u r k 	 	 S u b j e c t i v e   t e s t s   a r e   g e n e r a l l y   r e g a r d e d   a s   t h e   m o s t   r e l i a b l e   a n d   d e f i n i t i v e   m e t h o d s   f o r   a s s e s s i n g   i m a g e   q u a l i t y .   N e v e r t h e l e s s ,   l a b o r a t o r y   s t u d i e s   a r e   t i m e   c o n s u m i n g   a n d   e x p e n s i v e .   T h u s ,   r e s e a r c h e r s   o f t e n   c h o o s e   t o   r u n   i n f o r m a l   s t u d i e s   o r   u s e   o b j e c t i v e   q u a l i t y   m e a s u r e s ,   p r o d u c i n g   r e s u l t s   w h i c h   m a y   n o t   c o r r e l a t e   w e l l   w i t h   h u m a n   p e r c e p t i o n .   I n   t h i s   p a p e r   w e   p r o p o s e   a   c o s t - e f f e c t i v e   a n d   c o n v e n i e n t   s u b j e c t i v e   q u a l i t y   m e a s u r e   c a l l e d   c r o w d M O S ,   o b t a i n e d   b y   h a v i n g   i n t e r n e t   w o r k e r s   p a r t i c i p a t e   i n   M O S   ( m e a n   o p i n i o n   s c o r e )   s u b j e c t i v e   q u a l i t y   s t u d i e s .   S i n c e   t h e s e   w o r k e r s   c a n n o t   b e   s u p e r v i s e d ,   w e   p r o p o s e   m e t h o d s   f o r   d e t e c t i n g   a n d   d i s c a r d i n g   i n a c c u r a t e   o r   m a l i c i o u s   s c o r e s .   T o   f a c i l i t a t e   t h i s   p r o c e s s ,   w e   o f f e r   a n   o p e n   s o u r c e   s e t   o f   t o o l s   f o r   A m a z o n   M e c h a n i c a l   T u r k ,   w h i c h   i s   a n   i n t e r n e t   m a r k e t p l a c e   f o r   c r o w d s o u r c i n g .   T h e s e   t o o l s   c o m p l e t e l y   a u t o m a t e   t h e   t e s t   d e s i g n ,   s c o r e   r e t r i e v a l   a n d   s t a t i s t i c a l   a n a l y s i s ,   a b s t r a c t i n g   a w a y   t h e   t e c h n i c a l   d e t a i l s   o f   M e c h a n i c a l   T u r k   a n d   e n s u r i n g   a   u s e r - f r i e n d l y ,   a f f o r d a b l e   a n d   c o n s i s t e n t   t e s t   m e t h o d o l o g y .   W e   d e m o n s t r a t e   c r o w d M O S   u s i n g   d a t a   f r o m   t h e   L I V E   s u b j e c t i v e   q u a l i t y   i m a g e   d a t a s e t ,   s h o w i n g   t h a t   i t   d e l i v e r s   a c c u r a t e   a n d   r e p e a t a b l e   r e s u l t s . 	 [ R i b e i r o ,   F l a v i o ;   N a s c i m e n t o ,   V t o r ]   U n i v   S a o   P a u l o ,   D e p t   E l e c t   S y s t   E n g n ,   B R - 0 5 5 0 8   S a o   P a u l o ,   B r a z i l 	 R i b e i r o ,   F   ( r e p r i n t   a u t h o r ) ,   U n i v   S a o   P a u l o ,   D e p t   E l e c t   S y s t   E n g n ,   B R - 0 5 5 0 8   S a o   P a u l o ,   B r a z i l . 	 	 N a s c i m e n t o ,   V i t o r / E - 8 1 9 4 - 2 0 1 2 	 N a s c i m e n t o ,   V i t o r / 0 0 0 0 - 0 0 0 2 - 0 5 4 3 - 4 7 3 5 	 	 	 [ A n o n y m o u s ] ,   2 0 0 8 ,   P 9 1 0   I T U T ;   [ A n o n y m o u s ] ,   2 0 0 9 ,   B T 5 0 0 1 2   I T U R ;   [ A n o n y m o u s ] ,   1 9 9 7 ,   B S 1 1 1 6 1   I T U R ;   [ A n o n y m o u s ] ,   1 9 9 6 ,   P 8 0 0   I T U T ;   C h a n d l e r   D M ,   2 0 0 7 ,   I E E E   T   I M A G E   P R O C E S S ,   V 1 6 ,   P 2 2 8 4 ,   D O I   1 0 . 1 1 0 9 / T I P . 2 0 0 7 . 9 0 1 8 2 0 ;   C h e n   K T ,   2 0 0 9 ,   M A T H   C O M P U T   S C I   E N G ,   P 4 9 1 ,   D O I   1 0 . 1 1 4 5 / 1 6 3 1 2 7 2 . 1 6 3 1 3 3 9 ;   E f r o n   B . ,   1 9 9 3 ,   I N T R O   B O O T S T R A P ;   M o o r t h y   A . K . ,   2 0 0 9 ,   P   S P I E ;   R i b e i r o   F . ,   2 0 1 1 ,   P   I C A S S P ;   R i b e i r o   F . ,   C R O W D M O S   S T A N D A L O N E ;   S h e i k h   H .   R . ,   2 0 0 3 ,   L I V E   I M A G E   Q U A L I T Y   A ;   S h e i k h   H R ,   2 0 0 6 ,   I E E E   T   I M A G E   P R O C E S S ,   V 1 5 ,   P 4 3 0 ,   D O I   1 0 . 1 1 0 9 / T I P . 2 0 0 5 . 8 5 9 3 7 8 ;   v a n   D i j k   A . M . ,   1 9 9 5 ,   P   S P I E ;   W a n g   Z ,   2 0 0 4 ,   I E E E   T   I M A G E   P R O C E S S ,   V 1 3 ,   P 6 0 0 ,   D O I   1 0 . 1 1 0 9 / T I P . 2 0 0 3 . 8 1 9 8 6 1 	 1 4 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 5 2 2 - 4 8 8 0 	 	 9 7 8 - 1 - 4 5 7 7 - 1 3 0 3 - 3 	 I E E E   I M A G E   P R O C 	 	 	 2 0 1 1 	 	 	 	 	 	 	 	 	 	 	 	 4 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   I m a g i n g   S c i e n c e   &   P h o t o g r a p h i c   T e c h n o l o g y 	 E n g i n e e r i n g ;   I m a g i n g   S c i e n c e   &   P h o t o g r a p h i c   T e c h n o l o g y 	 B Y I 8 9 	 W O S : 0 0 0 2 9 8 9 6 2 5 0 3 0 5 8 	 	 
 J 	 S k o p i k ,   F ;   S c h a l l ,   D ;   D u s t d a r ,   S 	 	 P e r s e i l ,   I ;   B r e i t m a n ,   K ;   S t e r r i t t ,   R 	 	 S k o p i k ,   F l o r i a n ;   S c h a l l ,   D a n i e l ;   D u s t d a r ,   S c h a h r a m 	 	 	 C o m p u t a t i o n a l   S o c i a l   N e t w o r k   M a n a g e m e n t   i n   C r o w d s o u r c i n g   E n v i r o n m e n t s 	 2 0 1 1   1 6 T H   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   E N G I N E E R I N G   O F   C O M P L E X   C O M P U T E R   S Y S T E M S   ( I C E C C S ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   I n t   C o n f / W o r k s h o p s   o n   E n g i n e e r i n g   o f   A u t o n o m i c   a n d   A u t o n o m o u s   S y s t e m s / I n t   C o n f   o n   t h e   E n g i n e e r i n g   o f   C o m p u t e r - B a s e d   S y s t e m s / I n t   C o n f   o n   t h e   E n g i n e e r i n g   o f   C o m p l e x   C o m p u t e r   S y s t e m s 	 A P R   2 7 - 2 9 ,   2 0 1 1 	 L a s   V e g a s ,   N V 	 I E E E ,   I E E E   C o m p   S o c   T e c h   C o m m   E n g n   A u t o n o m o u s   &   A u t o n o m   S y s t   ( T C - A A S ) ,   I E E E   C o m p   S o c 	 	 c o m p u t a t i o n a l   s o c i a l   n e t w o r k   m a n a g e m e n t ;   e m e r g e n c e   o f   s o c i a l   r e l a t i o n s ;   s e r v i c e - o r i e n t e d   c r o w d s o u r c i n g 	 T R U S T ;   W E B ;   S I M I L A R I T Y ;   S E R V I C E S 	 F l e x i b l e   i n t e r a c t i o n s   i n   c o m p l e x   s o c i a l   a n d   s e r v i c e - o r i e n t e d   c o l l a b o r a t i o n   s y s t e m s   i n c r e a s i n g l y   d e m a n d   f o r   a u t o m a t e d   a d a p t a t i o n   t e c h n i q u e s   t o   o p t i m i z e   p a r t n e r   d i s c o v e r y   a n d   s e l e c t i o n .   T o d a y ,   a p p l i c a t i o n s   o f   c o m p l e x   s e r v i c e - o r i e n t e d   s y s t e m s   c a n   b e   f o u n d   i n   c r o w d s o u r c i n g   e n v i r o n m e n t s .   I n   s u c h   e n v i r o n m e n t s ,   c o l l a b o r a t i o n s   a r e   t y p i c a l l y   s h o r t - l i v e d   a n d   s t r o n g l y   i n f l u e n c e d   b y   i n c e n t i v e s   a n d   a c t o r   b e h a v i o r .   A s   a c t o r s   p r o v e   t h e i r   r e l i a b l e   a n d   d e p e n d a b l e   b e h a v i o r   i n   j o i n t l y   p e r f o r m e d   a c t i v i t i e s ,   t h e y   b e c o m e   i n c r e a s i n g l y   c o n s i d e r e d   a s   i n v a l u a b l e   p a r t n e r s .   A   s o c i a l   n e t w o r k   b u i l d s   a   s t r o n g   b a s i s   t o   e n a b l e   s u c c e s s f u l   c o l l a b o r a t i o n s   b e t w e e n   c r o w d   m e m b e r s .   I n   o r d e r   t o   k e e p   t r a c k   o f   t h e   d y n a m i c s   i n   s u c h   s y s t e m s ,   i t   i s   i n e v i t a b l e   t o   a p p l y   a n   a u t o n o m o u s   a p p r o a c h   t o   m a n a g e   s o c i a l   n e t w o r k   s t r u c t u r e s   a u t o m a t i c a l l y   u s i n g   c a p t u r e d   i n t e r a c t i o n   d a t a .   T h u s ,   w e   i n t r o d u c e   a n   a d a p t a t i o n   c o n c e p t   t h a t   a c c o u n t s   f o r   e m e r g i n g   s o c i a l   r e l a t i o n s   b a s e d   o n   v a r y i n g   i n t e r a c t i o n   b e h a v i o r   o f   c o l l a b o r a t i o n   p a r t n e r s .   W e   d e s c r i b e   t h e   f o u n d a t i o n a l   c o n c e p t s   f o r   d y n a m i c   s o c i a l   l i n k   m a n a g e m e n t   i n   W e b - b a s e d   c o l l a b o r a t i o n s .   W e   h i g h l i g h t   m a j o r   c o n c e r n s   o f   c o m p u t a t i o n a l   m o d e l s   i n   h i g h l y   d y n a m i c   n e t w o r k s   a n d   d e a l   w i t h   t e m p o r a l   a s p e c t s   s u c h   a s   s u p p o r t i n g   t h e   e m e r g e n c e   o f   r e l a t i o n s ,   e f f i c i e n t   u p d a t e   m e c h a n i s m s ,   a n d   a g i n g   o f   r e l a t i o n s . 	 [ S k o p i k ,   F l o r i a n ;   S c h a l l ,   D a n i e l ;   D u s t d a r ,   S c h a h r a m ]   V i e n n a   U n i v   T e c h n o l ,   D i s t r i b u t e d   S y s t   G r p ,   A - 1 0 4 0   V i e n n a ,   A u s t r i a 	 S k o p i k ,   F   ( r e p r i n t   a u t h o r ) ,   V i e n n a   U n i v   T e c h n o l ,   D i s t r i b u t e d   S y s t   G r p ,   A r g e n t i n i e r s t r   8 - 1 8 4 - 1 ,   A - 1 0 4 0   V i e n n a ,   A u s t r i a . 	 s k o p i k @ i n f o s y s . t u w i e n . a c . a t ;   s c h a l l @ i n f o s y s . t u w i e n . a c . a t ;   d u s t d a r @ i n f o s y s . t u w i e n . a c . a t 	 	 	 	 	 A g r a w a l   A . ,   2 0 0 7 ,   W S   B P E L   E X T E N S I O N   P E ;   A l o n s o   G u s t a v o ,   2 0 0 3 ,   W E B   S E R V I C E S   C O N C E P T ;   B a l t h a z a r d   P . ,   2 0 0 4 ,   D a t a   B a s e   f o r   A d v a n c e s   i n   I n f o r m a t i o n   S y s t e m s ,   V 3 5 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B r e s l i n   J . ,   2 0 0 9 ,   S O C I A L   S E M A N T I C   W E B ,   V 4 8 ,   P 2 5 1 ;   B r e w i n g t o n   B E ,   2 0 0 0 ,   C O M P U T   N E T W ,   V 3 3 ,   P 2 5 7 ,   D O I   1 0 . 1 0 1 6 / S 1 3 8 9 - 1 2 8 6 ( 0 0 ) 0 0 0 4 5 - 1 ;   B r y l   V ,   2 0 0 6 ,   I T S S A ,   V 2 ,   P 3 1 ;   D o m i n g o   C ,   2 0 0 2 ,   D A T A   M I N   K N O W L   D I S C ,   V 6 ,   P 1 3 1 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 1 4 0 9 1 5 1 4 0 3 9 ;   D w y e r   C . ,   2 0 0 7 ,   A M   C   I N F   S Y S T ;   G o l b e c k   J ,   2 0 0 9 ,   A C M   T   W E B ,   V 3 ,   D O I   1 0 . 1 1 4 5 / 1 5 9 4 1 7 3 . 1 5 9 4 1 7 4 ;   I B M ,   2 0 0 5 ,   W H I T   2 0 0 5 ;   K o s s i n e t s   G ,   2 0 0 9 ,   A M   J   S O C I O L ,   V 1 1 5 ,   P 4 0 5 ;   M a l i k   Z ,   2 0 0 9 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 3 ,   P 4 0 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 0 9 . 1 7 ;   M a t s u o   Y . ,   2 0 0 9 ,   C O M M U N I T Y   G R A V I T Y   M E ,   P 7 5 1 ;   M e t z g e r   M .   J . ,   2 0 0 4 ,   J   C O M P U T E R   M E D I A T E D ,   V 9 ;   M u i   L . ,   2 0 0 2 ,   H I C S S   0 2 ,   P 1 8 8 ;   N i t t o   E .   D . ,   2 0 0 8 ,   A U T O M A T   S O F T W   E N G ,   V 1 5 ,   P 3 1 3 ,   D O I   1 0 . 1 0 0 7 / s 1 0 5 1 5 - 0 0 8 - 0 0 3 2 - x . ;   P a n t e l i   N ,   2 0 0 5 ,   I E E E   T   P R O F   C O M M U N ,   V 4 8 ,   P 1 9 1 ,   D O I   1 0 . 1 1 0 9 / T P C . 2 0 0 5 . 8 4 9 6 5 1 ;   P e t r i e   C h a r l e s ,   2 0 1 0 ,   I E E E   I n t e r n e t   C o m p u t i n g ,   V 1 4 ,   D O I   [ 1 0 . 1 1 0 9 / M I C . 2 0 1 0 . 1 6 ,   1 0 . 1 1 0 9 / M I C . 2 0 1 0 . 7 1 ] ;   P s a i e r   H . ,   2 0 1 0 ,   C O M P S A C   I E E E ;   R e k a   A ,   2 0 0 2 ,   R E V   M O D   P H Y S ,   V 7 4 ,   P 4 7 ,   D O I   D O I   1 0 . 1 1 0 3 / R E V M 0 D P H Y S . 7 4 . 4 7 . [ ;   S c h a l l   D ,   2 0 0 8 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 2 ,   P 6 2 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 0 8 . 6 6 ;   S k o p i k   F . ,   2 0 0 9 ,   S T A R T   T R U S T I N G   S T R A N ,   P 2 7 5 ;   S k o p i k   F . ,   2 0 1 0 ,   T R U S T W O R T H Y   I N T E R A C T ,   P 8 0 1 ;   S k o p i k   F ,   2 0 1 0 ,   I N F O R M   S Y S T ,   V 3 5 ,   P 7 3 5 ,   D O I   1 0 . 1 0 1 6 / j . i s . 2 0 1 0 . 0 3 . 0 0 1 ;   S l o m a n   M . ,   2 0 0 0 ,   I E E E   C O M M U N I C A T I O N S ,   P 3 ;   V u k o v i c   M . ,   2 0 0 9 ,   C   S E R V ,   P 6 8 6 ;   W a t t s   D .   J . ,   2 0 0 3 ,   6   D E G R E E S   S C I   C O N N E C ;   Z i e g l e r   C N ,   2 0 0 7 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 3 ,   P 4 6 0 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 6 . 1 1 . 0 0 3 	 2 9 	 0 	 0 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 2 6 4   U S A 	 	 	 9 7 8 - 0 - 7 6 9 5 - 4 3 8 1 - 9 	 	 	 	 2 0 1 1 	 	 	 	 	 	 	 2 7 3 	 2 8 2 	 	 1 0 . 1 1 0 9 / I C E C C S . 2 0 1 1 . 3 4 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B Y G 9 9 	 W O S : 0 0 0 2 9 8 6 6 4 2 0 0 0 2 7 	 	 
 J 	 L i m ,   S L ;   D a m i a n ,   D ;   F i n k e l s t e i n ,   A 	 	 	 I E E E 	 L i m ,   S o o   L i n g ;   D a m i a n ,   D a n i e l a ;   F i n k e l s t e i n ,   A n t h o n y 	 	 	 S t a k e S o u r c e 2 . 0 :   U s i n g   S o c i a l   N e t w o r k s   o f   S t a k e h o l d e r s   t o   I d e n t i f y   a n d   P r i o r i t i s e   R e q u i r e m e n t s 	 2 0 1 1   3 3 R D   I N T E R N A T I O N A L   C O N F E R E N C E   O N   S O F T W A R E   E N G I N E E R I N G   ( I C S E ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 3 3 r d   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S o f t w a r e   E n g i n e e r i n g   ( I C S E ) 	 M A Y   2 1 - 2 8 ,   2 0 1 1 	 H o n o l u l u ,   H I 	 	 	 R e q u i r e m e n t s   e l i c i t a t i o n ;   s o c i a l   n e t w o r k s ;   c o l l a b o r a t i v e   f i l t e r i n g 	 	 S o f t w a r e   p r o j e c t s   t y p i c a l l y   r e l y   o n   s y s t e m   a n a l y s t s   t o   c o n d u c t   r e q u i r e m e n t s   e l i c i t a t i o n ,   a n   a p p r o a c h   p o t e n t i a l l y   c o s t l y   f o r   l a r g e   p r o j e c t s   w i t h   m a n y   s t a k e h o l d e r s   a n d   r e q u i r e m e n t s .   T h i s   p a p e r   d e s c r i b e s   S t a k e S o u r c e 2 . 0 ,   a   w e b - b a s e d   t o o l   t h a t   u s e s   s o c i a l   n e t w o r k s   a n d   c o l l a b o r a t i v e   f i l t e r i n g ,   a   " c r o w d s o u r c i n g "   a p p r o a c h ,   t o   i d e n t i f y   a n d   p r i o r i t i s e   s t a k e h o l d e r s   a n d   t h e i r   r e q u i r e m e n t s . 	 [ L i m ,   S o o   L i n g ;   F i n k e l s t e i n ,   A n t h o n y ]   U C L ,   D e p t   C o m p   S c i ,   L o n d o n   W C 1 E   6 B T ,   E n g l a n d 	 L i m ,   S L   ( r e p r i n t   a u t h o r ) ,   U C L ,   D e p t   C o m p   S c i ,   L o n d o n   W C 1 E   6 B T ,   E n g l a n d . 	 s . l i m @ c s . u c l . a c . u k ;   d a n i e l a d @ c s . u v i c . c a ;   a . f i n k e l s t e i n @ c s . u c l . a c . u k 	 	 	 	 	 C a s t r o - H e r r e r a   C ,   2 0 0 9 ,   P R O C E E D I N G S   O F   T H E   2 0 0 9   1 7 T H   I E E E   I N T E R N A T I O N A L   R E Q U I R E M E N T S   E N G I N E E R I N G   C O N F E R E N C E ,   P 3 7 ,   D O I   1 0 . 1 1 0 9 / R E . 2 0 0 9 . 2 0 ;   C l e l a n d - H u a n g   J ,   2 0 0 8 ,   P   2   I N T   W O R K S H   U L T R ,   P 3 ,   D O I   1 0 . 1 1 4 5 / 1 3 7 0 7 0 0 . 1 3 7 0 7 0 2 ;   D e c k e r   B ,   2 0 0 7 ,   I E E E   S O F T W A R E ,   V 2 4 ,   P 2 8 ,   D O I   1 0 . 1 1 0 9 / M S . 2 0 0 7 . 6 0 ;   L E M I R E   D ,   2 0 0 5 ,   S I A M   I N T   C   D A T   M I N   N ;   L i m   S .   L . ,   2 0 1 0 ,   P   3 2   I N T   C   S O F T   E N G ,   V 1 ,   P 2 9 5 ,   D O I   1 0 . 1 1 4 5 / 1 8 0 6 7 9 9 . 1 8 0 6 8 4 4 ;   L i m   S .   L . ,   2 0 1 0 ,   P   3 2   I N T   C   S O F T   E N G ,   V 2 ,   P 2 3 9 ,   D O I   1 0 . 1 1 4 5 / 1 8 1 0 2 9 5 . 1 8 1 0 3 4 0 ;   L I M   S L ,   I E E E   T   S O F T   E N   U N P U B ;   L i m   S . L . ,   2 0 1 0 ,   S O C I A L   N E T W O R K S   C O L L ;   S c h a f e r   J .   B . ,   2 0 0 7 ,   T h e   A d a p t i v e   W e b .   M e t h o d s   a n d   S t r a t e g i e s   o f   W e b   P e r s o n a l i z a t i o n 	 9 	 2 	 2 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 5 0 3 - 0 4 4 5 - 0 	 	 	 	 2 0 1 1 	 	 	 	 	 	 	 1 0 2 2 	 1 0 2 4 	 	 	 	 3 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 B X U 6 5 	 W O S : 0 0 0 2 9 7 1 5 6 4 0 0 1 4 3 	 	 
 J 	 R i b e i r o ,   F ;   F l o r e n c i o ,   D ;   Z h a n g ,   C ;   S e l t z e r ,   M 	 	 	 I E E E 	 R i b e i r o ,   F l a v i o ;   F l o r e n c i o ,   D i n e i ;   Z h a n g ,   C h a ;   S e l t z e r ,   M i c h a e l 	 	 	 C R O W D M O S :   A N   A P P R O A C H   F O R   C R O W D S O U R C I N G   M E A N   O P I N I O N   S C O R E   S T U D I E S 	 2 0 1 1   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   A C O U S T I C S ,   S P E E C H ,   A N D   S I G N A L   P R O C E S S I N G 	 I n t e r n a t i o n a l   C o n f e r e n c e   o n   A c o u s t i c s   S p e e c h   a n d   S i g n a l   P r o c e s s i n g   I C A S S P 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   A c o u s t i c s ,   S p e e c h ,   a n d   S i g n a l   P r o c e s s i n g   ( I C A S S P ) 	 M A Y   2 2 - 2 7 ,   2 0 1 1 	 P r a g u e ,   C Z E C H   R E P U B L I C 	 I n s t   E l e c t   &   E l e c t   E n g i n e e r s   S i g n a l   P r o c e s s i n g   S o c ,   I E E E 	 P r a g u e   C o n g r e s s   C t r 	 c r o w d s o u r c i n g ;   s u b j e c t i v e   q u a l i t y ;   m e a n   o p i n i o n   s c o r e ;   M O S ;   M U S H R A ;   m e c h a n i c a l   t u r k ;   c r o w d M O S 	 	 M O S   ( m e a n   o p i n i o n   s c o r e )   s u b j e c t i v e   q u a l i t y   s t u d i e s   a r e   u s e d   t o   e v a l u a t e   m a n y   s i g n a l   p r o c e s s i n g   m e t h o d s .   S i n c e   l a b o r a t o r y   q u a l i t y   s t u d i e s   a r e   t i m e   c o n s u m i n g   a n d   e x p e n s i v e ,   r e s e a r c h e r s   o f t e n   r u n   s m a l l   s t u d i e s   w i t h   l e s s   s t a t i s t i c a l   s i g n i f i c a n c e   o r   u s e   o b j e c t i v e   m e a s u r e s   w h i c h   o n l y   a p p r o x i m a t e   h u m a n   p e r c e p t i o n .   W e   p r o p o s e   a   c o s t - e f f e c t i v e   a n d   c o n v e n i e n t   m e a s u r e   c a l l e d   c r o w d M O S ,   o b t a i n e d   b y   h a v i n g   i n t e r n e t   u s e r s   p a r t i c i p a t e   i n   a   M O S - l i k e   l i s t e n i n g   s t u d y .   W o r k e r s   l i s t e n   a n d   r a t e   s e n t e n c e s   a t   t h e i r   l e i s u r e ,   u s i n g   t h e i r   o w n   h a r d w a r e ,   i n   a n   e n v i r o n m e n t   o f   t h e i r   c h o i c e .   S i n c e   t h e s e   i n d i v i d u a l s   c a n n o t   b e   s u p e r v i s e d ,   w e   p r o p o s e   m e t h o d s   f o r   d e t e c t i n g   a n d   d i s c a r d i n g   i n a c c u r a t e   s c o r e s .   T o   a u t o m a t e   c r o w d M O S   t e s t i n g ,   w e   o f f e r   a   s e t   o f   f r e e l y   d i s t r i b u t a b l e ,   o p e n - s o u r c e   t o o l s   f o r   A m a z o n   M e c h a n i c a l   T u r k ,   a   p l a t f o r m   d e s i g n e d   t o   f a c i l i t a t e   c r o w d s o u r c i n g .   T h e s e   t o o l s   i m p l e m e n t   t h e   M O S   t e s t i n g   m e t h o d o l o g y   d e s c r i b e d   i n   t h i s   p a p e r ,   p r o v i d i n g   r e s e a r c h e r s   w i t h   a   u s e r - f r i e n d l y   m e a n s   o f   p e r f o r m i n g   s u b j e c t i v e   q u a l i t y   e v a l u a t i o n s   w i t h o u t   t h e   o v e r h e a d   a s s o c i a t e d   w i t h   l a b o r a t o r y   s t u d i e s .   F i n a l l y ,   w e   d e m o n s t r a t e   t h e   u s e   o f   c r o w d M O S   u s i n g   d a t a   f r o m   t h e   B l i z z a r d   t e x t - t o - s p e e c h   c o m p e t i t i o n ,   s h o w i n g   t h a t   i t   d e l i v e r s   a c c u r a t e   a n d   r e p e a t a b l e   r e s u l t s . 	 [ R i b e i r o ,   F l a v i o ]   U n i v   S a o   P a u l o ,   D e p t   E l e c t   S y s t   E n g n ,   B R - 0 5 5 0 8   S a o   P a u l o ,   B r a z i l 	 R i b e i r o ,   F   ( r e p r i n t   a u t h o r ) ,   U n i v   S a o   P a u l o ,   D e p t   E l e c t   S y s t   E n g n ,   B R - 0 5 5 0 8   S a o   P a u l o ,   B r a z i l . 	 	 	 	 	 	 [ A n o n y m o u s ] ,   2 0 0 1 ,   P 8 6 2   I T U T ;   C h e n   K T ,   2 0 0 9 ,   M A T H   C O M P U T   S C I   E N G ,   P 4 9 1 ,   D O I   1 0 . 1 1 4 5 / 1 6 3 1 2 7 2 . 1 6 3 1 3 3 9 ;   E f r o n   B . ,   1 9 9 3 ,   I N T R O   B O O T S T R A P ;   K I N G   S ,   2 0 0 9 ,   P   B L I Z Z   C H A L L ;   K i t t u r   A . ,   2 0 0 8 ,   P   2 6   A N N   S I G C H I   C   H U ,   P 4 5 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 5 7 0 5 4 . 1 3 5 7 1 2 7 ;   P e n n o c k   S . ,   2 0 0 2 ,   P   M E S A Q I N ;   Q I A O   Z ,   2 0 0 8 ,   P   P I M R C ;   R I B E I R O   F ,   R E G I O N   I N T E R E S   U N P U B ;   R I B E I R O   F ,   C R O W D S O U R C I N G   U N P U B ;   R i b e i r o   F . ,   C R O W D M O S   S T A N D A L O N E ;   1 9 9 7 ,   B S 1 1 1 6 1   I T U R ;   1 9 9 6 ,   P 8 0 0   I T U T ;   2 0 0 1 ,   B S 1 5 3 4 1   I T U R 	 1 3 	 4 	 4 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 5 2 0 - 6 1 4 9 	 	 9 7 8 - 1 - 4 5 7 7 - 0 5 3 9 - 7 	 I N T   C O N F   A C O U S T   S P E E 	 	 	 2 0 1 1 	 	 	 	 	 	 	 2 4 1 6 	 2 4 1 9 	 	 	 	 4 	 A c o u s t i c s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   I m a g i n g   S c i e n c e   &   P h o t o g r a p h i c   T e c h n o l o g y 	 A c o u s t i c s ;   E n g i n e e r i n g ;   I m a g i n g   S c i e n c e   &   P h o t o g r a p h i c   T e c h n o l o g y 	 B X G 3 6 	 W O S : 0 0 0 2 9 6 0 6 2 4 0 2 1 8 3 	 	 
 J 	 C a s a l ,   D P 	 	 	 	 C a s a l ,   D a v i d   P l a n s 	 	 	 C r o w d s o u r c i n g   t h e   C o r p u s :   U s i n g   C o l l e c t i v e   I n t e l l i g e n c e   a s   a   M e t h o d   f o r   C o m p o s i t i o n 	 L E O N A R D O   M U S I C   J O U R N A L 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 I M P R O V I S A T I O N 	 T h e   a u t h o r   d e s c r i b e s   t h e   p r a c t i c a l   a p p l i c a t i o n   o f   c r o w d s o u r c i n g   h u m a n   i n t e l l i g e n c e   a s   a   f o r m   o f   c o l l a b o r a t i v e   m u s i c - m a k i n g .   S p e c t r a l   d e c o m p o s i t i o n   o f   a n   o r i g i n a l   r e c o r d i n g   i s   u s e d   t o   d e r i v e   c o m p o n e n t s   f r o m   o r i g i n a l   a u d i o ,   a n d   t h e s e   a r e   t h e n   o f f e r e d   a s   o n - l i n e   t a s k s   i n   w h i c h   c o n t r i b u t o r s   a r e   a s k e d   t o   r e c o r d   t h e i r   o w n   i n t e r p r e t a t i o n s   o f   e a c h   c o m p o n e n t .   C o m p o n e n t s   a r e   t h e n   g a t h e r e d   i n   o r d e r   t o   r e - s y n t h e s i z e   t h e   o r i g i n a l   c o r p u s ,   w h i c h   i s   u s e d   t o   b u i l d   a n   i m p r o v i s a t i o n   s y s t e m .   T h e   a u t h o r   u s e s   B e r n a r d   S t i e g l e r ' s   e c o l o g y   o f   a t t e n t i o n   p a r a d i g m   t o   s i t u a t e   c r o w d s o u r c i n g   a s   a n   e m e r g i n g   f o r m   o f   p u b l i c   p a r t i c i p a t i o n   i n   m u s i c - m a k i n g   a n d   G l e n n   G o u l d ' s   i d e a s   o n   p e r f o r m a n c e   a n d   p u b l i c   a c c e s s   t o   p o s i t i o n   t h i s   p a r t i c i p a t i o n   a s   a n   a c t   o f   c o m p o s i t i o n .   T h e   w o r k   i s   o f f e r e d   a s   a n   i l l u s t r a t i o n   o f   t h e   a u t h o r ' s   i n d i v i d u a l   p r o c e s s   a s   a   c o m p o s e r   f o r   f i n d i n g   n e w   n o t a t i o n a l   p a t h w a y s   f o r   c o l l a b o r a t i v e   p r a c t i c e . 	 D a r t m o u t h   C o l l ,   H a n o v e r ,   N H   0 3 7 5 5   U S A 	 C a s a l ,   D P   ( r e p r i n t   a u t h o r ) ,   D a r t m o u t h   C o l l ,   H a l l g a r t e n   H a l l ,   H a n o v e r ,   N H   0 3 7 5 5   U S A . 	 d p c @ d a r t m o u t h . e d u 	 	 	 	 	 A T T A L I   J ,   1 9 8 5 ,   N O I S E   P O L I T I C A L   E C   M ,   P 1 3 5 ;   B A R T O K   B ,   1 9 9 5 ,   C A H I E R S   I R C A M ,   V 7 ,   P 2 7 ;   C A S A L   D P ,   2 0 0 8 ,   P   I N T   C O M P   M U S   C   B E L ;   C A S A L   D P ,   2 0 0 7 ,   P   I N T   C O M P   M U S   C ;   C A S A L   D P ,   2 0 1 0 ,   P   I N T   C O M P   M U S   C ;   C A S E Y   M ,   2 0 0 9 ,   O X F O R D   H D B   C O M P U T E R ,   p R 7 ;   C A S E Y   M ,   2 0 1 1 ,   J   N E W   M U S I C   R E S ;   C A S E Y   M A ,   2 0 0 1 ,   M E R L   T E C H N I C A L   R E P O R ;   C U T L E R   C ,   2 0 0 8 ,   O F F B E A T   T R I B U T E   S T O C ;   G O U L D   G ,   2 0 0 7 ,   A U D I O   C U L T U R E   R E A D I N ;   G O U L D   G ,   1 9 8 3 ,   D E R N I E R   P U R I T A I N ,   P 8 8 ;   H e c k e r   T ,   2 0 0 8 ,   L E O N A R D O   M U S I C   J ,   V 1 8 ,   P 7 7 ,   D O I   1 0 . 1 1 6 2 / l m j . 2 0 0 8 . 1 8 . 7 7 ;   H o f m a n n   T . ,   1 9 9 9 ,   2 2   A N N   I N T   S I G I R   C   R ;   H s u   W ,   2 0 1 0 ,   L E O N A R D O   M U S I C   J ,   V 2 0 ,   P 3 3 ,   D O I   1 0 . 1 1 6 2 / L M J _ a _ 0 0 0 1 0 ;   I m p e t t   J ,   2 0 1 0 ,   L E O N A R D O   M U S I C   J ,   V 2 0 ,   P 8 5 ,   D O I   1 0 . 1 1 6 2 / L M J _ a _ 0 0 0 1 7 ;   M A G A S   M ,   2 0 0 8 ,   A C M   S I G G R A P H   2 0 0 8   N E ;   S C H W A R Z   D ,   2 0 0 7 ,   S I G N A L   P R O C E S S I N G   M A ,   V 2 4 ,   P 9 2 ;   S m a r a g d i s   P . ,   2 0 0 7 ,   S H I F T   I N V A R I A N T   P R O B ;   * S O N   A R T S   R E S   C T R ,   2 0 0 6 ,   N E G   P I A N ;   S T I E G L E R   B ,   2 0 0 8 ,   T E C H N I C S   T I M E ,   V 2 ,   P 2 0 7 ;   S T I E G L E R   B ,   2 0 1 0 ,   C R O S S I N G   A E S T H E T I C S ;   S T I E G L E R   B ,   2 0 0 8 ,   C I R C U I T   J ,   V 1 6 ,   P 3 3 ;   S T I E G L E R   B ,   2 0 0 0 ,   C A H I E R S   M E D I O L O G I E ,   P 1 1 5 ;   S T I E G L E R   B ,   2 0 0 2 ,   J   D E R R I D A   H U M A N I T I E S ;   T o d d   P . ,   1 9 9 9 ,   M U S I C A L   N E T W O R K S   P A R ,   P 3 1 3 ;   2 0 1 0 ,   L O O K I N G   D A R K   M A T T E R ;   2 0 0 6 ,   I N T E R L A C E   S E R I E S ;   A M A Z O N S   M E C H   T U R K   S E 	 2 8 	 1 	 1 	 M I T   P R E S S 	 C A M B R I D G E 	 5 5   H A Y W A R D   S T R E E T ,   C A M B R I D G E ,   M A   0 2 1 4 2   U S A 	 0 9 6 1 - 1 2 1 5 	 	 	 L E O N A R D O   M U S I C   J 	 L e o n a r d o   M u s i c   J . 	 	 2 0 1 1 	 2 1 	 	 	 	 	 	 2 5 	 2 8 	 	 	 	 4 	 M u s i c 	 M u s i c 	 8 5 3 P R 	 W O S : 0 0 0 2 9 7 4 3 8 7 0 0 0 0 9 	 	 
 S 	 F u ,   W T ;   L i a o ,   V 	 	 S a l e r n o ,   J ;   Y a n g ,   S J ;   N a u ,   D ;   C h a i ,   S K 	 	 F u ,   W a i - T a t ;   L i a o ,   V e r a 	 	 	 C r o w d s o u r c i n g   Q u a l i t y   C o n t r o l   o f   O n l i n e   I n f o r m a t i o n :   A   Q u a l i t y - B a s e d   C a s c a d e   M o d e l 	 S O C I A L   C O M P U T I N G ,   B E H A V I O R A L - C U L T U R A L   M O D E L I N G   A N D   P R E D I C T I O N 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 4 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S o c i a l   C o m p u t i n g ,   B e h a v i o r a l - C u l t u r a l   M o d e l i n g   a n d   P r e d i c t i o n 	 M A R   2 9 - 3 1 ,   2 0 1 1 	 C o l l   P k ,   M D 	 	 	 W e b   q u a l i t y ;   u s e r   r e v i e w s ;   i n f o r m a t i o n   c a s c a d e s ;   s o c i a l   d y n a m i c s 	 	 W e   e x t e n d   p r e v i o u s   c a s c a d e   m o d e l s   o f   s o c i a l   i n f l u e n c e   t o   i n v e s t i g a t e   h o w   t h e   e x c h a n g e   o f   q u a l i t y   i n f o r m a t i o n   a m o n g   u s e r s   m a y   m o d e r a t e   c a s c a d e   b e h a v i o r ,   a n d   t h e   e x t e n t   t o   w h i c h   i t   m a y   i n f l u e n c e   t h e   e f f e c t i v e n e s s   o f   c o l l e c t i v e   u s e r   r e c o m m e n d a t i o n s   o n   q u a l i t y   c o n t r o l   o f   i n f o r m a t i o n .   W e   f o u n d   t h a t   w h i l e   c a s c a d e s   d o   s o m e t i m e s   o c c u r ,   t h e i r   e f f e c t s   d e p e n d   c r i t i c a l l y   o n   t h e   a c c u r a c i e s   o f   i n d i v i d u a l   q u a l i t y   a s s e s s m e n t s   o f   i n f o r m a t i o n   c o n t e n t s .   C o n t r a r y   t o   p r e d i c t i o n s   o f   c a s c a d e   m o d e l s   o f   i n f o r m a t i o n   f l o w ,   q u a l i t y - b a s e d   c a s c a d e s   t e n d   t o   r e i n f o r c e   t h e   p r o p a g a t i o n   o f   i n d i v i d u a l   q u a l i t y   a s s e s s m e n t s   r a t h e r   t h a n   b e i n g   t h e   p r i m a r y   s o u r c e s   t h a t   d r i v e   t h e   a s s e s s m e n t s .   W e   f o u n d   e v e n   s m a l l   i n c r e a s e   i n   i n d i v i d u a l   a c c u r a c i e s   w i l l   s i g n i f i c a n t l y   i m p r o v e   t h e   o v e r a l l   e f f e c t i v e n e s s   o f   c r o w d s o u r c i n g   q u a l i t y   c o n t r o l .   I m p l i c a t i o n   t o   d o m a i n s   s u c h   a s   o n l i n e   h e a l t h   i n f o r m a t i o n   W e b   s i t e s   o r   p r o d u c t   r e v i e w s   a r e   d i s c u s s e d . 	 [ F u ,   W a i - T a t ;   L i a o ,   V e r a ]   U n i v   I l l i n o i s ,   D e p t   C o m p   S c i ,   U r b a n a ,   I L   6 1 8 0 1   U S A 	 F u ,   W T   ( r e p r i n t   a u t h o r ) ,   U n i v   I l l i n o i s ,   D e p t   C o m p   S c i ,   1 3 0 4   W   S p r i n g f i e l d   A v e ,   U r b a n a ,   I L   6 1 8 0 1   U S A . 	 w f u @ i l l i n o i s . e d u ;   l i a o 2 8 @ i l l i n o i s . e d u 	 	 	 	 	 B I K H C H A N D A N I   S ,   1 9 9 2 ,   J   P O L I T   E C O N ,   V 1 0 0 ,   P 9 9 2 ,   D O I   1 0 . 1 0 8 6 / 2 6 1 8 4 9 ;   B r o s s a r d   D ,   2 0 0 5 ,   I N T   J   S C I   E D U C ,   V 2 7 ,   P 1 0 9 9 ,   D O I   1 0 . 1 0 8 0 / 0 9 5 0 0 6 9 0 5 0 0 0 6 9 4 8 3 ;   C h e u n g   M Y ,   2 0 0 9 ,   I N T   J   E L E C T R O N   C O M M ,   V 1 3 ,   P 9 ,   D O I   1 0 . 2 7 5 3 / J E C 1 0 8 6 - 4 4 1 5 1 3 0 4 0 2 ;   C z a j a   S J ,   2 0 0 6 ,   P S Y C H O L   A G I N G ,   V 2 1 ,   P 3 3 3 ,   D O I   1 0 . 1 0 3 7 / 0 8 8 2 - 7 9 7 4 . 2 1 . 2 . 3 3 3 ;   E y s e n b a c h   G . ,   2 0 0 8 ,   D I G I T A L   M E D I A   Y O U T H ,   P 1 2 3 ,   D O I   D O I   1 0 . 1 1 6 2 / D M A L . 9 7 8 0 2 6 2 5 6 2 3 2 4 . 1 2 3 ;   K e m p e   D a v i d ,   2 0 0 3 ,   P   9   A C M   S I G K D D   I N T   C ,   P 1 3 7 ;   L I A O   Q V ,   2 0 1 0 ,   P   2 8   A N N   A C M   C   C O M P ;   S a l g a n i k   M J ,   2 0 0 6 ,   S C I E N C E ,   V 3 1 1 ,   P 8 5 4 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 2 1 0 6 6 ;   S u n s t e i n   C .   R . ,   2 0 0 6 ,   I N F O T O P I A   M A N Y   M I N D S ;   W a t t s   D J ,   2 0 0 2 ,   P   N A T L   A C A D   S C I   U S A ,   V 9 9 ,   P 5 7 6 6 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 8 2 0 9 0 4 9 9 	 1 0 	 1 	 1 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 1 9 6 5 5 - 3 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 1 	 6 5 8 9 	 	 	 	 	 	 1 4 7 	 1 5 4 	 	 	 	 8 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B X T 8 6 	 W O S : 0 0 0 2 9 7 0 3 9 3 0 0 0 2 3 	 	 
 S 	 G a o ,   H J ;   W a n g ,   X F ;   B a r b i e r ,   G ;   L i u ,   H 	 	 S a l e r n o ,   J ;   Y a n g ,   S J ;   N a u ,   D ;   C h a i ,   S K 	 	 G a o ,   H u i j i ;   W a n g ,   X u f e i ;   B a r b i e r ,   G e o f f r e y ;   L i u ,   H u a n 	 	 	 P r o m o t i n g   C o o r d i n a t i o n   f o r   D i s a s t e r   R e l i e f   -   F r o m   C r o w d s o u r c i n g   t o   C o o r d i n a t i o n 	 S O C I A L   C O M P U T I N G ,   B E H A V I O R A L - C U L T U R A L   M O D E L I N G   A N D   P R E D I C T I O N 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 4 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S o c i a l   C o m p u t i n g ,   B e h a v i o r a l - C u l t u r a l   M o d e l i n g   a n d   P r e d i c t i o n 	 M A R   2 9 - 3 1 ,   2 0 1 1 	 C o l l   P k ,   M D 	 	 	 D i s a s t e r   R e l i e f ;   C r i s i s   M a p ;   C r o w d s o u r c i n g ;   G r o u p s o u r c i n g ;   R e s p o n s e   C o o r d i n a t i o n ;   R e l i e f   O r g a n i z a t i o n 	 	 T h e   e f f i c i e n c y   a t   w h i c h   g o v e r n m e n t s   a n d   n o n - g o v e r n m e n t a l   o r g a n i z a t i o n s   ( N G O s )   a r e   a b l e   t o   r e s p o n d   t o   a   c r i s i s   a n d   p r o v i d e   r e l i e f   t o   v i c t i m s   h a s   g a i n e d   i n c r e a s e d   a t t e n t i o n .   T h i s   e m p h a s i s   c o i n c i d e s   w i t h   s i g n i f i c a n t   e v e n t s   s u c h   a s   t s u n a m i s ,   h u r r i c a n e s ,   e a r t h q u a k e s ,   a n d   e n v i r o n m e n t a l   d i s a s t e r s   o c c u r i n g   d u r i n g   t h e   l a s t   d e c a d e .   C r o w d s o u r c i n g   a p p l i c a t i o n s   s u c h   a s   T w i t t e r ,   U s h a h i d i ,   a n d   S a h a n a   h a v e   p r o v e n   u s e f u l   f o r   g a t h e r i n g   i n f o r m a t i o n   a b o u t   a   c r i s i s   y e t   h a v e   l i m i t e d   u t i l i t y   f o r   r e s p o n s e   c o o r d i n a t i o n .   I n   t h i s   p a p e r ,   w e   b r i e f l y   d e s c r i b e   t h e   s h o r t f a l l s   o f   c u r r e n t   c r o w d s o u r c i n g   a p p l i c a t i o n s   a p p l i e d   t o   d i s a s t e r   r e l i e f   c o o r d i n a t i o n   a n d   d i s c u s s   o n e   a p p r o a c h   a i m e d   a t   f a c i l i t a t i n g   e f f i c i e n t   c o l l a b o r a t i o n s   a m o n g s t   d i s p a r a t e   o r g a n i z a t i o n s   r e s p o n d i n g   t o   a   c r i s i s . 	 [ G a o ,   H u i j i ;   W a n g ,   X u f e i ;   B a r b i e r ,   G e o f f r e y ;   L i u ,   H u a n ]   A r i z o n a   S t a t e   U n i v ,   T e m p e ,   A Z   8 5 2 8 1   U S A 	 G a o ,   H J   ( r e p r i n t   a u t h o r ) ,   A r i z o n a   S t a t e   U n i v ,   T e m p e ,   A Z   8 5 2 8 1   U S A . 	 H u i j i . G a o @ a s u . e d u ;   X u f e i . W a n g @ a s u . e d u ;   G e o f f r e y . B a r b i e r @ a s u . e d u ;   H u a n . L i u @ a s u . e d u 	 	 	 	 	 D Y N E S   H R ,   1 9 6 9 ,   O R G   B E H A V   D I S A S T E R   A ;   G o o l s b y   R . ,   2 0 1 0 ,   A C M   T   I N T E L   S Y S T   T E C ,   V 1 ,   P 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 5 8 9 4 8 . 1 8 5 8 9 5 5 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   K N A B B   R D ,   2 0 0 5 ,   2 0   N A T   H U R R   C T R ;   L I U   S B ,   2 0 0 9 ,   P   6   I N T   C   I N F   S Y S T   C ;   S a m a r a w e e r a   I . ,   2 0 0 7 ,   P   4   I N T   C   I N F   S Y S T   C 	 6 	 4 	 4 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 1 9 6 5 5 - 3 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 1 	 6 5 8 9 	 	 	 	 	 	 1 9 7 	 2 0 4 	 	 	 	 8 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B X T 8 6 	 W O S : 0 0 0 2 9 7 0 3 9 3 0 0 0 2 9 	 	 
 J 	 V i j a y a n a r a s i m h a n ,   S ;   G r a u m a n ,   K 	 	 	 I E E E 	 V i j a y a n a r a s i m h a n ,   S u d h e e n d r a ;   G r a u m a n ,   K r i s t e n 	 	 	 L a r g e - S c a l e   L i v e   A c t i v e   L e a r n i n g :   T r a i n i n g   O b j e c t   D e t e c t o r s   w i t h   C r a w l e d   D a t a   a n d   C r o w d s 	 2 0 1 1   I E E E   C O N F E R E N C E   O N   C O M P U T E R   V I S I O N   A N D   P A T T E R N   R E C O G N I T I O N   ( C V P R ) 	 I E E E   C o n f e r e n c e   o n   C o m p u t e r   V i s i o n   a n d   P a t t e r n   R e c o g n i t i o n 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   C o n f e r e n c e   o n   C o m p u t e r   V i s i o n   a n d   P a t t e r n   R e c o g n i t i o n   ( C V P R ) 	 J U N   2 0 - 2 5 ,   2 0 1 1 	 C o l o r a d o   S p r i n g s ,   C O 	 I E E E 	 	 	 	 A c t i v e   l e a r n i n g   a n d   c r o w d s o u r c i n g   a r e   p r o m i s i n g   w a y s   t o   e f f i c i e n t l y   b u i l d   u p   t r a i n i n g   s e t s   f o r   o b j e c t   r e c o g n i t i o n ,   b u t   t h u s   f a r   t e c h n i q u e s   a r e   t e s t e d   i n   a r t i f i c i a l l y   c o n t r o l l e d   s e t t i n g s .   T y p i c a l l y   t h e   v i s i o n   r e s e a r c h e r   h a s   a l r e a d y   d e t e r m i n e d   t h e   d a t a s e t ' s   s c o p e ,   t h e   l a b e l s   " a c t i v e l y "   o b t a i n e d   a r e   i n   f a c t   a l r e a d y   k n o w n ,   a n d / o r   t h e   c r o w d - s o u r c e d   c o l l e c t i o n   p r o c e s s   i s   i t e r a t i v e l y   f i n e - t u n e d .   W e   p r e s e n t   a n   a p p r o a c h   f o r   l i v e   l e a r n i n g   o f   o b j e c t   d e t e c t o r s ,   i n   w h i c h   t h e   s y s t e m   a u t o n o m o u s l y   r e f i n e s   i t s   m o d e l s   b y   a c t i v e l y   r e q u e s t i n g   c r o w d - s o u r c e d   a n n o t a t i o n s   o n   i m a g e s   c r a w l e d   f r o m   t h e   W e b .   T o   a d d r e s s   t h e   t e c h n i c a l   i s s u e s   s u c h   a   l a r g e - s c a l e   s y s t e m   e n t a i l s ,   w e   i n t r o d u c e   a   n o v e l   p a r t - b a s e d   d e t e c t o r   a m e n a b l e   t o   l i n e a r   c l a s s i f i e r s ,   a n d   s h o w   h o w   t o   i d e n t i f y   i t s   m o s t   u n c e r t a i n   i n s t a n c e s   i n   s u b - l i n e a r   t i m e   w i t h   a   h a s h i n g - b a s e d   s o l u t i o n .   W e   d e m o n s t r a t e   t h e   a p p r o a c h   w i t h   e x p e r i m e n t s   o f   u n p r e c e d e n t e d   s c a l e   a n d   a u t o n o m y ,   a n d   s h o w   i t   s u c c e s s f u l l y   i m p r o v e s   t h e   s t a t e - o f - t h e - a r t   f o r   t h e   m o s t   c h a l l e n g i n g   o b j e c t s   i n   t h e   P A S C A L   b e n c h m a r k .   I n   a d d i t i o n ,   w e   s h o w   o u r   d e t e c t o r   c o m p e t e s   w e l l   w i t h   p o p u l a r   n o n l i n e a r   c l a s s i f i e r s   t h a t   a r e   m u c h   m o r e   e x p e n s i v e   t o   t r a i n . 	 [ V i j a y a n a r a s i m h a n ,   S u d h e e n d r a ;   G r a u m a n ,   K r i s t e n ]   U n i v   T e x a s   A u s t i n ,   A u s t i n ,   T X   7 8 7 1 2   U S A 	 V i j a y a n a r a s i m h a n ,   S   ( r e p r i n t   a u t h o r ) ,   U n i v   T e x a s   A u s t i n ,   A u s t i n ,   T X   7 8 7 1 2   U S A . 	 s v n a r a s @ c s . u t e x a s . e d u ;   g r a u m a n @ c s . u t e x a s . e d u 	 	 	 	 	 B o u r e a u   Y . ,   2 0 1 0 ,   C V P R ;   C h u m   O . ,   2 0 0 7 ,   C V P R ;   D a l a l   N . ,   2 0 0 5 ,   C V P R ;   D e n g   J . ,   2 0 0 9 ,   C V P R ;   E v e r i n g h a m   M ,   2 0 1 0 ,   I N T   J   C O M P U T   V I S I O N ,   V 8 8 ,   P 3 0 3 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 6 3 - 0 0 9 - 0 2 7 5 - 4 ;   F E L Z E N S Z W A L B   P ,   2 0 0 9 ,   T P A M I ,   V 9 9 ;   F e r g u s   R . ,   2 0 0 5 ,   I C C V ;   J a i n   P . ,   2 0 1 0 ,   N I P S ;   J o a c h i m s   T . ,   2 0 0 6 ,   K D D ;   J o s h i   A . ,   2 0 0 9 ,   C V P R ;   K a p o o r   A . ,   2 0 0 7 ,   I C C V ;   L a m p e r t   C . ,   2 0 0 8 ,   C V P R ;   L i   L . - J . ,   2 0 0 7 ,   C V P R ;   Q i   G . J . ,   2 0 0 8 ,   C V P R ;   R u s s e l l   B . ,   2 0 0 7 ,   I J C V ;   S i d d i q u i e   B . ,   2 0 1 0 ,   C V P R ;   S O R O K I N   A ,   2 0 0 8 ,   W K S H P   I N T   V I S ;   T o n g   S . ,   2 0 0 0 ,   I C M L ;   V e d a l d i   A . ,   2 0 0 9 ,   I C C V ;   V i j a y a n a r a s i m h a n   S . ,   2 0 1 0 ,   C V P R ;   V i j a y a n a r a s i m h a n   S . ,   2 0 0 8 ,   N I P S ;   v o n   A h n   L . ,   2 0 0 4 ,   C H I ;   W a n g   J . ,   2 0 1 0 ,   C V P R ;   W E L I N D E R   P ,   2 0 1 0 ,   A C V H L ;   Y a n g   J . ,   2 0 0 9 ,   C V P R 	 2 5 	 5 	 5 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 0 6 3 - 6 9 1 9 	 	 9 7 8 - 1 - 4 5 7 7 - 0 3 9 3 - 5 	 P R O C   C V P R   I E E E 	 	 	 2 0 1 1 	 	 	 	 	 	 	 1 4 4 9 	 1 4 5 6 	 	 	 	 8 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e 	 C o m p u t e r   S c i e n c e 	 B X B 8 5 	 W O S : 0 0 0 2 9 5 6 1 5 8 0 1 0 6 8 	 	 
 B 	 F e r g u s o n ,   S D 	 	 H u l s m a n n ,   M ;   P f e f f e r m a n n ,   N 	 	 F e r g u s o n ,   S h e r r y   D e v e r e a u x 	 	 	 S t r a t e g i c   P l a n n i n g   f o r   C o m m u n i c a t i o n   o f   I n n o v a t i o n :   C r o w d s o u r c i n g   a s   S o c i a l   C a p i t a l 	 S T R A T E G I E S   A N D   C O M M U N I C A T I O N S   F O R   I N N O V A T I O N S :   A N   I N T E G R A T I V E   M A N A G E M E N T   V I E W   F O R   C O M P A N I E S   A N D   N E T W O R K S 	 	 	 E n g l i s h 	 A r t i c l e ;   B o o k   C h a p t e r 	 	 	 	 	 	 	 H E A L T H - C A R E ;   W E B   2 . 0 ;   O R G A N I Z A T I O N S ;   I N F O R M A T I O N ;   D I F F U S I O N ;   K N O W L E D G E ;   I M P A C T ;   M E D I A 	 	 U n i v   O t t a w a ,   D e p t   C o m m u n ,   O t t a w a ,   O N   K 1 N   6 N 5 ,   C a n a d a 	 F e r g u s o n ,   S D   ( r e p r i n t   a u t h o r ) ,   U n i v   O t t a w a ,   D e p t   C o m m u n ,   5 5 4   K i n g   E d w a r d   A v e ,   O t t a w a ,   O N   K 1 N   6 N 5 ,   C a n a d a . 	 s h e r r y . f e r g u s o n @ u o t t a w a . c a 	 	 	 	 	 A n t i k a i n e n   M a r i a   J ,   2 0 1 0 ,   I n t e r n a t i o n a l   J o u r n a l   o f   E n t r e p r e n e u r s h i p   a n d   I n n o v a t i o n   M a n a g e m e n t ,   V 1 1 ,   D O I   1 0 . 1 5 0 4 / I J E I M . 2 0 1 0 . 0 3 2 2 6 7 ;   A r g y r i s   C . ,   1 9 7 4 ,   T H E O R Y   P R A C T I C E   I N C R ;   A r n o l d   S E ,   2 0 0 9 ,   O N L I N E ,   V 3 3 ,   P 4 0 ;   B A K E R   G ,   2 0 1 0 ,   N Z   B U S I N E S S ,   V 2 4 ,   P 4 0 ;   B a r n e s   N G ,   2 0 1 0 ,   M A R K   R E S ,   V 2 2 ,   P 8 ;   B e r g e r   P e t e r   L . ,   1 9 6 6 ,   S O C I A L   C O N S T R U C T I O N ;   B E R S   J A ,   2 0 0 5 ,   C O N T R I B U T I O N S   S O C I A L ;   B o u r d i e u   P . ,   1 9 8 6 ,   H D B   T H E O R Y   R E S   S O C I O ;   B R A D L E Y   P ,   2 0 0 8 ,   A R I A D N E ,   P 4 0 ;   B r a n d e l   M . ,   2 0 0 9 ,   C O M P U T E R W O R L D ,   V 4 3 ,   P 2 8 ;   B u r t   R S ,   1 9 9 9 ,   A N N   A M   A C A D   P O L I T   S S ,   V 5 6 6 ,   P 3 7 ,   D O I   1 0 . 1 1 7 7 / 0 0 0 2 7 1 6 2 9 9 5 6 6 0 0 1 0 0 4 ;   C A R R   J ,   2 0 0 9 ,   I N F O R M   T O D A Y ,   V 2 6 ,   P 1 6 ;   C a s t i a u x   A ,   2 0 0 7 ,   J   E N G   T E C H N O L   M A N A G E ,   V 2 4 ,   P 3 6 ,   D O I   1 0 . 1 0 1 6 / j . j e n g t e c m a n . 2 0 0 7 . 0 1 . 0 0 3 ;   C h e s b r o u g h   H . ,   2 0 0 3 ,   O P E N   I N N O V A T I O N   N E W ;   C h r i s t e n s e n   C M ,   1 9 9 7 ,   I N N O V A T O R S   D I L E M M A   N ;   C h r i s t e n s e n   C M ,   2 0 0 0 ,   H A R V A R D   B U S   R E V ,   V 7 8 ,   P 6 6 ;   C L E V E L A N D   H ,   1 9 8 5 ,   P U B L I C   A D M I N   R E V ,   V 4 5 ,   P 1 8 5 ,   D O I   1 0 . 2 3 0 7 / 3 1 1 0 1 4 8 ;   C o l e m a n   J .   S . ,   1 9 8 8 ,   A M   J   S O C I O L ,   V 9 4 ,   P 9 5 ,   D O I   D O I   1 0 . 1 0 8 6 / 2 2 8 9 4 3 ;   C o o k   N . ,   2 0 0 8 ,   E N T E R P R I S E   2   0   S O C I A ;   C R E S C E N Z O   S ,   2 0 1 0 ,   C O M M U N I C A T I O N   W O R L D ,   V 2 7 ,   P 1 0 ;   D e f e b b o   D a n a   M ,   2 0 0 9 ,   J o u r n a l   o f   E l e c t r o n i c   R e s o u r c e s   i n   M e d i c a l   L i b r a r i e s ,   V 6 ,   D O I   1 0 . 1 0 8 0 / 1 5 4 2 4 0 6 0 9 0 3 1 6 7 3 8 5 ;   D e r v i n   B . ,   1 9 9 2 ,   Q U A L I T A T I V E   R E S   I N F O ,   P 6 1 ;   E k i n s   S ,   2 0 1 0 ,   P H A R M   R E S - D O R D R ,   V 2 7 ,   P 3 9 3 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 9 5 - 0 1 0 - 0 0 5 9 - 0 ;   E v e r i t t   D ,   2 0 0 9 ,   M E D I A   C U L T   S O C ,   V 3 1 ,   P 7 4 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 3 4 4 3 7 0 9 3 3 9 4 6 3 ;   F E R G U S O N   S ,   1 9 7 8 ,   C A N A D I A N   J   C O M M U N I C A ,   V 6 ,   P 1 2 ;   F e r g u s o n   S . D . ,   1 9 8 8 ,   O R G   C O M M U N I C A T I O N ;   F r a n k   K A ,   2 0 0 4 ,   S O C I O L   E D U C ,   V 7 7 ,   P 1 4 8 ;   G r e e n h a l g h   T ,   2 0 0 5 ,   S O C   S C I   M E D ,   V 6 1 ,   P 4 1 7 ,   D O I   1 0 . 1 0 1 6 / j . s o s c i m e d . 2 0 0 4 . 1 2 . 0 0 1 ;   G r u n i g   J . ,   1 9 9 2 ,   E X C E L L E N C E   P U B L I C   R E ;   H a i d e r   M ,   2 0 0 4 ,   J   H E A L T H   C O M M U N ,   V 9 ,   P 3 ,   D O I   1 0 . 1 0 8 0 / 1 0 8 1 0 7 3 0 4 9 0 2 7 1 4 3 0 ;   H a n   S ,   2 0 1 0 ,   S O C I O L   I N Q ,   V 8 0 ,   P 2 0 0 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 7 5 - 6 8 2 X . 2 0 1 0 . 0 0 3 2 7 . x ;   H A T H I   S ,   2 0 1 0 ,   S T R A T E G I C   C O M M U N I C A T ,   V 1 4 ,   P 9 ;   H e s s e   B W ,   2 0 0 5 ,   A R C H   I N T E R N   M E D ,   V 1 6 5 ,   P 2 6 1 8 ,   D O I   1 0 . 1 0 0 1 / a r c h i n t e . 1 6 5 . 2 2 . 2 6 1 8 ;   H o v l a n d   C . I . ,   1 9 5 3 ,   C O M M U N I C A T I O N   P E R S U A ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   H u b e r m a n   B A ,   2 0 0 9 ,   J   I N F   S C I ,   V 3 5 ,   P 7 5 8 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 0 9 3 4 6 7 8 6 ;   H u d s o n - S m i t h   A ,   2 0 0 9 ,   S O C   S C I   C O M P U T   R E V ,   V 2 7 ,   P 5 2 4 ,   D O I   1 0 . 1 1 7 7 / 0 8 9 4 4 3 9 3 0 9 3 3 2 2 9 9 ;   K A T Z   E . ,   1 9 7 4 ,   U S E S   M A S S   C O M M U N I C A T ;   K E N N E D Y   S D ,   2 0 0 9 ,   I N F O R M   T O D A Y ,   V 2 6 ,   P 1 5 ;   K r a m e s   J .   A . ,   2 0 0 2 ,   J   W E L C H   L E X I C O N   L E A D ;   L a z a r s f e l d   P .   F . ,   1 9 5 5 ,   P E R S O N A L   I N F L U E N C E   P ;   L a z a r s f e l d   P a u l ,   1 9 6 8 ,   P E O P L E S   C H O I C E ;   L e r n e r   E . ,   2 0 1 0 ,   C O L U M B I A   J O U R N A L I S M ,   V 4 8 ,   P 4 5 ;   L i n d l e y   D ,   2 0 0 9 ,   C O M M U N   A C M ,   V 5 2 ,   P 1 1 ,   D O I   1 0 . 1 1 4 5 / 1 5 6 2 7 6 4 . 1 5 6 2 7 7 1 ;   L o   B ,   2 0 1 0 ,   J   L A W   M E D   E T H I C S ,   V 3 8 ,   P 1 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 4 8 - 7 2 0 X . 2 0 1 0 . 0 0 4 6 2 . x ;   M C C R E A R Y   B ,   2 0 0 9 ,   A M   J   B U S I N E S S ,   V 2 4 ,   P 7 ;   M c Q u a i l   D . ,   1 9 8 3 ,   M A S S   C O M M U N I C A T I O N   T ;   M I L L E R   C R ,   B L O G O S P H E R E ;   M O O N   M ,   2 0 0 9 ,   J   D I G I T A L   A S S E T   M A N A ,   V 5 ,   P 2 9 8 ;   N A M B I S A N   S ,   2 0 1 0 ,   G L O B A L   B R A I N ;   N U S C H E L E R   D ,   2 0 0 9 ,   J   D I G I T A L   A S S E T   M A N A ,   V 5 ,   P 2 9 8 ,   D O I   D O I   1 0 . 1 0 5 7 / D A M . 2 0 0 9 . 2 4 ;   P A T T O N   C ,   2 0 0 9 ,   P R O F   S A F ,   V 5 4 ,   P 5 ;   P u t n a m   R o b e r t   D . ,   2 0 0 2 ,   D E M O C R A C I E S   F L U X   E V O ;   R A N G E R   J ,   2 0 0 9 ,   T H E S I S   U   O T T A W A ;   R e d d i n g   J . ,   1 9 9 4 ,   S T R A T E G I C   R E A D I N E S S ;   R I C E   D ,   2 0 1 0 ,   S D M ,   V 4 0 ,   P 9 3 ;   R O G E R S   E . M . ,   1 9 9 5 ,   D I F F U S I O N   I N N O V A T I O N ;   R O S E   B ,   2 0 0 9 ,   A B A   J ,   V 9 5 ,   P 2 5 ;   R y e   C B ,   2 0 0 7 ,   M E D   C A R E   R E S   R E V ,   V 6 4 ,   P 2 3 5 ,   D O I   1 0 . 1 1 7 7 / 1 0 7 7 5 5 8 7 0 7 2 9 9 8 6 5 ;   S o r n e s   J .   O . ,   2 0 0 5 ,   I N F O R M   S C I   J ,   V 8 ,   P 1 2 3 ;   S t e y n   P ,   2 0 1 0 ,   P U B L I C   R E L A T   R E V ,   V 3 6 ,   P 8 7 ,   D O I   1 0 . 1 0 1 6 / j . p u b r e v . 2 0 0 9 . 0 9 . 0 0 5 ;   S U L L I V A N   E A ,   2 0 1 0 ,   M A R K E T I N G   N E W S ,   V 4 4 ,   P 2 3 ;   T a p s c o t t   D . ,   2 0 0 6 ,   W I K I N O M I C S   M A S S   C O L L ;   T h o m a s   S u e ,   2 0 0 7 ,   1   M O N D A Y ,   P 1 2 ;   V O N H I P P E L   E ,   1 9 9 4 ,   M A N A G E   S C I ,   V 4 0 ,   P 4 2 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 0 . 4 . 4 2 9 ;   W e b s t e r   J G ,   2 0 0 5 ,   J   C O M M U N ,   V 5 5 ,   P 3 6 6 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 0 - 2 4 6 6 . 2 0 0 5 . t b 0 2 6 7 7 . x ;   W e i c k   K .   E . ,   1 9 9 5 ,   S E N S E M A K I N G   O R G ;   W e i c k   K E ,   2 0 0 5 ,   O R G A N   S C I ,   V 1 6 ,   P 4 0 9 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 5 0 . 0 1 3 3 ;   W e l c h   J . ,   2 0 0 1 ,   J A C K   S T R A I G H T   G U T ;   W I L L I A M S   R ,   2 0 0 8 ,   C O M M U N I C A T I O N   W O R L D ,   P 3 4 ;   Y A N G   C ,   2 0 0 9 ,   I N T   J   C O M P U T A T I O N A L ,   V 5 ,   P 7 4 ;   Z E R F A S S   A ,   2 0 0 7 ,   E U R O B L O G   P E R S P E C T I V E 	 7 2 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 	 	 9 7 8 - 3 - 6 4 2 - 1 7 2 2 2 - 9 	 	 	 	 2 0 1 1 	 	 	 	 	 	 	 2 2 9 	 2 4 2 	 	 1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 7 2 2 3 - 6 _ 1 6 	 	 1 4 	 E n g i n e e r i n g ,   I n d u s t r i a l ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 E n g i n e e r i n g ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 B T Z 1 3 	 W O S : 0 0 0 2 8 8 4 8 4 3 0 0 0 1 6 	 	 
 B 	 H e i n z e l m a n ,   J ;   B r o w n ,   R ;   M e i e r ,   P 	 	 P o b l e t ,   M 	 	 H e i n z e l m a n ,   J e s s i c a ;   B r o w n ,   R a c h e l ;   M e i e r ,   P a t r i c k 	 	 	 M o b i l e   T e c h n o l o g y ,   C r o w d s o u r c i n g   a n d   P e a c e   M a p p i n g :   N e w   T h e o r y   a n d   A p p l i c a t i o n s   f o r   C o n f l i c t   M a n a g e m e n t 	 M O B I L E   T E C H N O L O G I E S   F O R   C O N F L I C T   M A N A G E M E N T :   O N L I N E   D I S P U T E   R E S O L U T I O N ,   G O V E R N A N C E ,   P A R T I C I P A T I O N 	 L a w   G o v e r n a n c e   a n d   T e c h n o l o g y   S e r i e s 	 	 E n g l i s h 	 A r t i c l e ;   B o o k   C h a p t e r 	 	 	 	 	 	 	 	 	 [ H e i n z e l m a n ,   J e s s i c a ]   T u f t s   U n i v ,   F l e t c h e r   S c h ,   M e d f o r d ,   M A   0 2 1 5 5   U S A ;   [ B r o w n ,   R a c h e l ]   S i s i   N i   A m a n i ,   D e p t   I n t   R e l a t ,   M e d f o r d ,   M A   0 2 1 5 5   U S A ;   [ M e i e r ,   P a t r i c k ]   U s h a h i d i   &   S t a n f o r d   U n i v ,   P r o g r a m   L i b e r a t   T e c h n o l ,   S t a n f o r d ,   C A   9 4 3 0 5   U S A 	 H e i n z e l m a n ,   J   ( r e p r i n t   a u t h o r ) ,   T u f t s   U n i v ,   F l e t c h e r   S c h ,   1 6 0   P a c k a r d   A v e ,   M e d f o r d ,   M A   0 2 1 5 5   U S A . 	 j e s s i c a . h e i n z e l m a n @ t u f t s . e d u ;   r a c h e l . h . b r o w n @ g m a i l . c o m ;   p a t r i c k @ u s h a h i d i . c o m 	 	 	 	 	 A b u k a r e s h   O . ,   2 0 0 9 ,   A T K I N   P A P E R   S E R I E S ;   [ A n o n y m o u s ] ,   2 0 0 9 ,   B B C   N E W S                 1 0 0 7 ;   [ A n o n y m o u s ] ,   2 0 0 8 ,   B B C   N E W S                 0 5 2 1 ;   A x e l r o d   R . ,   1 9 8 4 ,   E V O L U T I O N   C O O P E R A T I O ;   B a r n e t t   M ,   2 0 0 7 ,   G L O B   G O V ,   V 1 3 ,   P 3 5 ;   B l a i n e y   G ,   1 9 8 8 ,   C A U S E S   W A R ;   B o u l d i n g   E ,   2 0 0 0 ,   C U L T U R E S   P E A C E   H I D D E ;   C l i n t o n   H . R . ,   2 0 1 0 ,   U S   R E M A R K S   I N T E R N E T ;   D u c k i t t   J o h n ,   2 0 0 3 ,   O X F O R D   H D B   P O L I T I C A L ;   F r o m m   E . ,   1 9 9 3 ,   A N A T O M Y   H U M A N   D E S T R U ,   P 1 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   H w e s h e   F . ,   2 0 0 9 ,   M E D I A   T E N S I O N S   B R E W I ;   K a l y v a s   S N ,   2 0 0 7 ,   W O R L D   P O L I T ,   V 5 9 ,   P 1 7 7 ,   D O I   1 0 . 1 3 5 3 / w p . 2 0 0 7 . 0 0 2 3 ;   L a i t i n   D a v i d   D . ,   1 9 9 8 ,   I D E N T I T Y   F O R M A T I O N   R ;   P l a u t   M . ,   2 0 0 8 ,   B B C                           0 6 0 4 ;   P o s e n   B a r r y ,   1 9 9 3 ,   S U R V I V A L ,   V 3 5 ,   P 2 7 ,   D O I   D O I   1 0 . 1 0 8 0 / 0 0 3 9 6 3 3 9 3 0 8 4 4 2 6 7 2 ;   R u b i n   B a r n e t t   R . ,   2 0 0 2 ,   B L O O D   D O O R S T E P   P O L I T ;   U r y   W i l l i a m ,   2 0 0 0 ,   3   S I D E   W H Y   W E   F I G H T 	 1 8 	 0 	 0 	 S P R I N G E R 	 D O R D R E C H T 	 P O   B O X   1 7 ,   3 3 0 0   A A   D O R D R E C H T ,   N E T H E R L A N D S 	 	 	 9 7 8 - 9 4 - 0 0 7 - 1 3 8 3 - 3 	 L A W   G O V   T E C H N O L   S E R 	 	 	 2 0 1 1 	 2 	 	 	 	 	 	 3 9 	 5 3 	 	 1 0 . 1 0 0 7 / 9 7 8 - 9 4 - 0 0 7 - 1 3 8 4 - 0 _ 4 	 1 0 . 1 0 0 7 / 9 7 8 - 9 4 - 0 0 7 - 1 3 8 4 - 0 	 1 5 	 C o m m u n i c a t i o n ;   P u b l i c   A d m i n i s t r a t i o n 	 C o m m u n i c a t i o n ;   P u b l i c   A d m i n i s t r a t i o n 	 B V X 8 7 	 W O S : 0 0 0 2 9 3 1 0 0 3 0 0 0 0 4 	 	 
 J 	 Q i u ,   G P ;   K h e i r i ,   A 	 	 F a r n a n d ,   S P ;   G a y k e m a ,   F 	 	 Q i u ,   G u o p i n g ;   K h e i r i ,   A h m e d 	 	 	 S o c i a l   I m a g e   Q u a l i t y 	 I M A G E   Q U A L I T Y   A N D   S Y S T E M   P E R F O R M A N C E   V I I I 	 P r o c e e d i n g s   o f   S P I E 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 C o n f e r e n c e   o n   t h e   I m a g e   Q u a l i t y   a n d   S y s t e m   P e r f o r m a n c e   V I I I 	 J A N   2 4 - 2 6 ,   2 0 1 1 	 S a n   F r a n c i s c o ,   C A 	 S o c   I m a g i n g   S c i   &   T e c h n o l   ( I S & T ) ,   S P I E 	 	 i m a g e   a n d   v i d e o   q u a l i t y ;   i m a g e   q u a l i t y   m e t r i c ;   W e b 2 . 0 ;   s o c i a l   m e d i a ;   c r o w d   s o u r c i n g ;   p a i r e d   c o m p a r i s o n ;   p s y c h o m e t r i c ;   r a n k   a g g r e g a t i o n 	 	 C u r r e n t   s u b j e c t i v e   i m a g e   q u a l i t y   a s s e s s m e n t s   h a v e   b e e n   d e v e l o p e d   i n   t h e   l a b o r a t o r y   e n v i r o n m e n t s ,   u n d e r   c o n t r o l l e d - c o n d i t i o n s ,   a n d   a r e   d e p e n d e n t   o n   t h e   p a r t i c i p a t i o n   o f   l i m i t e d   n u m b e r s   o f   o b s e r v e r s .   I n   t h i s   r e s e a r c h ,   w i t h   t h e   h e l p   o f   W e b   2 . 0   a n d   s o c i a l   m e d i a   t e c h n o l o g y ,   a   n e w   m e t h o d   f o r   b u i l d i n g   a   s u b j e c t i v e   i m a g e   q u a l i t y   m e t r i c   h a s   b e e n   d e v e l o p e d   w h e r e   t h e   o b s e r v e r s   a r e   t h e   I n t e r n e t   u s e r s .   A   w e b s i t e   w i t h   a   s i m p l e   u s e r   i n t e r f a c e   t h a t   e n a b l e s   I n t e r n e t   u s e r s   f r o m   a n y w h e r e   a t   a n y   t i m e   t o   v o t e   f o r   a   b e t t e r   q u a l i t y   v e r s i o n   o f   a   p a i r   o f   t h e   s a m e   i m a g e   h a s   b e e n   c o n s t r u c t e d .   U s e r s '   v o t e s   a r e   r e c o r d e d   a n d   u s e d   t o   r a n k   t h e   i m a g e s   a c c o r d i n g   t o   t h e i r   p e r c e i v e d   v i s u a l   q u a l i t i e s .   W e   h a v e   d e v e l o p e d   t h r e e   r a n k   a g g r e g a t i o n   a l g o r i t h m s   t o   p r o c e s s   t h e   r e c o r d e d   p a i r   c o m p a r i s o n   d a t a ,   t h e   f i r s t   u s e s   a   n a i v e   a p p r o a c h ,   t h e   s e c o n d   e m p l o y s   a   C o n d o r c e t   m e t h o d ,   a n d   t h e   t h i r d   u s e s   t h e   D y k s t r a ' s   e x t e n s i o n   o f   B r a d l e y - T e r r y   m e t h o d .   T h e   w e b s i t e   h a s   b e e n   c o l l e c t i n g   d a t a   f o r   a b o u t   t h r e e   m o n t h s   a n d   h a s   a c c u m u l a t e d   o v e r   1 0 , 0 0 0   v o t e s   a t   t h e   t i m e   o f   w r i t i n g   t h i s   p a p e r .   R e s u l t s   s h o w   t h a t   t h e   I n t e r n e t   a n d   i t s   a l l i e d   t e c h n o l o g i e s   s u c h   a s   c r o w d s o u r c i n g   o f f e r   a   p r o m i s i n g   n e w   p a r a d i g m   f o r   i m a g e   a n d   v i d e o   q u a l i t y   a s s e s s m e n t   w h e r e   h u n d r e d s   o f   t h o u s a n d s   o f   I n t e r n e t   u s e r s   c a n   c o n t r i b u t e   t o   b u i l d i n g   m o r e   r o b u s t   i m a g e   q u a l i t y   m e t r i c s .   W e   h a v e   m a d e   I n t e r n e t   u s e r   g e n e r a t e d   s o c i a l   i m a g e   q u a l i t y   ( S I Q )   d a t a   o f   a   p u b l i c   i m a g e   d a t a b a s e   a v a i l a b l e   o n l i n e   ( h t t p : / / w w w . h d r i . c s . n o t t . a c . u k / s i q / )   t o   p r o v i d e   t h e   i m a g e   q u a l i t y   r e s e a r c h   c o m m u n i t y   w i t h   a   n e w   s o u r c e   o f   g r o u n d   t r u t h   d a t a .   T h e   w e b s i t e   c o n t i n u e s   t o   c o l l e c t   v o t e s   a n d   w i l l   i n c l u d e   m o r e   p u b l i c   i m a g e   d a t a b a s e s   a n d   w i l l   a l s o   b e   e x t e n d e d   t o   i n c l u d e   v i d e o s   t o   c o l l e c t   s o c i a l   v i d e o   q u a l i t y   ( S V Q )   d a t a .   A l l   d a t a   w i l l   b e   p u b l i c   a v a i l a b l e   o n   t h e   w e b s i t e   i n   d u e   c o u r s e . 	 [ Q i u ,   G u o p i n g ;   K h e i r i ,   A h m e d ]   U n i v   N o t t i n g h a m ,   S c h   C o m p   S c i ,   N o t t i n g h a m   N G 7   2 R D ,   E n g l a n d 	 Q i u ,   G P   ( r e p r i n t   a u t h o r ) ,   U n i v   N o t t i n g h a m ,   S c h   C o m p   S c i ,   N o t t i n g h a m   N G 7   2 R D ,   E n g l a n d . 	 	 	 	 	 	 A B D I   H ,   K E N D A L L   R A N K   C O R R E L A ;   [ A n o n y m o u s ] ,   C O N D   M E T H ;   [ A n o n y m o u s ] ,   P E A R S   P R O D   M O M   C O R R ;   A y d i n   T .   O . ,   2 0 0 8 ,   A C M   S I G G R A P H   2 0 0 8   P A ,   P 1 ,   D O I   1 0 . 1 1 4 5 / 1 3 9 9 5 0 4 . 1 3 6 0 6 6 8 ;   B R A D L E Y   R A ,   1 9 5 2 ,   B I O M E T R I K A ,   V 3 9 ,   P 3 2 4 ,   D O I   1 0 . 1 0 9 3 / b i o m e t / 3 9 . 3 - 4 . 3 2 4 ;   B U T L E R   K ,   2 0 0 4 ,   E X I S T E N C E   M A X I M U M   L I ;   C H A N D L E R   D M ,   V S N R   V I S U A L   S I G N A L   S ;   C h u a   T . ,   2 0 0 9 ,   P   A C M   I N T   C   I M   V I D   R ,   P 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 6 4 6 3 9 6 . 1 6 4 6 4 5 2 ;   C R O W L E Y   M ,   E L E C T   T H E O R Y   V O T E R S ;   D Y K S T R A   O ,   1 9 6 0 ,   B I O M E T R I C S ,   V 1 6 ,   P 1 7 6 ,   D O I   1 0 . 2 3 0 7 / 2 5 2 7 5 5 0 ;   E g i a z a r i a n   K . ,   2 0 0 6 ,   2   I N T   W O R K S H   V I D   P R O ;   H u a n g   T K ,   2 0 0 8 ,   J   M A C H   L E A R N   R E S ,   V 9 ,   P 2 1 8 7 ;   L e   C a l l e t   P . ,   2 0 1 3 ,   S U B J E C T I V E   Q U A L I T Y   A ;   M o n t a g u e   M . ,   2 0 0 2 ,   P r o c e e d i n g s   o f   t h e   E l e v e n t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n f o r m a t i o n   a n d   K n o w l e d g e   M a n a g e m e n t .   C I K M   2 0 0 2 ;   N i n a s s i   A . ,   2 0 0 6 ,   P   S P I E   H U M A N   V I S I O N ,   V 6 0 5 7 ,   P 1 4 6 ;   O C O N N O R   J J ,   2 0 1 0 ,   M J A   N I C O L A S   C A R I T A T ;   P o n o m a r e n k o   N . ,   A D V   M O D E R N   R A D I O E L E C ,   V 1 0 ,   P 3 0 ;   S e s h a d r i n a t h a n   K ,   2 0 1 0 ,   I E E E   T   I M A G E   P R O C E S S ,   V 1 9 ,   P 1 4 2 7 ,   D O I   1 0 . 1 1 0 9 / T I P . 2 0 1 0 . 2 0 4 2 1 1 1 ;   S h e i k h   H . R . ,   2 0 0 6 ,   I E E E   T   I M A G E   P R O C E S S ,   V 1 5 ,   P 3 4 4 1 ;   V Q E G ,   F I N   R E P   V I D   Q U A L   E X P ;   W a n g   Z . ,   2 0 0 6 ,   S Y N T H E S I S   L E C T   I M A G E ,   V 2 ,   P 1 ,   D O I   1 0 . 2 2 0 0 / S 0 0 0 1 0 E D 1 V 0 1 Y 2 0 0 5 0 8 I V M 0 0 3 ;   W e s s a   P . ,   F R E E   S T A T   S O F T W A R E   O ;   * W I K ,   C O P   M E T H ;   * W I K ,   R O O T   M E A N   S Q U A R   D E V ;   * W I K ,   S P E A R M   R A N K   C O R R   C O E ;   W i k i p e d i a ,   W E B   2   0 ;   Z H O U   N ,   I E E E   T   P A T T   I N   P R E S S 	 2 7 	 0 	 0 	 S P I E - I N T   S O C   O P T I C A L   E N G I N E E R I N G 	 B E L L I N G H A M 	 1 0 0 0   2 0 T H   S T ,   P O   B O X   1 0 ,   B E L L I N G H A M ,   W A   9 8 2 2 7 - 0 0 1 0   U S A 	 0 2 7 7 - 7 8 6 X 	 	 9 7 8 - 0 - 8 1 9 4 8 - 4 0 4 - 8 	 P R O C   S P I E 	 	 	 2 0 1 1 	 7 8 6 7 	 	 	 	 	 	 	 	 7 8 6 7 0 S 	 1 0 . 1 1 1 7 / 1 2 . 8 7 2 3 7 8 	 	 1 0 	 O p t i c s ;   I m a g i n g   S c i e n c e   &   P h o t o g r a p h i c   T e c h n o l o g y 	 O p t i c s ;   I m a g i n g   S c i e n c e   &   P h o t o g r a p h i c   T e c h n o l o g y 	 B V K 3 5 	 W O S : 0 0 0 2 9 1 6 9 2 5 0 0 0 2 7 	 	 
 B 	 P a r e n t ,   G ;   E s k e n a z i ,   M 	 	 	 I n t     S p e e c h   C o m m u n   A s s o c 	 P a r e n t ,   G a b r i e l ;   E s k e n a z i ,   M a x i n e 	 	 	 S p e a k i n g   t o   t h e   C r o w d :   l o o k i n g   a t   p a s t   a c h i e v e m e n t s   i n   u s i n g   c r o w d s o u r c i n g   f o r   s p e e c h   a n d   p r e d i c t i n g   f u t u r e   c h a l l e n g e s 	 1 2 T H   A N N U A L   C O N F E R E N C E   O F   T H E   I N T E R N A T I O N A L   S P E E C H   C O M M U N I C A T I O N   A S S O C I A T I O N   2 0 1 1   ( I N T E R S P E E C H   2 0 1 1 ) ,   V O L S   1 - 5 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 2 t h   A n n u a l   C o n f e r e n c e   o f   t h e   I n t e r n a t i o n a l - S p e e c h - C o m m u n i c a t i o n - A s s o c i a t i o n   2 0 1 1   ( I N T E R S P E E C H   2 0 1 1 ) 	 A U G   2 7 - 3 1 ,   2 0 1 1 	 F l o r e n c e ,   I T A L Y 	 I n t   S p e e c h   C o m m u n   A s s o c 	 	 c r o w d s o u r c i n g ;   h u m a n   c o m p u t a t i o n ;   s p e e c h   a c q u i s i t i o n ;   t r a n s c r i p t i o n 	 	 T h i s   p a p e r   e x a m i n e s   t h e   l i t e r a t u r e   o n   t h e   u s e   o f   c r o w d s o u r c i n g   f o r   s p e e c h - r e l a t e d   t a s k s :   s p e e c h   a c q u i s i t i o n ,   t r a n s c r i p t i o n   a n d   a n n o t a t i o n   a s   w e l l   a s   t h e   a s s e s s m e n t   o f   s p e e c h   t e c h n o l o g y .   2 9   p a p e r s   w e r e   f o u n d ,   r e p r e s e n t i n g ,   3 7   d i f f e r e n t   e x p e r i m e n t s ,   w h i c h   w e r e   a n n o t a t e d   a n d   a n a l y z e d   t o   f i n d   t r e n d s   i n   t h e   f i e l d .   T h e   p a p e r   f o c u s e s   o n   t h e   d i f f e r e n t   t e c h n i q u e s   u s e d   f o r   q u a l i t y   c o n t r o l   a n d   t h e   v a r i e t y   o f   s o u r c e s   o f   " c r o w d s " .   F i n a l l y ,   w e   p r o p o s e   s e v e r a l   c h a l l e n g e s   f o r   t h e   f u t u r e   o f   c r o w d s o u r c i n g   f o r   s p e e c h .   p r o c e s s i n g . 	 [ P a r e n t ,   G a b r i e l ;   E s k e n a z i ,   M a x i n e ]   C a r n e g i e   M e l l o n   U n i v ,   L a n g u a g e   T e c h n o l   I n s t ,   P i t t s b u r g h ,   P A   1 5 2 1 3   U S A 	 P a r e n t ,   G   ( r e p r i n t   a u t h o r ) ,   C a r n e g i e   M e l l o n   U n i v ,   L a n g u a g e   T e c h n o l   I n s t ,   P i t t s b u r g h ,   P A   1 5 2 1 3   U S A . 	 g p a r e n t @ c s . c m u . e d u ;   m a x @ c s . c m u . e d u 	 	 	 	 	 A k a s a k a   R . ,   2 0 0 9 ,   T H E S I S   S W A R T H M O R E   D E ;   A u d h k a s i   K . ,   2 0 1 1 ,   P   I N T E R S P E E C H 2 0 1 1   F L ;   A u d h k h a s i   K . ,   2 0 1 1 ,   P   I C A S S P ;   B u c h o l z   S . ,   2 0 1 1 ,   P   I N T E R S P E E C H 2 0 1 1   F L ;   C h e r n o v a   S . ,   2 0 1 0 ,   P   D I A L   R O B   A A A I   F A L L ;   C o o k e   M . ,   2 0 1 1 ,   P   I N T E R S P E E C H 2 0 1 1   F L ;   E v a n i n i   K . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ;   F r e i t a s   J . ,   2 0 1 0 ,   P   F A L A   V I G ;   G e l a s   H . ,   2 0 1 1 ,   P   I N T E R S P E E C H 2 0 1 1   F L ;   G r u e n s t e i n   A . ,   2 0 0 9 ,   P   S L A T E   2 0 0 9   B R I G H T ;   J u r c i c e k   F . ,   2 0 1 1 ,   P   I N T E R S P E E C H 2 0 1 1   F L ;   K u n a t h   S .   A . ,   2 0 1 0 ,   P   N A A C L   H L T   W O R K S H   C ;   L a n e   I . ,   2 0 1 0 ,   P   N A A C L   W O R K S H   C R E A T ;   L e d i e   J . ,   2 0 1 0 ,   A C M   S I G O P S   O P E R A T I N G ,   V 4 3 ,   P 4 ;   L e e   C . ,   2 0 1 1 ,   P   I N T E R S P E E C H 2 0 1 1   F L ;   M a r g e   M . ,   2 0 1 0 ,   P   N A A C L   W O R K S H   C R E A T ;   M a r g e   M . ,   2 0 1 0 ,   P   I C A S S P ;   M a r i a n i   J . ,   P   L I S L R 2 0 1 0   L R E C 2 0 1 0 ;   M c G r a w   I . ,   2 0 1 0 ,   P   L R E C   M A L T ;   M c G r a w   I . ,   2 0 0 9 ,   P   I N T   B R I G H T   U K ;   M c G r a w   I . ,   2 0 1 1 ,   P   I N T E R S P E E C H 2 0 1 1   F L ;   N o v o t n e y   S . ,   2 0 1 0 ,   P   N A A C L ;   O g a t a   J . ,   2 0 1 1 ,   P   I N T E R S P E E C H 2 0 1 1   F L ;   P a r e n t   G . ,   2 0 1 0 ,   P   I E E E   S L T   B E R K ;   P i e r a c c i n i   R . ,   2 0 1 0 ,   P   S I G D I A L   2 0 1 0   T O K   J ;   P o l i f r o n i   J . ,   2 0 1 0 ,   P   S I M P E   L I S B   P O R T ;   S c h l a i k j e r   A ,   2 0 0 7 ,   0 7 0 1 4   L T I C M U ;   S U R O W I E C K I   J A M E S ,   2 0 0 4 ,   W I S D O M   C R O W D S ;   W o l t e r s   M . ,   2 0 1 0 ,   P   7   S P E E C H   S Y N T H   W O R ;   Y a n g   Z . ,   2 0 1 0 ,   P   S L T   2 0 1 0 ;   Z e c h n e r   K . ,   2 0 1 1 ,   P   I N T E R S P E E C H 2 0 1 1   F L 	 3 1 	 0 	 0 	 I S C A - I N T   S P E E C H   C O M M U N I C A T I O N   A S S O C 	 B A I X A S 	 C / O   E M M A N U E L L E   F O X O N E T ,   4   R U E   D E S   F A U V E T T E S ,   L I E U   D I T   L O U S   T O U R I L S ,   B A I X A S ,   F - 6 6 3 9 0 ,   F R A N C E 	 	 	 9 7 8 - 1 - 6 1 8 3 9 - 2 7 0 - 1 	 	 	 	 2 0 1 1 	 	 	 	 	 	 	 3 0 4 4 	 3 0 4 7 	 	 	 	 4 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B E G 8 4 	 W O S : 0 0 0 3 1 6 5 0 2 2 0 1 2 5 0 	 	 
 B 	 L e e ,   C Y ;   G l a s s ,   J 	 	 	 I n t     S p e e c h   C o m m u n   A s s o c 	 L e e ,   C h i a - y i n g ;   G l a s s ,   J a m e s 	 	 	 A   T r a n s c r i p t i o n   T a s k   f o r   C r o w d s o u r c i n g   w i t h   A u t o m a t i c   Q u a l i t y   C o n t r o l 	 1 2 T H   A N N U A L   C O N F E R E N C E   O F   T H E   I N T E R N A T I O N A L   S P E E C H   C O M M U N I C A T I O N   A S S O C I A T I O N   2 0 1 1   ( I N T E R S P E E C H   2 0 1 1 ) ,   V O L S   1 - 5 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 2 t h   A n n u a l   C o n f e r e n c e   o f   t h e   I n t e r n a t i o n a l - S p e e c h - C o m m u n i c a t i o n - A s s o c i a t i o n   2 0 1 1   ( I N T E R S P E E C H   2 0 1 1 ) 	 A U G   2 7 - 3 1 ,   2 0 1 1 	 F l o r e n c e ,   I T A L Y 	 I n t   S p e e c h   C o m m u n   A s s o c 	 	 T r a n s c r i p t i o n ;   c r o w d s o u r c i n g ;   q u a l i t y   c o n t r o l 	 	 I n   t h i s   p a p e r ,   w e   p r o p o s e   a   t w o - s t a g e   t r a n s c r i p t i o n   t a s k   d e s i g n   f o r   c r o w d s o u r c i n g   w i t h   a n   a u t o m a t i c   q u a l i t y   c o n t r o l   m e c h a n i s m   e m b e d d e d   i n   e a c h   s t a g e .   F o r   t h e   f i r s t   s t a g e ,   a   s u p p o r t   v e c t o r   m a c h i n e   ( S V M )   c l a s s i f i e r   i s   u t i l i z e d   t o   q u i c k l y   f i l t e r   p o o r   q u a l i t y   t r a n s c r i p t s   b a s e d   o n   a c o u s t i c   c u e s   a n d   l a n g u a g e   p a t t e r n s   i n   t h e   t r a n s c r i p t .   I n   t h e   s e c o n d   s t a g e ,   w o r d   l e v e l   c o n f i d e n c e   s c o r e s   a r e   u s e d   t o   e s t i m a t e   a   t r a n s c r i p t i o n   q u a l i t y   a n d   p r o v i d e   i n s t a n t a n e o u s   f e e d b a c k   t o   t h e   t r a n s c r i b e r .   T h e   p r o p o s e d   d e s i g n   w a s   e v a l u a t e d   u s i n g   A m a z o n   M e c h a n i c a l   T u r k   ( M T u r k )   a n d   t e s t e d   o n   s e v e n   h o u r s   o f   a c a d e m i c   l e c t u r e   s p e e c h ,   w h i c h   i s   t y p i c a l l y   c o n v e r s a t i o n a l   i n   n a t u r e   a n d   c o n t a i n s   t e c h n i c a l   m a t e r i a l .   C o m p a r e d   t o   b a s e l i n e   t r a n s c r i p t s   w h i c h   w e r e   a l s o   c o l l e c t e d   f r o m   M T u r k   u s i n g   a   R O V E R - b a s e d   m e t h o d ,   w e   o b s e r v e d   t h a t   t h e   n e w   m e t h o d   r e s u l t e d   i n   h i g h e r   q u a l i t y   t r a n s c r i p t s   w h i l e   r e q u i r i n g   l e s s   t r a n s c r i b e r   e f f o r t . 	 [ L e e ,   C h i a - y i n g ;   G l a s s ,   J a m e s ]   M I T ,   C o m p   S c i   &   A r t i f i c i a l   I n t e l l i g e n c e   L a b ,   C a m b r i d g e ,   M A   0 2 1 3 9   U S A 	 L e e ,   C Y   ( r e p r i n t   a u t h o r ) ,   M I T ,   C o m p   S c i   &   A r t i f i c i a l   I n t e l l i g e n c e   L a b ,   7 7   M a s s a c h u s e t t s   A v e ,   C a m b r i d g e ,   M A   0 2 1 3 9   U S A . 	 c h i a y i n g @ c s a i l . m i t . e d u ;   g l a s s @ c s a i l . m i t . e d u 	 	 	 	 	 C a l l i s o n - B u r c h   C . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 ;   C h a n g   C . - C . ,   2 0 0 1 ,   L I B S V M   L I B   S U P P O R T   V ;   E v a n i n i   K . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 5 3 ;   F i s c u s   J .   G . ,   1 9 9 7 ,   P   I E E E   W O R K S H   A U T   S P ,   P 3 4 7 ;   G a b r i e l   P a r e n t   M .   E . ,   2 0 1 0 ,   P   S L T ;   G l a s s   J . ,   2 0 0 7 ,   P   I N T ,   P 2 5 5 3 ;   G r u e n s t e i n   A . ,   2 0 0 9 ,   P   S L A T E   W O R K S H ;   K A M P P A R I   S O ,   2 0 0 0 ,   A C O U S T   S P E E C H   S I G   P R ,   P 1 7 9 9 ;   M a r g e   M ,   2 0 1 0 ,   I N T   C O N F   A C O U S T   S P E E ,   P 5 2 7 0 ,   D O I   1 0 . 1 1 0 9 / I C A S S P . 2 0 1 0 . 5 4 9 4 9 7 9 ;   M a r g e   M . ,   2 0 1 0 ,   P   N A A C L   H L T   W O R K S H   C ,   P 9 9 ;   M c G r a w   I . ,   2 0 1 0 ,   P   L R E C ,   P 1 9 ;   N o v o t n e y   S . ,   2 0 1 0 ,   P   H L T   N A A C L ,   V P r o c .   A s s o c .   C o m p u t .   L i n g u i s t .   ( A C L ) ,   P 2 0 7 	 1 2 	 0 	 0 	 I S C A - I N T   S P E E C H   C O M M U N I C A T I O N   A S S O C 	 B A I X A S 	 C / O   E M M A N U E L L E   F O X O N E T ,   4   R U E   D E S   F A U V E T T E S ,   L I E U   D I T   L O U S   T O U R I L S ,   B A I X A S ,   F - 6 6 3 9 0 ,   F R A N C E 	 	 	 9 7 8 - 1 - 6 1 8 3 9 - 2 7 0 - 1 	 	 	 	 2 0 1 1 	 	 	 	 	 	 	 3 0 4 8 	 3 0 5 1 	 	 	 	 4 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B E G 8 4 	 W O S : 0 0 0 3 1 6 5 0 2 2 0 1 2 5 1 	 	 
 B 	 C o o k e ,   M ;   B a r k e r ,   J ;   L e c u m b e r r i ,   M L G ;   W a s i l e w s k i ,   K 	 	 	 I n t   S p e e c h   C o m m u n   A s s o c 	 C o o k e ,   M a r t i n ;   B a r k e r ,   J o n ;   G a r c i a   L e c u m b e r r i ,   M a r i a   L u i s a ;   W a s i l e w s k i ,   K r z y s z t o f 	 	 	 C r o w d s o u r c i n g   f o r   w o r d   r e c o g n i t i o n   i n   n o i s e 	 1 2 T H   A N N U A L   C O N F E R E N C E   O F   T H E   I N T E R N A T I O N A L   S P E E C H   C O M M U N I C A T I O N   A S S O C I A T I O N   2 0 1 1   ( I N T E R S P E E C H   2 0 1 1 ) ,   V O L S   1 - 5 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 2 t h   A n n u a l   C o n f e r e n c e   o f   t h e   I n t e r n a t i o n a l - S p e e c h - C o m m u n i c a t i o n - A s s o c i a t i o n   2 0 1 1   ( I N T E R S P E E C H   2 0 1 1 ) 	 A U G   2 7 - 3 1 ,   2 0 1 1 	 F l o r e n c e ,   I T A L Y 	 I n t   S p e e c h   C o m m u n   A s s o c 	 	 s p e e c h   p e r c e p t i o n ;   n o i s e ;   w e b   e x p e r i m e n t 	 I N T E L L I G I B I L I T Y ;   I N T E R N E T 	 A c c e s s   t o   l a r g e   s a m p l e s   o f   l i s t e n e r s   i s   a n   a p p e a l i n g   p r o s p e c t   f o r   s p e e c h   p e r c e p t i o n   r e s e a r c h e r s ,   b u t   l a c k   o f   c o n t r o l   o v e r   k e y   f a c t o r s   s u c h   a s   l i s t e n e r s '   l i n g u i s t i c   b a c k g r o u n d s   a n d   q u a l i t y   o f   s t i m u l u s   d e l i v e r y   i s   a   f o r m i d a b l e   b a r r i e r   t o   t h e   a p p l i c a t i o n   o f   c r o w d s o u r c i n g .   W e   d e s c r i b e   t h e   o u t c o m e   o f   a   w e b - b a s e d   l i s t e n i n g   e x p e r i m e n t   d e s i g n e d   t o   d i s c o v e r   c o n s i s t e n t   c o n f u s i o n s   a m o n g s t   w o r d s   p r e s e n t e d   i n   n o i s e ,   a l o n g s i d e   a n   i d e n t i c a l   t a s k   c a r r i e d   o u t   u s i n g   t r a d i t i o n a l   l a b o r a t o r y   m e t h o d s .   W e b   l i s t e n e r s   w e r e   g r a d e d   b a s e d   o n   i n f o r m a t i o n   t h e y   p r o v i d e d   a s   w e l l   a s   v i a   t h e i r   r e s p o n s e s   t o   t o k e n s   r e c o g n i s e d   r o b u s t l y   b y   a   m a j o r i t y   o f   p a r t i c i p a n t s .   W h i l e   o v e r a l l   w o r d   i d e n t i f i c a t i o n   s c o r e s   e v e n   f o r   t h e   b e s t - p e r f o r m i n g   w e b   s u b s e t   w e r e   w e l l   b e l o w   t h o s e   o b t a i n e d   i n   t h e   l a b o r a t o r y ,   w o r d   c o n f u s i o n s   w i t h   h i g h   l e v e l s   o f   c r o s s - l i s t e n e r   a g r e e m e n t   w e r e   o b t a i n e d   n e v e r t h e l e s s ,   s u g g e s t i n g   t h a t   f o c u s e d   a p p l i c a t i o n   o f   c r o w d s o u r c i n g   i n   s p e e c h   p e r c e p t i o n   c a n   p r o v i d e   u s e f u l   d a t a   f o r   s c i e n t i f i c   a n a l y s i s . 	 [ C o o k e ,   M a r t i n ]   I k e r b a s q u e   B a s q u e   S c i   F d n ,   B i l b a o ,   S p a i n 	 C o o k e ,   M   ( r e p r i n t   a u t h o r ) ,   I k e r b a s q u e   B a s q u e   S c i   F d n ,   B i l b a o ,   S p a i n . 	 m . c o o k e @ i k e r b a s q u e . o r g 	 	 	 	 	 B e n k i   J R ,   2 0 0 3 ,   P H O N E T I C A ,   V 6 0 ,   P 1 2 9 ,   D O I   1 0 . 1 1 5 9 / 0 0 0 0 7 1 4 5 0 ;   B l i n   L . ,   2 0 0 8 ,   I N T   C   L A N G   R E S   E V ,   P 2 2 7 0 ;   C a r a   B .   D . ,   2 0 0 2 ,   B E H A V   R E S   M E T H   I N S T R ,   V 3 4 ,   P 4 1 6 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 1 9 5 4 7 0 ;   C h o i   J M ,   2 0 0 7 ,   T E L E M E D   J   E - H E A L T H ,   V 1 3 ,   P 5 0 1 ,   D O I   1 0 . 1 0 8 9 / t m j . 2 0 0 7 . 0 0 8 5 ;   C h r i s t i a n s e n   C ,   2 0 1 0 ,   S P E E C H   C O M M U N ,   V 5 2 ,   P 6 7 8 ,   D O I   1 0 . 1 0 1 6 / j . s p e c o m . 2 0 1 0 . 0 3 . 0 0 4 ;   C o o k e   M . ,   2 0 0 9 ,   P R O C   I N T E R S P E E C H   B R I ,   P 1 8 8 7 ;   H a z a n   V ,   1 9 9 8 ,   S P E E C H   C O M M U N ,   V 2 4 ,   P 2 1 1 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 7 - 6 3 9 3 ( 9 8 ) 0 0 0 1 1 - 9 ;   H o n i n g   H ,   2 0 0 6 ,   J   E X P   P S Y C H O L   H U M A N ,   V 3 2 ,   P 7 8 0 ,   D O I   1 0 . 1 0 3 7 / 0 0 9 6 - 1 5 2 3 . 3 2 . 3 . 7 8 0 ;   H o n i n g   H . ,   2 0 0 8 ,   E M P I R I C A L   M U S I C O L O G Y ,   V 3 ,   p 4 ? 7 ;   K e n d a l l   R . ,   2 0 0 8 ,   E M P I R I C A L   M U S I C O L O G Y ,   V 3 ,   P 8 ;   K u n a t h   S . A . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 6 8 ;   M c G r a w   K O ,   2 0 0 0 ,   P S Y C H O L   S C I ,   V 1 1 ,   P 5 0 2 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 9 2 8 0 . 0 0 2 9 6 ;   R e i p s   U D ,   2 0 0 2 ,   E X P   P S Y C H O L ,   V 4 9 ,   P 2 4 3 ,   D O I   1 0 . 1 0 2 7 / / 1 6 1 8 - 3 1 6 9 . 4 9 . 4 . 2 4 3 ;   R h e b e r g e n   K S ,   2 0 0 5 ,   J   A C O U S T   S O C   A M ,   V 1 1 7 ,   P 2 1 8 1 ,   D O I   1 0 . 1 1 2 1 / 1 . 1 8 6 1 7 1 3 ;   S k i t k a   L J ,   2 0 0 6 ,   A N N U   R E V   P S Y C H O L ,   V 5 7 ,   P 5 2 9 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v . p s y c h . 5 7 . 1 0 2 9 0 4 . 1 9 0 0 4 8 ;   W o l t e r s   M . ,   2 0 1 0 ,   P   7   S P E E C H   S Y N T H   W O R 	 1 6 	 0 	 0 	 I S C A - I N T   S P E E C H   C O M M U N I C A T I O N   A S S O C 	 B A I X A S 	 C / O   E M M A N U E L L E   F O X O N E T ,   4   R U E   D E S   F A U V E T T E S ,   L I E U   D I T   L O U S   T O U R I L S ,   B A I X A S ,   F - 6 6 3 9 0 ,   F R A N C E 	 	 	 9 7 8 - 1 - 6 1 8 3 9 - 2 7 0 - 1 	 	 	 	 2 0 1 1 	 	 	 	 	 	 	 3 0 5 6 	 3 0 5 9 	 	 	 	 4 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B E G 8 4 	 W O S : 0 0 0 3 1 6 5 0 2 2 0 1 2 5 3 	 	 
 B 	 B u c h h o l z ,   S ;   L a t o r r e ,   J 	 	 	 I n t     S p e e c h   C o m m u n   A s s o c 	 B u c h h o l z ,   S a b i n e ;   L a t o r r e ,   J a v i e r 	 	 	 C r o w d s o u r c i n g   p r e f e r e n c e   t e s t s ,   a n d   h o w   t o   d e t e c t   c h e a t i n g 	 1 2 T H   A N N U A L   C O N F E R E N C E   O F   T H E   I N T E R N A T I O N A L   S P E E C H   C O M M U N I C A T I O N   A S S O C I A T I O N   2 0 1 1   ( I N T E R S P E E C H   2 0 1 1 ) ,   V O L S   1 - 5 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 2 t h   A n n u a l   C o n f e r e n c e   o f   t h e   I n t e r n a t i o n a l - S p e e c h - C o m m u n i c a t i o n - A s s o c i a t i o n   2 0 1 1   ( I N T E R S P E E C H   2 0 1 1 ) 	 A U G   2 7 - 3 1 ,   2 0 1 1 	 F l o r e n c e ,   I T A L Y 	 I n t   S p e e c h   C o m m u n   A s s o c 	 	 T T S ;   s p e e c h   s y n t h e s i s ;   l i s t e n i n g   t e s t ;   p r e f e r e n c e   t e s t ;   c r o w d s o u r c i n g ;   c h e a t i n g 	 	 W e   d e s c r i b e   a n   a p p r o a c h   t o   c r o w d s o u r c e   t h e   e v a l u a t i o n   o f   T T S   s y s t e m s   b y   p r e f e r e n c e   t e s t s   a n d   r e p o r t   o n   l e s s o n s   l e a r n t   f r o m   r u n n i n g   1 2 7   r e a l - l i f e   c r o w d s o u r c e d   t e s t s .   W e   s h o w   t h a t   a t   l e a s t   o n e   t y p e   o f   c h e a t i n g   b e c o m e s   m o r e   p r e v a l e n t   o v e r   t i m e   i f   l e f t   u n c h e c k e d   a n d   d e v e l o p   m e t r i c s   t o   e x c l u d e   c h e a t e r s .   W e   d e m o n s t r a t e   t h a t   t h e i r   e x c l u s i o n   i m p r o v e s   t e s t   o u t c o m e s . 	 [ B u c h h o l z ,   S a b i n e ;   L a t o r r e ,   J a v i e r ]   T o s h i b a   R e s   E u r o p e   L t d ,   C a m b r i d g e   R e s   L a b ,   C a m b r i d g e ,   E n g l a n d 	 B u c h h o l z ,   S   ( r e p r i n t   a u t h o r ) ,   T o s h i b a   R e s   E u r o p e   L t d ,   C a m b r i d g e   R e s   L a b ,   C a m b r i d g e ,   E n g l a n d . 	 s a b i n e . b u c h h o l z @ c r l . t o s h i b a . c o . u k ;   j a v i e r . l a t o r r e @ c r l . t o s h i b a . c o . u k 	 	 	 	 	 B e n n e t t   C .   L . ,   2 0 0 5 ,   P   I N T   E U R ;   B l a c k   A .   W . ,   2 0 0 5 ,   P   I N T   E U R ;   C a l l i s o n - B u r c h   C . ,   2 0 1 0 ,   P   N A A C L   H L T   W O R K S H   C ;   C h e n   K . - T . ,   2 0 0 9 ,   P   1 7   A C M   I N T   C   M U L T ;   I p e i r o t i s   P .   G . ,   2 0 1 0 ,   P   K D D   H C O M P ;   R i b e i r o   F . ,   2 0 1 1 ,   P   I C A S S P ;   W o l t e r s   M . ,   2 0 1 0 ,   P   7   S P E E C H   S Y N T H   W O R 	 7 	 0 	 0 	 I S C A - I N T   S P E E C H   C O M M U N I C A T I O N   A S S O C 	 B A I X A S 	 C / O   E M M A N U E L L E   F O X O N E T ,   4   R U E   D E S   F A U V E T T E S ,   L I E U   D I T   L O U S   T O U R I L S ,   B A I X A S ,   F - 6 6 3 9 0 ,   F R A N C E 	 	 	 9 7 8 - 1 - 6 1 8 3 9 - 2 7 0 - 1 	 	 	 	 2 0 1 1 	 	 	 	 	 	 	 3 0 6 0 	 3 0 6 3 	 	 	 	 4 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B E G 8 4 	 W O S : 0 0 0 3 1 6 5 0 2 2 0 1 2 5 4 	 	 
 B 	 J u r c i c e k ,   F ;   K e i z e r ,   S ;   G a s i c ,   M ;   M a i r e s s e ,   F ;   T h o m s o n ,   B ;   Y u ,   K ;   Y o u n g ,   S 	 	 	 I n t   S p e e c h   C o m m u n   A s s o c 	 J u r c i c e k ,   F . ;   K e i z e r ,   S . ;   G a s i c ,   M . ;   M a i r e s s e ,   F . ;   T h o m s o n ,   B . ;   Y u ,   K . ;   Y o u n g ,   S . 	 	 	 R e a l   u s e r   e v a l u a t i o n   o f   s p o k e n   d i a l o g u e   s y s t e m s   u s i n g   A m a z o n   M e c h a n i c a l   T u r k 	 1 2 T H   A N N U A L   C O N F E R E N C E   O F   T H E   I N T E R N A T I O N A L   S P E E C H   C O M M U N I C A T I O N   A S S O C I A T I O N   2 0 1 1   ( I N T E R S P E E C H   2 0 1 1 ) ,   V O L S   1 - 5 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 2 t h   A n n u a l   C o n f e r e n c e   o f   t h e   I n t e r n a t i o n a l - S p e e c h - C o m m u n i c a t i o n - A s s o c i a t i o n   2 0 1 1   ( I N T E R S P E E C H   2 0 1 1 ) 	 A U G   2 7 - 3 1 ,   2 0 1 1 	 F l o r e n c e ,   I T A L Y 	 I n t   S p e e c h   C o m m u n   A s s o c 	 	 c r o w d s o u r c i n g ;   s p o k e n   d i a l o g u e   s y s t e m s ;   e v a l u a t i o n 	 	 T h i s   p a p e r   d e s c r i b e s   a   f r a m e w o r k   f o r   e v a l u a t i o n   o f   s p o k e n   d i a l o g u e   s y s t e m s .   T y p i c a l l y ,   e v a l u a t i o n   o f   d i a l o g u e   s y s t e m s   i s   p e r f o r m e d   i n   a   c o n t r o l l e d   t e s t   e n v i r o n m e n t   w i t h   c a r e f u l l y   s e l e c t e d   a n d   i n s t r u c t e d   u s e r s .   H o w e v e r ,   t h i s   a p p r o a c h   i s   v e r y   d e m a n d i n g .   A n   a l t e r n a t i v e   i s   t o   r e c r u i t   a   l a r g e   g r o u p   o f   u s e r s   w h o   e v a l u a t e   t h e   d i a l o g u e   s y s t e m s   i n   a   r e m o t e   s e t t i n g   u n d e r   v i r t u a l l y   n o   s u p e r v i s i o n .   C r o w d s o u r c i n g   t e c h n o l o g y ,   f o r   e x a m p l e   A m a z o n   M e c h a n i c a l   T u r k   ( A M T ) ,   p r o v i d e s   a n   e f f i c i e n t   w a y   o f   r e c r u i t i n g   s u b j e c t s .   T h i s   p a p e r   d e s c r i b e s   a n   e v a l u a t i o n   f r a m e w o r k   f o r   s p o k e n   d i a l o g u e   s y s t e m s   u s i n g   A M T   u s e r s   a n d   c o m p a r e s   t h e   o b t a i n e d   r e s u l t s   w i t h   a   r e c e n t   t r i a l   i n   w h i c h   t h e   s y s t e m s   w e r e   t e s t e d   b y   l o c a l l y   r e c r u i t e d   u s e r s .   T h e   r e s u l t s   s u g g e s t   t h a t   t h e   u s e   o f   c r o w d s o u r c i n g   t e c h n o l o g y   i s   f e a s i b l e   a n d   i t   c a n   p r o v i d e   r e l i a b l e   r e s u l t s . 	 [ J u r c i c e k ,   F . ;   K e i z e r ,   S . ;   G a s i c ,   M . ;   M a i r e s s e ,   F . ;   T h o m s o n ,   B . ;   Y u ,   K . ;   Y o u n g ,   S . ]   U n i v   C a m b r i d g e ,   D e p t   E n g n ,   C a m b r i d g e   C B 2   1 P Z ,   E n g l a n d 	 J u r c i c e k ,   F   ( r e p r i n t   a u t h o r ) ,   U n i v   C a m b r i d g e ,   D e p t   E n g n ,   C a m b r i d g e   C B 2   1 P Z ,   E n g l a n d . 	 f j 2 2 8 @ e n g . c a m . a c . u k ;   s k 5 6 1 @ e n g . c a m . a c . u k ;   m g 4 3 6 @ e n g . c a m . a c . u k ;   f . m a i r e s s e @ e n g . c a m . a c . u k ;   b r m t 2 @ e n g . c a m . a c . u k ;   k y 2 1 9 @ e n g . c a m . a c . u k ;   s j y @ e n g . c a m . a c . u k 	 	 	 	 	 A m a z o n ,   2 0 1 1 ,   A M   M E C H   T U R K ;   G a g i c   M . ,   2 0 0 9 ,   P   A S R U ;   G e i s t   M ,   2 0 1 1 ,   P   W O R K S H   A C T   L E A R N   E ;   J u r c i c e k   F . ,   2 0 1 1 ,   A C M   T S L P   M A C H I N E   L E A ;   K e i z e r   S . ,   2 0 1 0 ,   S I G D I A L   1 0 ;   M a i r e s s e   F . ,   2 0 1 0 ,   P   4 8   A N N   M   A S S   C O M P ;   M a r g e   M . ,   2 0 1 0 ,   I C A S S P ;   P a r e d   G . ,   2 0 1 0 ,   S L T   B E R K   C A   D E C ;   S c h a t z m a n n   J ,   2 0 0 8 ,   T H E S I S   U   C A M B R I D G E ;   S o r o k i n   A . ,   2 0 0 8 ,   C O M P   V I S   P A T T   R E C   W O ;   T h o m s o n   B ,   2 0 1 0 ,   C O M P U T   S P E E C H   L A N G ,   V 2 4 ,   P 5 6 2 ,   D O I   1 0 . 1 0 1 6 / j . c s l . 2 0 0 9 . 0 7 . 0 0 3 ;   Y a n g   Z . ,   2 0 1 0 ,   S L T   B E R K   C A   D E C ;   Y o u n g   S t e v e ,   2 0 1 0 ,   C o m p u t e r   S p e e c h   a n d   L a n g u a g e ,   V 2 4 ,   D O I   1 0 . 1 0 1 6 / j . c s l . 2 0 0 9 . 0 4 . 0 0 1 	 1 3 	 0 	 0 	 I S C A - I N T   S P E E C H   C O M M U N I C A T I O N   A S S O C 	 B A I X A S 	 C / O   E M M A N U E L L E   F O X O N E T ,   4   R U E   D E S   F A U V E T T E S ,   L I E U   D I T   L O U S   T O U R I L S ,   B A I X A S ,   F - 6 6 3 9 0 ,   F R A N C E 	 	 	 9 7 8 - 1 - 6 1 8 3 9 - 2 7 0 - 1 	 	 	 	 2 0 1 1 	 	 	 	 	 	 	 3 0 6 8 	 3 0 7 1 	 	 	 	 4 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B E G 8 4 	 W O S : 0 0 0 3 1 6 5 0 2 2 0 1 2 5 6 	 	 
 B 	 G e l a s ,   H ;   A b a t e ,   S T ;   B e s a c i e r ,   L ;   P e l l e g r i n o ,   F 	 	 	 I n t   S p e e c h   C o m m u n   A s s o c 	 G e l a s ,   H a d r i e n ;   A b a t e ,   S o l o m o n   T e f e r r a ;   B e s a c i e r ,   L a u r e n t ;   P e l l e g r i n o ,   F r a n c o i s 	 	 	 Q u a l i t y   a s s e s s m e n t   o f   c r o w d s o u r c i n g   t r a n s c r i p t i o n s   f o r   A f r i c a n   l a n g u a g e s 	 1 2 T H   A N N U A L   C O N F E R E N C E   O F   T H E   I N T E R N A T I O N A L   S P E E C H   C O M M U N I C A T I O N   A S S O C I A T I O N   2 0 1 1   ( I N T E R S P E E C H   2 0 1 1 ) ,   V O L S   1 - 5 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 2 t h   A n n u a l   C o n f e r e n c e   o f   t h e   I n t e r n a t i o n a l - S p e e c h - C o m m u n i c a t i o n - A s s o c i a t i o n   2 0 1 1   ( I N T E R S P E E C H   2 0 1 1 ) 	 A U G   2 7 - 3 1 ,   2 0 1 1 	 F l o r e n c e ,   I T A L Y 	 I n t   S p e e c h   C o m m u n   A s s o c 	 	 s p e e c h   t r a n s c r i p t i o n ;   u n d e r - r e s o u r c e d   l a n g u a g e s ;   A f r i c a n   l a n g u a g e s ;   A m a z o n ' s   M e c h a n i c a l   T u r k 	 	 W e   e v a l u a t e   t h e   q u a l i t y   o f   s p e e c h   t r a n s c r i p t i o n s   a c q u i r e d   b y   c r o w d s o u r c i n g   t o   d e v e l o p   A S R   a c o u s t i c   m o d e l s   ( A M )   f o r   u n d e r - r e s o u r c e d   l a n g u a g e s .   W e   h a v e   d e v e l o p e d   A M s   u s i n g   r e f e r e n c e   ( R E F )   t r a n s c r i p t i o n s   a n d   t r a n s c r i p t i o n s   f r o m   c r o w d s o u r c i n g   ( T R K )   f o r   S w a h i l i   a n d   A m h a r i c .   W h i l e   t h e   A m h a r i c   t r a n s c r i p t i o n   w a s   m u c h   s l o w e r   t h a n   t h a t   o f   S w a h i l i   t o   c o m p l e t e ,   t h e   s p e e c h   r e c o g n i t i o n   s y s t e m s   d e v e l o p e d   u s i n g   R E F   a n d   T R K   t r a n s c r i p t i o n s   h a v e   a l m o s t   s i m i l a r   ( 4 0 . 1   v s   3 9 . 6   f o r   A m h a r i c   a n d   3 8 . 0   v s   3 8 . 5   f o r   S w a h i l i )   w o r d   r e c o g n i t i o n   e r r o r   r a t e .   M o r e o v e r ,   t h e   c h a r a c t e r   l e v e l   d i s a g r e e m e n t   r a t e s   b e t w e e n   R E F   a n d   T R K   a r e   o n l y   3 . 3 %   a n d   6 . 1 %   f o r   A m h a r i c   a n d   S w a h i l i ,   r e s p e c t i v e l y .   W e   c o n c l u d e   t h a t   i t   i s   p o s s i b l e   t o   a c q u i r e   q u a l i t y   t r a n s c r i p t i o n s   f r o m   t h e   c r o w d   f o r   u n d e r - r e s o u r c e d   l a n g u a g e s   u s i n g   A m a z o n ' s   M e c h a n i c a l   T u r k .   R e c o g n i z i n g   s u c h   a   g r e a t   p o t e n t i a l   o f   i t ,   w e   r e c o m m e n d   s o m e   l e g a l   a n d   e t h i c a l   i s s u e s   t o   c o n s i d e r . 	 [ G e l a s ,   H a d r i e n ;   P e l l e g r i n o ,   F r a n c o i s ]   U n i v   L y o n ,   C N R S ,   L a b   D y n a m   L a n g a g e ,   L y o n ,   F r a n c e 	 G e l a s ,   H   ( r e p r i n t   a u t h o r ) ,   U n i v   L y o n ,   C N R S ,   L a b   D y n a m   L a n g a g e ,   L y o n ,   F r a n c e . 	 h a d r i e n . g e l a s @ u n i v - l y o n 2 . f r ;   s o l o m o n . a b a t e @ i m a g . f r ;   l a u r e n t . b e s a c i e r @ i m a g . f r ;   f r a n c o i s . p e l l e g r i n o @ u n i v - l y o n 2 . f r 	 	 	 	 	 A b a t e   S .   T . ,   2 0 0 5 ,   I N T E R S P E E C H ;   B a r n a r d   E . ,   2 0 1 0 ,   I N T E R S P E E C H ;   B a r n a r d   E . ,   2 0 1 0 ,   A A A I   S   A R T   I N T ;   C a l l i s o n - B u r c h   C h r i s ,   2 0 1 0 ,   N A A C L   H L T   2 0 1 0   W O R K S ;   E v a n i n i   K . ,   N A A C L   H L T   2 0 1 0   W O R K S ;   G r u e n s t e i n   A . ,   2 0 0 9 ,   S L A T E   W O R K S H ;   I p e i r o t i s   P . ,   2 0 1 0 ,   C E D E R 1 0 0 1   N E W   Y O R K   U ;   L a n e   I . ,   N A A C L   H L T   2 0 1 0   W O R K S ;   M a r g e   M . ,   2 0 1 0 ,   I C A S S P ;   M a r g e   M . ,   N A A C L   H L T   2 0 1 0   W O R K S ;   M a r t e n   L u t z ,   2 0 0 6 ,   E N C Y   L A N G U A G E   L I N G U I ,   V X I I ,   P 3 0 4 ;   M c G r a w   I . ,   2 0 0 9 ,   I N T E R S P E E C H ;   M c G r a w   I . ,   L R E C   1 0 ;   N o v o t n e y   S . ,   N A A C L   H L T   2 0 1 0 ;   S n o w   R . ,   E M N L P   0 8 ;   T a c h b e l i e   M .   Y . ,   S L T U   1 0 	 1 6 	 0 	 0 	 I S C A - I N T   S P E E C H   C O M M U N I C A T I O N   A S S O C 	 B A I X A S 	 C / O   E M M A N U E L L E   F O X O N E T ,   4   R U E   D E S   F A U V E T T E S ,   L I E U   D I T   L O U S   T O U R I L S ,   B A I X A S ,   F - 6 6 3 9 0 ,   F R A N C E 	 	 	 9 7 8 - 1 - 6 1 8 3 9 - 2 7 0 - 1 	 	 	 	 2 0 1 1 	 	 	 	 	 	 	 3 0 7 2 	 3 0 7 5 	 	 	 	 4 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B E G 8 4 	 W O S : 0 0 0 3 1 6 5 0 2 2 0 1 2 5 7 	 	 
 B 	 E v a n i n i ,   K ;   Z e c h n e r ,   K 	 	 	 I n t   S p e e c h   C o m m u n   A s s o c 	 E v a n i n i ,   K e e l a n ;   Z e c h n e r ,   K l a u s 	 	 	 U s i n g   c r o w d s o u r c i n g   t o   p r o v i d e   p r o s o d i c   a n n o t a t i o n s   f o r   n o n - n a t i v e   s p e e c h 	 1 2 T H   A N N U A L   C O N F E R E N C E   O F   T H E   I N T E R N A T I O N A L   S P E E C H   C O M M U N I C A T I O N   A S S O C I A T I O N   2 0 1 1   ( I N T E R S P E E C H   2 0 1 1 ) ,   V O L S   1 - 5 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 2 t h   A n n u a l   C o n f e r e n c e   o f   t h e   I n t e r n a t i o n a l - S p e e c h - C o m m u n i c a t i o n - A s s o c i a t i o n   2 0 1 1   ( I N T E R S P E E C H   2 0 1 1 ) 	 A U G   2 7 - 3 1 ,   2 0 1 1 	 F l o r e n c e ,   I T A L Y 	 I n t   S p e e c h   C o m m u n   A s s o c 	 	 c r o w d s o u r c i n g ;   p r o s o d i c   a n n o t a t i o n ;   s t r e s s ;   b o u n d a r y   t o n e 	 	 W e   p r e s e n t   t h e   r e s u l t s   o f   a n   e x p e r i m e n t   i n   w h i c h   2   e x p e r t   a n d   1 1   n a i v e   a n n o t a t o r s   p r o v i d e d   p r o s o d i c   a n n o t a t i o n s   f o r   s t r e s s   a n d   b o u n d a r y   t o n e s   o n   a   c o r p u s   o f   s p o n t a n e o u s   s p e e c h   p r o d u c e d   b y   n o n - n a t i v e   s p e a k e r s   o f   E n g l i s h .   T h e   r e s u l t s   s h o w   t h a t   a g r e e m e n t   r a t e s   w e r e   h i g h e r   f o r   b o u n d a r y   t o n e s   t h a n   f o r   s t r e s s .   I n   a d d i t i o n ,   a   c r o w d s o u r c i n g   a p p r o a c h   w a s   i m p l e m e n t e d   t o   c o m b i n e   t h e   n a i v e   a n n o t a t i o n s   t o   i n c r e a s e   a c c u r a c y .   T h e   c r o w d s o u r c i n g   a p p r o a c h   w a s   a b l e   t o   m a t c h   e x p e r t   a g r e e m e n t   f o r   s t r e s s   ( 6 2 . 1 % )   w i t h   3   n a i v e   a n n o t a t o r s ,   a n d   c o m e   w i t h i n   7 . 2 %   o f   e x p e r t   a g r e e m e n t   f o r   b o u n d a r y   t o n e s   ( 8 2 . 4 % )   w i t h   1 1   n a i v e   a n n o t a t o r s .   T h i s   e x p e r i m e n t   a l s o   d e m o n s t r a t e s   t h a t   n o t i c e a b l e   i m p r o v e m e n t s   i n   n a i v e   a n n o t a t i o n s   c a n   b e   o b t a i n e d   w i t h   a   s m a l l   a m o u n t   o f   a d d i t i o n a l   t r a i n i n g . 	 [ E v a n i n i ,   K e e l a n ;   Z e c h n e r ,   K l a u s ]   E d u c   T e s t i n g   S e r v ,   P r i n c e t o n ,   N J   0 8 5 4 1   U S A 	 E v a n i n i ,   K   ( r e p r i n t   a u t h o r ) ,   E d u c   T e s t i n g   S e r v ,   P r i n c e t o n ,   N J   0 8 5 4 1   U S A . 	 K E v a n i n i @ e t s . o r g ;   K Z e c h n e r @ e t s . o r g 	 	 	 	 	 B u h m a n n   J . ,   2 0 0 2 ,   P   L R E C ;   H o n i g   F . ,   2 0 1 0 ,   P   I S C A   W O R K S H   S P E E C H ;   M a r g e   M . ,   2 0 1 0 ,   P   I C A S S P ;   M a y o   C . ,   1 9 9 6 ,   T H E S I S   U   E D I N B U R G H ;   M o   Y . ,   2 0 0 8 ,   P   S P E E C H   P R O S ;   S n o w   R . ,   2 0 0 8 ,   P   E M N L P ;   T e t r e a u l t   J . ,   2 0 1 0 ,   P   N A A C L   H T L   5   W O R K S H ;   Y o o n   T . - J . ,   2 0 0 4 ,   P   I N T E R S P E E C H 	 8 	 0 	 0 	 I S C A - I N T   S P E E C H   C O M M U N I C A T I O N   A S S O C 	 B A I X A S 	 C / O   E M M A N U E L L E   F O X O N E T ,   4   R U E   D E S   F A U V E T T E S ,   L I E U   D I T   L O U S   T O U R I L S ,   B A I X A S ,   F - 6 6 3 9 0 ,   F R A N C E 	 	 	 9 7 8 - 1 - 6 1 8 3 9 - 2 7 0 - 1 	 	 	 	 2 0 1 1 	 	 	 	 	 	 	 3 0 7 6 	 3 0 7 9 	 	 	 	 4 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B E G 8 4 	 W O S : 0 0 0 3 1 6 5 0 2 2 0 1 2 5 8 	 	 
 B 	 G o t o ,   M ;   O g a t a ,   J 	 	 	 I n t     S p e e c h   C o m m u n   A s s o c 	 G o t o ,   M a s a t a k a ;   O g a t a ,   J u n 	 	 	 P o d C a s t l e :   R e c e n t   A d v a n c e s   o f   A   S p o k e n   D o c u m e n t   R e t r i e v a l   S e r v i c e   I m p r o v e d   b y   A n o n y m o u s   U s e r   C o n t r i b u t i o n s 	 1 2 T H   A N N U A L   C O N F E R E N C E   O F   T H E   I N T E R N A T I O N A L   S P E E C H   C O M M U N I C A T I O N   A S S O C I A T I O N   2 0 1 1   ( I N T E R S P E E C H   2 0 1 1 ) ,   V O L S   1 - 5 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 2 t h   A n n u a l   C o n f e r e n c e   o f   t h e   I n t e r n a t i o n a l - S p e e c h - C o m m u n i c a t i o n - A s s o c i a t i o n   2 0 1 1   ( I N T E R S P E E C H   2 0 1 1 ) 	 A U G   2 7 - 3 1 ,   2 0 1 1 	 F l o r e n c e ,   I T A L Y 	 I n t   S p e e c h   C o m m u n   A s s o c 	 	 s p e e c h   r e t r i e v a l ;   s p o k e n   d o c u m e n t   r e t r i e v a l ;   w i s d o m   o f   c r o w d s ;   c r o w d s o u r c i n g 	 	 I n   t h i s   p a p e r ,   w e   i n t r o d u c e   r e c e n t   a d v a n c e s   o f   a   s p e e c h   r e t r i e v a l   w e b   s e r v i c e ,   P o d C a s t l e ,   t h a t   c o l l e c t s   a n d   a m p l i f i e s   v o l u n t a r y   c o n t r i b u t i o n s   b y   a n o n y m o u s   u s e r s .   O u r   g o a l   i s   t o   p r o v i d e   u s e r s   w i t h   a   p u b l i c   w e b   s e r v i c e   b a s e d   o n   s p e e c h   r e c o g n i t i o n   a n d   c r o w d s o u r c i n g   s o   t h a t   t h e y   c a n   e x p e r i e n c e   s t a t e - o f - t h e - a r t   s p e e c h   r e c o g n i t i o n   p e r f o r m a n c e   t h r o u g h   a   u s e f u l   s e r v i c e .   P o d C a s t l e   e n a b l e s   u s e r s   t o   f i n d   s p e e c h   d a t a   ( s u c h   a s   p o d c a s t s   a n d   Y o u T u b e   v i d e o   c l i p s )   t h a t   i n c l u d e   a   s e a r c h   t e r m ,   r e a d   f u l l   t e x t s   o f   t h e i r   r e c o g n i t i o n   r e s u l t s ,   a n d   e a s i l y   c o r r e c t   r e c o g n i t i o n   e r r o r s   b y   s i m p l y   s e l e c t i n g   f r o m   a   l i s t   o f   c a n d i d a t e s .   T h e   r e s u l t i n g   c o r r e c t i o n s   w e r e   u s e d   t o   i m p r o v e   b o t h   t h e   s p e e c h   r e t r i e v a l   a n d   r e c o g n i t i o n   p e r f o r m a n c e s .   I n   o u r   e x p e r i e n c e s   f r o m   i t s   p r a c t i c a l   u s e   o v e r   t h e   p a s t   f o u r   y e a r s   ( s i n c e   D e c e m b e r ,   2 0 0 6 ) ,   o v e r   h a l f   a   m i l l i o n   r e c o g n i t i o n   e r r o r s   i n   a b o u t   o n e   h u n d r e d   t h o u s a n d   s p e e c h   d a t a   w e r e   c o r r e c t e d   b y   a n o n y m o u s   u s e r s   a n d   w e   c o n f i r m e d   t h a t   t h e   s p e e c h   r e c o g n i t i o n   p e r f o r m a n c e   o f   P o d C a s t l e   w a s   a c t u a l l y   i m p r o v e d   b y   t h o s e   c o r r e c t i o n s . 	 [ G o t o ,   M a s a t a k a ;   O g a t a ,   J u n ]   N a t l   I n s t   A d v   I n d   S c i   &   T e c h n o l ,   T s u k u b a ,   I b a r a k i   3 0 5 8 5 6 8 ,   J a p a n 	 G o t o ,   M   ( r e p r i n t   a u t h o r ) ,   N a t l   I n s t   A d v   I n d   S c i   &   T e c h n o l ,   1 - 1 - 1   U m e z o n o ,   T s u k u b a ,   I b a r a k i   3 0 5 8 5 6 8 ,   J a p a n . 	 	 	 	 	 	 B e s s e r   J . ,   2 0 0 8 ,   P   F G I R   W O R K S H   I N F   R E ,   P 2 7 ;   E t o   K . ,   2 0 0 7 ,   P   I N T   2 0 0 7 ,   P 2 6 1 7 ;   G o t o   M . ,   2 0 1 0 ,   P   P A C L I C ,   V 2 4 ,   P 3 ;   G o t o   M . ,   2 0 0 9 ,   P   I N T   2 0 0 9   1 0   A N N   C ,   P 1 4 9 1 ;   G o t o   M . ,   2 0 1 0 ,   P   K J D B   2 0 1 0 ;   G o t o   M . ,   2 0 0 7 ,   P   I N T   2 0 0 7 ,   P 2 3 9 7 ;   L e e   L S ,   2 0 0 5 ,   I E E E   S I G N A L   P R O C   M A G ,   V 2 2 ,   P 4 2 ;   L u z   S . ,   2 0 1 0 ,   P   K E S   2 0 1 0 ;   M a n g u   L ,   2 0 0 0 ,   C O M P U T   S P E E C H   L A N G ,   V 1 4 ,   P 3 7 3 ,   D O I   1 0 . 1 0 0 6 / c s l a . 2 0 0 0 . 0 1 5 2 ;   O g a t a   J . ,   2 0 0 5 ,   P   E U R   2 0 0 5 ,   P 1 3 3 ;   O g a t a   J . ,   2 0 0 9 ,   P   A C M   M U L T   W O R K S H   S E ,   P 3 7 ,   D O I   1 0 . 1 1 4 5 / 1 6 3 1 1 2 7 . 1 6 3 1 1 3 3 ;   O g a t a   J . ,   2 0 0 0 ,   P   I C S L P   2 0 0 0 ,   P 9 6 7 ;   R a m z a n   N . ,   2 0 1 0 ,   P   A C M   M I R   2 0 1 0 ;   T h o n g   J . - M .   V . ,   2 0 0 2 ,   I E E E   T   M U L T I M E D I A ,   V 4 ,   P 8 8 ;   T u r u n e n   V . ,   2 0 0 5 ,   M A C H I N E   L E A R N I N G   M U L ,   V 3 3 6 1 ,   P 2 5 3 ;   v o n   A h n   L . ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 3 1 9 ,   D O I   1 0 . 1 1 4 5 / 9 8 5 6 9 2 . 9 8 5 7 3 3 ;   V O N A H N   L ,   2 0 0 6 ,   I E E E   C O M P U T E R         M A Y ,   V 3 9 ,   P 9 2 ;   W h i t t a k e r   S . ,   1 9 9 9 ,   P r o c e e d i n g s   o f   S I G I R   ' 9 9 .   2 2 n d   I n t e r n a t i o n a l   C o n f e r e n c e   o n   R e s e a r c h   a n d   D e v e l o p m e n t   i n   I n f o r m a t i o n   R e t r i e v a l ,   D O I   1 0 . 1 1 4 5 / 3 1 2 6 2 4 . 3 1 2 6 3 9 	 1 8 	 0 	 0 	 I S C A - I N T   S P E E C H   C O M M U N I C A T I O N   A S S O C 	 B A I X A S 	 C / O   E M M A N U E L L E   F O X O N E T ,   4   R U E   D E S   F A U V E T T E S ,   L I E U   D I T   L O U S   T O U R I L S ,   B A I X A S ,   F - 6 6 3 9 0 ,   F R A N C E 	 	 	 9 7 8 - 1 - 6 1 8 3 9 - 2 7 0 - 1 	 	 	 	 2 0 1 1 	 	 	 	 	 	 	 3 0 8 0 	 3 0 8 3 	 	 	 	 4 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B E G 8 4 	 W O S : 0 0 0 3 1 6 5 0 2 2 0 1 2 5 9 	 	 
 J 	 P s a i e r ,   H ;   S k o p i k ,   F ;   S c h a l l ,   D ;   D u s t d a r ,   S 	 	 	 I E E E 	 P s a i e r ,   H a r a l d ;   S k o p i k ,   F l o r i a n ;   S c h a l l ,   D a n i e l ;   D u s t d a r ,   S c h a h r a m 	 	 	 R e s o u r c e   a n d   A g r e e m e n t   M a n a g e m e n t   i n   D y n a m i c   C r o w d c o m p u t i n g   E n v i r o n m e n t s 	 1 5 T H   I E E E   I N T E R N A T I O N A L   E N T E R P R I S E   D I S T R I B U T E D   O B J E C T   C O M P U T I N G   C O N F E R E N C E   ( E D O C   2 0 1 1 ) 	 I E E E   I n t e r n a t i o n a l   E n t e r p r i s e   D i s t r i b u t e d   O b j e c t   C o m p u t i n g   C o n f e r e n c e   E D O C 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 5 t h   I E E E   I n t e r n a t i o n a l   E n t e r p r i s e   D i s t r i b u t e d   O b j e c t   C o m p u t i n g   C o n f e r e n c e   ( E D O C ) 	 A U G   2 9 - S E P   0 2 ,   2 0 1 1 	 H e l s i n k i ,   F I N L A N D 	 I E E E ,   I E E E   C o m p   S o c ,   I E E E   C o m m u n   S o c 	 	 c r o w d s o u r c i n g ;   s e r v i c e   a g r e e m e n t s ;   s c h e d u l i n g ;   b e h a v i o r - b a s e d   a d a p t a t i o n 	 M O D E L S ;   A U C T I O N S 	 O p e n   W e b - b a s e d   a n d   s o c i a l   p l a t f o r m s   d r a m a t i c a l l y   i n f l u e n c e   m o d e l s   o f   w o r k .   T o d a y ,   t h e r e   i s   a n   i n c r e a s i n g   i n t e r e s t   i n   o u t s o u r c i n g   t a s k s   t o   c r o w d s o u r c i n g   e n v i r o n m e n t s   t h a t   g u a r a n t e e   p r o f e s s i o n a l   p r o c e s s i n g .   T h e   c h a l l e n g e   i s   t o   g a i n   t h e   c u s t o m e r ' s   c o n f i d e n c e   b y   o r g a n i z i n g   t h e   c r o w d ' s   m i x t u r e   o f   c a p a b i l i t i e s   a n d   s t r u c t u r e   t o   b e c o m e   r e l i a b l e .   T h i s   w o r k   o u t l i n e s   t h e   r e q u i r e m e n t s   f o r   a   r e l i a b l e   m a n a g e m e n t   i n   c r o w d c o m p u t i n g   e n v i r o n m e n t s .   F o r   t h a t   p u r p o s e ,   d i s t i n g u i s h e d   c r o w d   m e m b e r s   a c t   a s   r e s p o n s i b l e   p o i n t s   o f   r e f e r e n c e .   T h e s e   m e m b e r s   m e d i a t e   t h e   c r o w d ' s   w o r k f o r c e ,   s e t t l e   a g r e e m e n t s ,   o r g a n i z e   a c t i v i t i e s ,   s c h e d u l e   t a s k s ,   a n d   m o n i t o r   b e h a v i o r .   A t   t h e   c e n t e r   o f   t h i s   w o r k   w e   p r o v i d e   a   h a r d / s o f t   c o n s t r a i n t s   s c h e d u l i n g   a l g o r i t h m   t h a t   i n t e g r a t e s   e x i s t i n g   a g r e e m e n t   m o d e l s   f o r   s e r v i c e - o r i e n t e d   s y s t e m s   w i t h   c r o w d c o m p u t i n g   e n v i r o n m e n t s .   W e   o u t l i n e   a n   a r c h i t e c t u r e   t h a t   m o n i t o r s   t h e   c a p a b i l i t i e s   o f   c r o w d   m e m b e r s ,   t r i g g e r s   a g r e e m e n t   v i o l a t i o n s ,   a n d   d e p l o y s   c o u n t e r a c t i o n s   t o   c o m p e n s a t e   s e r v i c e   q u a l i t y   d e g r a d a t i o n . 	 [ P s a i e r ,   H a r a l d ;   S k o p i k ,   F l o r i a n ;   S c h a l l ,   D a n i e l ;   D u s t d a r ,   S c h a h r a m ]   V i e n n a   U n i v   T e c h n o l ,   D i s t r i b u t e d   S y s t   G r p ,   A - 1 0 4 0   V i e n n a ,   A u s t r i a 	 P s a i e r ,   H   ( r e p r i n t   a u t h o r ) ,   V i e n n a   U n i v   T e c h n o l ,   D i s t r i b u t e d   S y s t   G r p ,   A r g e n t i n i e r s t r   8 - 1 8 4 - 1 ,   A - 1 0 4 0   V i e n n a ,   A u s t r i a . 	 p s a i e r @ i n f o s y s . t u w i e n . a c . a t ;   s k o p i k @ i n f o s y s . t u w i e n . a c . a t ;   s c h a l l @ i n f o s y s . t u w i e n . a c . a t ;   d u s t d a r @ i n f o s y s . t u w i e n . a c . a t 	 	 	 	 	 A g r a w a l   A . ,   2 0 0 7 ,   W S   B P E L   E X T E N S I O N   P E ;   A n d r i e u x   A . ,   2 0 0 7 ,   W E B   S E R V I C E S   A G R E E M E ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   C a p r a r a   A ,   2 0 0 3 ,   M A T H   P R O G R A M ,   V 9 8 ,   P 4 4 5 ,   D O I   1 0 . 1 0 0 7 / s 1 0 1 0 7 - 0 0 3 - 0 4 1 3 - 7 ;   C H E   Y K ,   1 9 9 3 ,   R A N D   J   E C O N ,   V 2 4 ,   P 6 6 8 ,   D O I   1 0 . 2 3 0 7 / 2 5 5 5 7 5 2 ;   C o w l i n g   P ,   2 0 0 6 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 9 0 6 ,   P 1 3 ;   D u j m o v i c   J J ,   2 0 0 7 ,   I N T   J   A P P R O X   R E A S O N ,   V 4 6 ,   P 4 2 3 ,   D O I   [ 1 0 . 1 0 1 6 / j . i j a r . 2 0 0 6 . 1 2 . 0 1 1 ,   1 0 . 1 0 1 6 / j . i j a r . 2 0 0 6 . 1 2 . 0 1 ] ;   E r n s t   A T ,   2 0 0 4 ,   E U R   J   O P E R   R E S ,   V 1 5 3 ,   P 3 ,   D O I   1 0 . 1 0 1 6 / S 0 3 7 7 - 2 2 1 7 ( 0 3 ) 0 0 0 9 5 - X ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   S S R N   E L I B R A R Y ,   V 1 7 ,   P 1 6 ;   L a   V e c c h i a   G . ,   2 0 1 0 ,   C u r r e n t   T r e n d s   i n   W e b   E n g ,   V 6 3 8 5 ,   P 4 2 5 ;   L u d w i g   H ,   2 0 0 6 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 2 0 8 ,   P 7 5 3 ;   L u d w i g   H . ,   2 0 0 3 ,   W E B   S E R V I C E   L E V E L   A G ;   P a r k e s   D C ,   2 0 0 5 ,   M A N A G E   S C I ,   V 5 1 ,   P 4 3 5 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 4 0 . 0 3 4 0 ;   P s a i e r   H . ,   2 0 1 0 ,   C O M P S A C .   I E E E ,   P 3 5 7 ;   P s a i e r   H . ,   2 0 1 0 ,   S A S O ,   P 1 6 4 ;   S c h a l l   D ,   2 0 0 8 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 2 ,   P 6 2 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 0 8 . 6 6 ;   S k o p i k   F ,   2 0 1 0 ,   I N F O R M   S Y S T ,   V 3 5 ,   P 7 3 5 ,   D O I   1 0 . 1 0 1 6 / j . i s . 2 0 1 0 . 0 3 . 0 0 1 ;   S o u s a   J P ,   2 0 0 6 ,   I E E E   T   S Y S T   M A N   C Y   C ,   V 3 6 ,   P 3 2 8 ,   D O I   1 0 . 1 1 0 9 / T S M C C . 2 0 0 6 . 8 7 1 5 8 8 ;   V u k o v i c   M a j a ,   2 0 0 9 ,   P r o c e e d i n g s   o f   t h e   2 0 0 9   I E E E   C o n g r e s s   o n   S e r v i c e s .   S E R V I C E S   2 0 0 9 ,   D O I   1 0 . 1 1 0 9 / S E R V I C E S - I . 2 0 0 9 . 5 6 	 1 9 	 4 	 4 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 2 6 4   U S A 	 1 5 4 1 - 7 7 1 9 	 	 9 7 8 - 0 - 7 6 9 5 - 4 4 2 5 - 0 	 I E E E   E D O C   C O N F 	 	 	 2 0 1 1 	 	 	 	 	 	 	 1 9 3 	 2 0 2 	 	 1 0 . 1 1 0 9 / E D O C . 2 0 1 1 . 9 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B Y G 9 8 	 W O S : 0 0 0 2 9 8 6 6 0 2 0 0 0 2 0 	 	 
 B 	 R i b e i r o ,   F ;   F l o r e n c i o ,   D 	 	 	 I E E E 	 R i b e i r o ,   F l a v i o ;   F l o r e n c i o ,   D i n e i 	 	 	 R e g i o n   o f   I n t e r e s t   D e t e r m i n a t i o n   U s i n g   H u m a n   C o m p u t a t i o n 	 2 0 1 1   I E E E   1 3 T H   I N T E R N A T I O N A L   W O R K S H O P   O N   M U L T I M E D I A   S I G N A L   P R O C E S S I N G   ( M M S P ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 3 t h   I E E E   I n t e r n a t i o n a l   W o r k s h o p   o n   M u l t i m e d i a   S i g n a l   P r o c e s s i n g   ( M M S P ) 	 O C T   1 7 - 1 9 ,   2 0 1 1 	 H a n g z h o u ,   P E O P L E S   R   C H I N A 	 I E E E ,   I E E E   S i g n a l   P r o c e s s   S o c ,   B e i j i n g   B a i d u   N e t c o m   S c i   T e c h n o l   C o   L t d ,   M i c r o s o f t   R e s ,   M i t s u b i s h i   E l e c t   R e s   L a b s ,   N a t l   N a t   S c i   F d n   C h i n a   ( N S F C ) 	 	 r e g i o n   o f   i n t e r e s t ;   f o v e a t i o n ;   p o i n t   o f   g a z e ;   f i x a t i o n   s e l e c t i o n ;   h u m a n   v i s u a l   s y s t e m ;   c r o w d s o u r c i n g ;   m e c h a n i c a l   t u r k 	 	 T h e   a b i l i t y   t o   i d e n t i f y   a n d   t r a c k   v i s u a l l y   i n t e r e s t i n g   r e g i o n s   h a s   m a n y   p r a c t i c a l   a p p l i c a t i o n s   -   f o r   e x a m p l e ,   i n   i m a g e   a n d   v i d e o   c o m p r e s s i o n ,   v i s u a l   m a r k e t i n g   a n d   f o v e a l   m a c h i n e   v i s i o n .   D u e   t o   c h a l l e n g e s   i n   m o d e l i n g   t h e   p e c u l i a r i t i e s   o f   h u m a n   p h y s i o l o g i c a l   a n d   p s y c h o l o g i c a l   r e s p o n s e s ,   a u t o m a t i c   d e t e c t i o n   o f   f i x a t i o n   p o i n t s   i s   a n   o p e n   p r o b l e m .   I n d e e d ,   n o   o b j e c t i v e   m e t h o d s   a r e   c u r r e n t l y   c a p a b l e   o f   f u l l y   m o d e l i n g   t h e   h u m a n   p e r c e p t i o n   o f   r e g i o n s   o f   i n t e r e s t   ( R O I s ) .   T h u s ,   r e s e a r c h   o f t e n   r e l i e s   o n   u s e r   s t u d i e s   w i t h   e y e   t r a c k i n g   s y s t e m s .   I n   t h i s   p a p e r   w e   p r o p o s e   a   c o s t - e f f e c t i v e   a n d   c o n v e n i e n t   a l t e r n a t i v e ,   o b t a i n e d   b y   h a v i n g   i n t e r n e t   w o r k e r s   a n n o t a t e   v i d e o s   w i t h   R O I   c o o r d i n a t e s .   T h e   w o r k e r s   u s e   a n   i n t e r a c t i v e   v i d e o   p l a y e r   w i t h   a   s i m u l a t e d   m o u s e - d r i v e n   f o v e a ,   w h i c h   m o d e l s   t h e   f a l l - o f f   i n   r e s o l u t i o n   o f   t h e   h u m a n   v i s u a l   s y s t e m .   S i n c e   t h i s   a p p r o a c h   i s   n o t   s u p e r v i s e d ,   w e   i m p l e m e n t   m e t h o d s   f o r   i d e n t i f y i n g   i n a c c u r a t e   o r   m a l i c i o u s   r e s u l t s .   U s i n g   t h i s   p r o p o s a l ,   o n e   c a n   c o l l e c t   R O I   d a t a   i n   a n   a u t o m a t e d   f a s h i o n ,   a n d   a t   a   m u c h   l o w e r   c o s t   t h a n   l a b o r a t o r y   s t u d i e s . 	 [ R i b e i r o ,   F l a v i o ]   U n i v   S a o   P a u l o ,   D e p t   E l e c t   S y s t   E n g n ,   B R - 0 5 5 0 8   S a o   P a u l o ,   B r a z i l 	 R i b e i r o ,   F   ( r e p r i n t   a u t h o r ) ,   U n i v   S a o   P a u l o ,   D e p t   E l e c t   S y s t   E n g n ,   B R - 0 5 5 0 8   S a o   P a u l o ,   B r a z i l . 	 f r @ l p s . u s p . b r ;   d i n e i @ m i c r o s o f t . c o m 	 	 	 	 	 A v r a h a m   T ,   2 0 1 0 ,   I E E E   T   P A T T E R N   A N A L ,   V 3 2 ,   P 6 9 3 ,   D O I   [ 1 0 . 1 1 0 9 / T P A M I . 2 0 0 9 . 5 3 ,   1 0 . 1 1 0 9 / T P A M I / 2 0 0 9 . 5 3 ] ;   C a r l i e r   A . ,   2 0 1 0 ;   C h r i s t o p o u l o s   C ,   2 0 0 0 ,   I E E E   T   C O N S U M   E L E C T R ,   V 4 6 ,   P 1 1 0 3 ,   D O I   1 0 . 1 1 0 9 / 3 0 . 9 2 0 4 6 8 ;   D u c h o w s k i   A .   T . ,   2 0 0 7 ,   E Y E   T R A C K I N G   M E T H O D O ;   F I S C H E R   B ,   1 9 8 4 ,   E X P   B R A I N   R E S ,   V 5 7 ,   P 1 9 1 ;   G a o   X W ,   2 0 0 6 ,   J   V I S   C O M M U N   I M A G E   R ,   V 1 7 ,   P 6 7 5 ,   D O I   1 0 . 1 0 1 6 / j . j v c i r . 2 0 0 5 . 1 0 . 0 0 3 ;   G e i s l e r   W .   S . ,   1 9 9 8 ;   H u a n g   T .   H . ,   2 0 0 9 ;   J U D D   T ,   2 0 0 9 ,   P   I N T   C   C O M P   V I S   P A T ,   P 2 1 0 6 ;   K i m   Y .   E . ,   2 0 0 8 ;   L e e   S ,   2 0 0 3 ,   I E E E   T   C I R C   S Y S T   V I D ,   V 1 3 ,   P 1 4 9 ,   D O I   1 0 . 1 1 0 9 / T C S V T . 2 0 0 2 . 8 0 8 4 4 1 ;   L i u   T ,   2 0 1 1 ,   I E E E   T   P A T T E R N   A N A L ,   V 3 3 ,   P 3 5 3 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 1 0 . 7 0 ;   P e r r y   J S ,   2 0 0 2 ,   P   S O C   P H O T O - O P T   I N S ,   V 4 6 6 2 ,   P 5 7 ,   D O I   1 0 . 1 1 1 7 / 1 2 . 4 6 9 5 5 4 ;   R a j a s h e k a r   U ,   2 0 0 8 ,   I E E E   T   I M A G E   P R O C E S S ,   V 1 7 ,   P 5 6 4 ,   D O I   1 0 . 1 1 0 9 / T I P . 2 0 0 8 . 9 1 7 2 1 8 ;   R i b e i r o   F . ,   2 0 1 1 ;   R i b e i r o   F . ,   2 0 1 1 ,   P   I C A S S P ;   R i b e i r o   F . ,   C R O W D M O S   S T A N D A L O N E ;   v o n   A h n   L ,   2 0 0 8 ,   C O M M U N   A C M ,   V 5 1 ,   P 5 8 ,   D O I   1 0 . 1 1 4 5 / 1 3 7 8 7 0 4 . 1 3 7 8 7 1 9 ;   W a n d e l l   B .   A . ,   1 9 9 5 ,   F D N   V I S I O N 	 1 9 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 5 7 7 - 1 4 3 4 - 4 	 	 	 	 2 0 1 1 	 	 	 	 	 	 	 	 	 	 	 	 5 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B X Z 8 9 	 W O S : 0 0 0 2 9 7 7 3 3 2 0 0 0 7 0 	 	 
 J 	 K a r n o u s k o s ,   S 	 	 	 I E E E 	 K a r n o u s k o s ,   S t a m a t i s 	 	 	 C r o w d s o u r c i n g   i n f o r m a t i o n   v i a   m o b i l e   d e v i c e s   a s   a   m i g r a t i o n   e n a b l e r   t o w a r d s   t h e   S m a r t G r i d 	 2 0 1 1   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   S M A R T   G R I D   C O M M U N I C A T I O N S   ( S M A R T G R I D C O M M ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S m a r t   G r i d   C o m m u n i c a t i o n s   ( S m a r t G r i d C o m m ) 	 O C T   1 7 - 2 0 ,   2 0 1 1 	 B r u s s e l s ,   B E L G I U M 	 I E E E 	 	 	 	 T h e   h i g h   p e n e t r a t i o n   o f   m o b i l e   d e v i c e s   i s   a n   i n d i c a t o r   s h o w i n g   t h e i r   i m p a c t   t o   o u r   d a i l y   l i f e ,   w i t n e s s e d   v i a   t h e   d i v e r s e   s e r v i c e s   o f f e r e d   t h r o u g h   t h e m .   I n   t h e   e n e r g y   d o m a i n   t h e y   c a n   b e   u s e d   a s   a   t o o l   f o r   b i d i r e c t i o n a l   c o m m u n i c a t i o n   b e t w e e n   t h e   e n e r g y   p r o s u m e r s   a n d   t h e   o t h e r   e n v i s i o n e d   a c t o r s   i n   t h e   S m a r t G r i d .   M o s t   t r i a l s   t o d a y   r e q u i r e   a d d i t i o n a l   h a r d w a r e   i n s t a l l a t i o n s   a t   u s e r ' s   s i d e   i n   o r d e r   t o   c o l l e c t   m e t e r i n g   d a t a   a n d   u s e   i t   f o r   e n e r g y   o p t i m i z a t i o n ;   h o w e v e r   s i m i l a r   i n f o r m a t i o n   c a n   b e   a c q u i r e d   f r o m   t h e   u s e r s   a n d   i n   m a n y   c a s e s   t h e   q u a l i t y   o f   i n f o r m a t i o n   m a y   b e   c o m p a r a t i v e   o r   b e t t e r   t h a n   t h e   p a s s i v e   m e t h o d s   a p p l i e d   t o d a y   ( e s p e c i a l l y   w h e n   c o n s i d e r i n g   e s t i m a t e d   f u t u r e   u s e r   b e h a v i o r ) .   W e   b e l i e v e   t h a t   m o b i l e   d e v i c e s   c a n   p l a y   a   k e y   r o l e   i n   u s e r - a s s i s t e d   d a t a   a c q u i s i t i o n   a n d   p r e d i c t i o n ,   a s   w e l l   a s   e m p o w e r   a p p r o a c h e s   d e a l i n g   w i t h   a n a l y t i c s ,   w h a t - i f   s i m u l a t i o n s   e t c .   I n   t h i s   c a p a c i t y   c r o w d s o u r c i n g   e n e r g y   i n f o r m a t i o n   v i a   t h e   u s e   o f   m o b i l e   d e v i c e s   c a n   s e r v e   a s   a n   e n a b l i n g   t e c h n o l o g y   u n t i l   t h e   S m a r t G r i d   a n d   i t s   s e r v i c e s   a r e   f u l l y   d e p l o y e d .   W e   p r e s e n t   h e r e   t h e   k e y   e n v i s i o n e d   i d e a s ,   a n   a r c h i t e c t u r e   a s   w e l l   a s   a   p r o t o t y p e   i m p l e m e n t a t i o n   f o r   t h e i r   r e a l i z a t i o n . 	 S A P   R e s ,   K a r l s r u h e ,   G e r m a n y 	 K a r n o u s k o s ,   S   ( r e p r i n t   a u t h o r ) ,   S A P   R e s ,   K a r l s r u h e ,   G e r m a n y . 	 s t a m a t i s . k a r n o u s k o s @ s a p . c o m 	 	 	 	 	 D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   E a s l e y   D . ,   2 0 1 0 ,   N E T W O R K S   C R O W D S   M A R K ;   F e d e r a t i o n   o f   G e r m a n   I n d u s t r i e s   ( B D I ) ,   2 0 1 0 ,   B D I   P U B L ,   V 4 3 9 ;   K a r n o u s k o s   S . ,   2 0 1 1 ,   I E E E   9   I N T   C   I N D   I N F ;   K a r n o u s k o s   S . ,   2 0 1 1 ,   2 1   I N T   C   E X H   E L   D I S T ;   K a r n o u s k o s   S . ,   2 0 1 0 ,   P   1 4   I E E E   I N T   S   C O N S ;   M u l l e r   J . ,   2 0 1 1 ,   I E E E   1 7   I N T   C   I N D   E N ;   N i c o l o s i   M ,   2 0 1 0 ,   E N E R G   P O L I C Y ,   V 3 8 ,   P 7 2 5 7 ,   D O I   1 0 . 1 0 1 6 / j . e n p o l . 2 0 1 0 . 0 8 . 0 0 2 ;   S m a r t G r i d s   E u r o p e a n   T e c h n o l o g y   P l a t f o r m ,   2 0 1 0 ,   S M A R T G R   S T R A T   D E P L   D ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   W e i s s   M . ,   2 0 1 0 ,   7   I N T   I C S T   C   M O B   U B 	 1 1 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 5 7 7 - 1 7 0 2 - 4 	 	 	 	 2 0 1 1 	 	 	 	 	 	 	 	 	 	 	 	 6 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 B J T 3 8 	 W O S : 0 0 0 3 3 0 1 7 0 1 0 0 0 1 2 	 	 
 J 	 S h a r i f i ,   M ;   F i n k ,   E ;   C a r b o n e l l ,   J G 	 	 	 I E E E 	 S h a r i f i ,   M e h r b o d ;   F i n k ,   E u g e n e ;   C a r b o n e l l ,   J a i m e   G . 	 	 	 S m a r t N o t e s :   A p p l i c a t i o n   o f   C r o w d s o u r c i n g   t o   t h e   D e t e c t i o n   o f   W e b   T h r e a t s 	 2 0 1 1   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   S Y S T E M S ,   M A N ,   A N D   C Y B E R N E T I C S   ( S M C ) 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S y s t e m s   M a n   a n d   C y b e r n e t i c s   C o n f e r e n c e   P r o c e e d i n g s 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S y s t e m s ,   M a n   a n d   C y b e r n e t i c s   ( S M C ) 	 O C T   0 9 - 1 2 ,   2 0 1 1 	 A n c h o r a g e ,   A K 	 I E E E ,   I E E E   S y s t ,   M a n   &   C y b e r n e t   S o c ,   I E E E   C i r c u i t s   &   S y s t   S o c   ( C A S ) ,   I E E E   E n g n ,   M e d   &   B i o l   S o c   ( E M B ) 	 	 C r o w d s o u r c i n g ;   m a c h i n e   l e a r n i n g ;   w e b   s e c u r i t y 	 	 W e   d e s c r i b e   a   c r o w d s o u r c i n g   s y s t e m ,   c a l l e d   S m a r t N o t e s ,   w h i c h   d e t e c t s   s e c u r i t y   t h r e a t s   r e l a t e d   t o   w e b   b r o w s i n g ,   s u c h   a s   I n t e r n e t   s c a m s ,   d e c e p t i v e   s a l e s   o f   s u b s t a n d a r d   p r o d u c t s ,   a n d   w e b s i t e s   w i t h   i n t e n t i o n a l l y   m i s l e a d i n g   i n f o r m a t i o n .   I t   c o m b i n e s   a u t o m a t i c a l l y   c o l l e c t e d   d a t a   a b o u t   w e b s i t e s   w i t h   u s e r   v o t e s   a n d   c o m m e n t s ,   a n d   u s e s   t h e m   t o   i d e n t i f y   p o t e n t i a l   t h r e a t s .   W e   h a v e   i m p l e m e n t e d   i t   a s   a   b r o w s e r   e x t e n s i o n ,   w h i c h   i s   a v a i l a b l e   f o r   f r e e   p u b l i c   u s e . 	 [ S h a r i f i ,   M e h r b o d ;   F i n k ,   E u g e n e ;   C a r b o n e l l ,   J a i m e   G . ]   C a r n e g i e   M e l l o n   U n i v ,   P i t t s b u r g h ,   P A   1 5 2 1 7   U S A 	 S h a r i f i ,   M   ( r e p r i n t   a u t h o r ) ,   C a r n e g i e   M e l l o n   U n i v ,   P i t t s b u r g h ,   P A   1 5 2 1 7   U S A . 	 m e h r b o d @ c s . c m u . e d u ;   e u g e n e f i n k @ c m u . e d u ;   j g c @ c s . c m u . e d u 	 	 	 	 	 A n d e r s o n   D .   S . ,   2 0 0 7 ,   P   1 6   U S E N I X   S E C   S ;   B a r t h   A ,   2 0 0 8 ,   P   1 5   A C M   C   C O M P   C O M M ,   P 7 5 ,   D O I   1 0 . 1 1 4 5 / 1 4 5 5 7 7 0 . 1 4 5 5 7 8 2 ;   B e c c h e t t i   L ,   2 0 0 8 ,   A C M   T   W E B ,   V 2 ,   D O I   1 0 . 1 1 4 5 / 1 3 2 6 5 6 1 . 1 3 2 6 5 6 3 ;   C o r m a c k   G .   V . ,   2 0 1 0 ,   E F F I C I E N T   E F F E   U N P U B ;   C o r m a c k   G .   V . ,   2 0 0 7 ,   P   T R E C   2 0 0 7 ;   C o r m a c k   G .   V . ,   2 0 0 7 ,   P   3   I N T   W O R K S H   A D V   I ;   C o v a   M ,   2 0 1 0 ,   P   1 9   I N T   C   W O R L D   W I D ,   P 2 8 1 ,   D O I   1 0 . 1 1 4 5 / 1 7 7 2 6 9 0 . 1 7 7 2 7 2 0 ;   G y n g y i   Z . ,   2 0 0 5 ,   P   1   I N T   W O R K S H   A D V   I ;   K u m a r   P ,   2 0 0 9 ,   C O M B U S T   E X P L O   S H O C K + ,   V 4 5 ,   P 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 5 7 3 - 0 0 9 - 0 0 0 1 - 0 ;   S a m u e l   J . ,   2 0 0 9 ,   P   9   P R I V   E N H   T E C H N   S ;   S h a r i f i   M . ,   2 0 1 0 ,   P   I E E E   I N T   C   S Y S T   M A ;   S h a r i f i   M . ,   2 0 1 1 ,   P   I E E E   I N T   C   S Y S T   M A 	 1 2 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 0 6 2 - 9 2 2 X 	 	 9 7 8 - 1 - 4 5 7 7 - 0 6 5 3 - 0 	 I E E E   S Y S   M A N   C Y B E R N 	 	 	 2 0 1 1 	 	 	 	 	 	 	 1 3 4 6 	 1 3 5 0 	 	 	 	 5 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   C y b e r n e t i c s ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 B Y G 7 1 	 W O S : 0 0 0 2 9 8 6 1 5 1 0 1 0 9 3 	 	 
 J 	 S h i n s e l ,   A ;   K u l e s z a ,   T ;   B u r n e t t ,   M ;   C u r r a n ,   W ;   G r o c e ,   A ;   S t u m p f ,   S ;   W o n g ,   W K 	 	 C o s t a g l i o l a ,   G ;   K o ,   A ;   C y p h e r ,   A ;   N i c h o l s ,   J ;   S c a f f i d i ,   C ;   K e l l e h e r ,   C ;   M y e r s ,   B 	 	 S h i n s e l ,   A m b e r ;   K u l e s z a ,   T o d d ;   B u r n e t t ,   M a r g a r e t ;   C u r r a n ,   W i l l i a m ;   G r o c e ,   A l e x ;   S t u m p f ,   S i m o n e ;   W o n g ,   W e n g - K e e n 	 	 	 M i n i - C r o w d s o u r c i n g   E n d - U s e r   A s s e s s m e n t   o f   I n t e l l i g e n t   A s s i s t a n t s :   A   C o s t - B e n e f i t   S t u d y 	 2 0 1 1   I E E E   S Y M P O S I U M   O N   V I S U A L   L A N G U A G E S   A N D   H U M A N - C E N T R I C   C O M P U T I N G   ( V L / H C C   2 0 1 1 ) 	 S y m p o s i u m   o n   V i s u a l   L a n g u a g e s   a n d   H u m a n   C e n t r i c   C o m p u t i n g   V L   H C C 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   S y m p o s i u m   o n   V i s u a l   L a n g u a g e s   a n d   H u m a n - C e n t r i c   C o m p u t i n g   ( V L / H C C ) 	 S E P   1 8 - 2 2 ,   2 0 1 1 	 P i t t s b u r g h ,   P A 	 I E E E ,   I E E E   C o m p   S o c ,   N S F ,   M i c r o s o f t   R e s ,   N a t l   I n s t r u m e n t s ,   T E R S U S ,   N O R T H W O O D S   S O F T W A R E ,   U n l i m i t e d   S o f t w a r e 	 C a r n e g i e   M e l l o n   U n i v 	 e n d - u s e r   p r o g r a m m i n g ;   t e s t i n g ;   c r o w d s o u r c i n g ;   m a c h i n e   l e a r n i n g 	 	 I n t e l l i g e n t   a s s i s t a n t s   s o m e t i m e s   h a n d l e   t a s k s   t o o   i m p o r t a n t   t o   b e   t r u s t e d   i m p l i c i t l y .   E n d   u s e r s   c a n   e s t a b l i s h   t r u s t   v i a   s y s t e m a t i c   a s s e s s m e n t ,   b u t   s u c h   a s s e s s m e n t   i s   c o s t l y .   T h i s   p a p e r   i n v e s t i g a t e s   w h e t h e r ,   w h e n ,   a n d   h o w   b r i n g i n g   a   s m a l l   c r o w d   o f   e n d   u s e r s   t o   b e a r   o n   t h e   a s s e s s m e n t   o f   a n   i n t e l l i g e n t   a s s i s t a n t   i s   u s e f u l   f r o m   a   c o s t / b e n e f i t   p e r s p e c t i v e .   O u r   r e s u l t s   s h o w   t h a t   a   m i n i - c r o w d   o f   t e s t e r s   s u p p l i e d   m a n y   m o r e   b e n e f i t s   t h a n   t h e   o b v i o u s   d e c r e a s e   i n   w o r k l o a d ,   b u t   t h e s e   b e n e f i t s   d i d   n o t   s c a l e   l i n e a r l y   a s   m i n i - c r o w d   s i z e   i n c r e a s e d - t h e r e   w a s   a   p o i n t   o f   d i m i n i s h i n g   r e t u r n s   w h e r e   t h e   c o s t - b e n e f i t   r a t i o   b e c a m e   l e s s   a t t r a c t i v e . 	 [ S h i n s e l ,   A m b e r ;   K u l e s z a ,   T o d d ;   B u r n e t t ,   M a r g a r e t ;   C u r r a n ,   W i l l i a m ;   G r o c e ,   A l e x ;   W o n g ,   W e n g - K e e n ]   O r e g o n   S t a t e   U n i v ,   C o r v a l l i s ,   O R   9 7 3 3 1   U S A 	 S h i n s e l ,   A   ( r e p r i n t   a u t h o r ) ,   O r e g o n   S t a t e   U n i v ,   C o r v a l l i s ,   O R   9 7 3 3 1   U S A . 	 s h i n s e l a @ e e c s . o r e g o n s t a t e . e d u ;   k u l e s z t o @ e e c s . o r e g o n s t a t e . e d u ;   b u r n e t t @ e e c s . o r e g o n s t a t e . e d u ;   c u r r a n w @ e e c s . o r e g o n s t a t e . e d u ;   a l e x @ e e c s . o r e g o n s t a t e . e d u ;   S i m o n e . S t u m p f . 1 @ c i t y . a c . u k ;   w o n g @ e e c s . o r e g o n s t a t e . e d u 	 	 	 	 	 A m b a t i   V . ,   2 0 1 0 ,   P   L R E C ,   V 2 0 1 0 ,   P 2 1 6 9 ;   B e i z e r   B . ,   1 9 9 0 ,   S O F T W A R E   T E S T I N G   T E C ;   C h a n g   C . - C . ,   2 0 0 1 ,   L I B S V M   L I B   S U P P O R T   V ;   G l a s s   A . ,   2 0 0 8 ,   P   1 3   I N T   C   I N T   U S   I N ,   P 2 2 7 ,   D O I   1 0 . 1 1 4 5 / 1 3 7 8 7 7 3 . 1 3 7 8 8 0 4 ;   G r a d y   C . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 7 2 ;   H A R T   S   G ,   1 9 8 8 ,   P 1 3 9 ;   H E E R   J ,   2 0 1 0 ,   P   2 8   I N T   C   H U M   F A C T ,   P 2 0 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 5 3 3 2 6 . 1 7 5 3 3 5 7 ;   K i t t u r   A . ,   2 0 0 8 ,   P   2 6   A N N   S I G C H I   C   H U ,   P 4 5 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 5 7 0 5 4 . 1 3 5 7 1 2 7 ;   K n i e s e l   G . ,   2 0 0 5 ,   N E W S G R O U P   D A T A   S E T ;   K u l e s z a   T ,   L N C S ,   P 1 7 1 ;   K u l e s z a   T . ,   2 0 0 9 ,   P   I U I   2 0 0 9 ,   P 1 8 7 ;   K u l e s z a   T o d d ,   2 0 1 0 ,   P r o c e e d i n g s   2 0 1 0   I E E E   S y m p o s i u m   o n   V i s u a l   L a n g u a g e s   a n d   H u m a n - C e n t r i c   C o m p u t i n g   ( V L / H C C   2 0 1 0 ) ,   D O I   1 0 . 1 1 0 9 / V L H C C . 2 0 1 0 . 1 5 ;   L A T A N E   B ,   1 9 7 9 ,   J   P E R S   S O C   P S Y C H O L ,   V 3 7 ,   P 8 2 2 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 2 - 3 5 1 4 . 3 7 . 6 . 8 2 2 ;   L i m   B ,   2 0 1 0 ,   P   I N T   C   U B   C O M P   A C M ,   P 1 3 ,   D O I   1 0 . 1 1 4 5 / 1 8 6 4 3 4 9 . 1 8 6 4 3 5 3 ;   L i m   B . Y . ,   2 0 0 9 ,   P   C H I   2 0 0 9 ,   P 2 1 1 9 ,   D O I   1 0 . 1 1 4 5 / 1 5 1 8 7 0 1 . 1 5 1 9 0 2 3 ;   R i u n g u   L ,   2 0 1 0 ,   I N T   C   C L O U D   C O M P   T E C ,   P 5 5 7 ;   R o t h e r m e l   G ,   2 0 0 1 ,   A C M   T   S O F T W   E N G   M E T H ,   V 1 0 ,   P 1 1 0 ,   D O I   1 0 . 1 1 4 5 / 3 6 6 3 7 8 . 3 6 6 3 8 5 ;   R u t h r u f f   J R ,   2 0 0 5 ,   J   V I S U A L   L A N G   C O M P U T ,   V 1 6 ,   P 3 ,   D O I   1 0 . 1 0 1 6 / j . j v l c . 2 0 0 4 . 0 7 . 0 0 1 ;   T a l b o t   J ,   2 0 0 9 ,   P   C H I   A C M ,   P 1 2 8 3 ,   D O I   1 0 . 1 1 4 5 / 1 5 1 8 7 0 1 . 1 5 1 8 8 9 5 ;   v o n   A h n   L ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 1 ,   P 1 4 6 5 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 0 3 7 9 	 2 0 	 1 	 1 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 2 6 4   U S A 	 1 9 4 3 - 6 0 9 2 	 	 9 7 8 - 1 - 4 5 7 7 - 1 2 4 5 - 6 	 S   V I S   L A N G   H U M   C E N   C 	 	 	 2 0 1 1 	 	 	 	 	 	 	 4 7 	 5 4 	 	 	 	 8 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 B Y L 7 9 	 W O S : 0 0 0 2 9 9 2 8 3 5 0 0 0 0 9 	 	 
 B 	 W a n g ,   S ;   C h e n ,   J ;   X i e ,   F 	 	 K o c a o g l u ,   D F ;   A n d e r s o n ,   T R ;   D a i m ,   T U 	 	 W a n g ,   S h u ;   C h e n ,   J i n ;   X i e ,   F a n g 	 	 	 I n n o v a t i o n   S e r v i c e   P l a t f o r m :   C o l l a b o r a t i o n   B a s e d   o n   C o n t e s t   a n d   S t r a t e g y   R e s o u r c e s 	 2 0 1 1   P R O C E E D I N G S   O F   P I C M E T   1 1 :   T E C H N O L O G Y   M A N A G E M E N T   I N   T H E   E N E R G Y - S M A R T   W O R L D   ( P I C M E T ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 P o r t l a n d   I n t e r n a t i o n a l   C e n t e r   f o r   M a n a g e m e n t   o f   E n g i n e e r i n g   a n d   T e c h n o l o g y   ( P I C M E T )   C o n f e r e n c e   o n   T e c h n o l o g y   M a n a g e m e n t   i n   t h e   E n e r g y - S m a r t   W o r l d 	 J U L   3 1 - A U G   0 4 ,   2 0 1 1 	 P o r t l a n d ,   O R 	 P o r t l a n d   S t a t e   U n i v ,   M a s e e h   C o l l   E n g n   &   C o m p   S c i ,   D e p t   E n g n   &   T e c h n o l   M a n a g e m e n t ,   P o r t l a n d   S t a t e   U n i v ,   O f f   I n f o r m a t   T e c h n o l ,   I K O N   O f f   S o l u t 	 	 	 I N T E L L E C T U A L   P R O P E R T Y - R I G H T S ;   P U B L I C - P O L I C Y ;   M A R K E T ;   C O M M E R C I A L I Z A T I O N ;   O R G A N I Z A T I O N S ;   C A P A B I L I T I E S ;   M A N A G E M E N T ;   F I R M S ;   I D E A S ;   M O D E L 	 W i t h   p r o v i d i n g   a   p r a c t i c a l   v i e w   o f   t h e   c u r r e n t   p o s i t i o n   o f   i n t e l l e c t u a l   p r o p e r t y   ( I P )   t h e   a r t i c l e   n o t e s   t h e   d i f f e r i n g   p r o b l e m s   t h a t   n e e d   a d d r e s s i n g   i n   r e s e a r c h   a n d   d e v e l o p m e n t   ( R & D )   a n d   t e c h n o l o g y   t r a n s f e r   i n   C h i n a .   F o r   a n a l y z i n g   h o w   t o   b r i d g e   p u b l i c   a n d   p r i v a t e ,   s c i e n c e   a n d   b u s i n e s s   t h i s   s t u d y   p r e s e n t   s e v e r a l   c a s e s   t h a t   i n c o r p o r a t e s   t h e   m a i n   m e c h a n i s m s   a n d   p r o c e s s e s   n e c e s s a r y   f o r   s t i m u l a t i n g   i n n o v a t i o n   a n d   c r e a t i o n   o f   t e c h n o l o g y .   S p e c i f i c a l l y   t h e   p a p e r   p o i n t s   t o   t h e   i n c r e a s i n g   v a l u e   o f   R & D   c r o w d s o u r c i n g   b a s e d   o n   i n n o v a t i o n   c o n t e s t   t h r o u g h   a c c e s s i b l e   i n n o v a t i o n   p l a t f o r m   s e r v i c e .   F o r   h o w   t h e s e   s e r v i c e s   a c h i e v e   t h e   p e r f o r m a n c e   t h i s   s t u d y   p r e s e n t   s u c h   a   t o o l   i n   t h e   f o r m   o f   a   f u n c t i o n   m o d e l   t h a t   h e l p s   t o   u n d e r s t a n d i n g   w h a t   t y p e s   o f   i n n o v a t i o n s   c a n   p o t e n t i a l l y   c h o o s e   a n d   w h i c h   i n n o v a t i v e   a c t i v i t i e s   a n d   c o l l a b o r a t i o n   a r e   m o s t   c l e a r l y   a s s o c i a t e d   w i t h   i m p r o v e d   p e r f o r m a n c e   s y s t e m a t i c a l l y   a n d   s t r a t e g i c a l l y .   T h e n   w e   c l o s e   b y   s u g g e s t i n g   a p p l i c a t i o n s   t o   t e c h n o l o g y   t r a n s f e r   a n d   I P   s e r v i c e s   f o r   f u t u r e   i n n o v a t i o n   i n   d e v e l o p i n g   c o u n t r i e s . 	 [ W a n g ,   S h u ;   X i e ,   F a n g ]   Z h e j i a n g   U n i v ,   S c h   M a n a g e m e n t ,   H a n g z h o u   3 1 0 0 0 3 ,   Z h e j i a n g ,   P e o p l e s   R   C h i n a 	 W a n g ,   S   ( r e p r i n t   a u t h o r ) ,   Z h e j i a n g   U n i v ,   S c h   M a n a g e m e n t ,   H a n g z h o u   3 1 0 0 0 3 ,   Z h e j i a n g ,   P e o p l e s   R   C h i n a . 	 	 	 	 	 	 C h e   Y K ,   2 0 0 3 ,   A M   E C O N   R E V ,   V 9 3 ,   P 6 4 6 ,   D O I   1 0 . 1 2 5 7 / 0 0 0 2 8 2 8 0 3 3 2 2 1 5 7 0 2 5 ;   C h e s b r o u g   H . ,   2 0 0 3 ,   O P E N   I N N O V A T I O N   N E W ;   D ' A d d e r i o   L ,   2 0 0 8 ,   R E S   P O L I C Y ,   V 3 7 ,   P 7 6 9 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 7 . 1 2 . 0 1 2 ;   D a h a n   E ,   2 0 0 1 ,   M A N A G E   S C I ,   V 4 7 ,   P 1 0 2 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 7 . 1 . 1 0 2 . 1 0 6 6 6 ;   D e n g   S J ,   2 0 0 5 ,   P R O D   O P E R   M A N A G ,   V 1 4 ,   P 2 5 2 ;   D o n   T a p s c o t t ,   2 0 0 8 ,   W I K I N O M I C S   M A S S   C O L L ;   E p p i n g e r   S D ,   2 0 0 6 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 7 ,   P 2 2 ;   G a n s   J . ,   2 0 0 0 ,   J   E C O N   M A N A G E   S T R A T ,   V 8 ,   P 4 8 4 ;   G a n s   J . ,   2 0 0 8 ,   P A T E N T S   P A P E R S   S E C R E ;   G a n s   J S ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 3 3 3 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 2 ) 0 0 1 0 3 - 8 ;   G a n s   J S ,   2 0 0 8 ,   M A N A G E   S C I ,   V 5 4 ,   P 9 8 2 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 7 0 . 0 8 1 4 ;   H i t t   M A ,   2 0 0 5 ,   A C A D   M A N A G E   J ,   V 4 8 ,   P 9 6 3 ;   H o l m a n   C .   M . ,   2 0 0 7 ,   I M P A C T   H U M A N   G E N E   P A ;   H o l m a n   M A ,   2 0 0 0 ,   I O W A   L A W   R E V ,   V 8 5 ,   P 7 3 5 ;   H u a n g   K .   G . ,   2 0 0 8 ,   T H E S I S   S L O A N   S C H   M A N ;   H u a n g   K .   G . ,   2 0 0 9 ,   I M P A C T   U N C E R T A I N   I N T ;   J a f f e   A .   B . ,   2 0 0 7 ,   I N N O V A T I O N   P O L I C Y   E C ,   V 7 ,   P 3 3 ;   K a f o u r o s   M I ,   2 0 0 8 ,   R E S   P O L I C Y ,   V 3 7 ,   P 2 2 5 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 7 . 1 1 . 0 0 5 ;   K a l r a   A ,   2 0 0 1 ,   M A R K E T   S C I ,   V 2 0 ,   P 1 7 0 ,   D O I   1 0 . 1 2 8 7 / m k s c . 2 0 . 2 . 1 7 0 . 1 0 1 9 3 ;   L e e   G K ,   2 0 0 9 ,   R E S   P O L I C Y ,   V 3 8 ,   P 8 6 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 8 . 0 9 . 0 0 5 ;   L u n d v a l l   B . - A . ,   1 9 8 8 ,   T E C H N I C A L   C H A N G E   E C ,   P 3 4 9 ;   M i l e s   I . ,   2 0 0 7 ,   R   D   M A N A G E M E N T ,   V 3 7 ;   M u r r a y   F . ,   2 0 0 8 ,   L E A R N I N G   L I V E   P A T E N T ;   M u r r a y   F ,   2 0 0 7 ,   O R G A N   S C I ,   V 1 8 ,   P 1 0 0 6 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 7 0 . 0 3 2 5 ;   M u r r a y   F ,   2 0 0 7 ,   N E W   E N G L   J   M E D ,   V 3 5 6 ,   P 2 3 4 1 ,   D O I   1 0 . 1 0 5 6 / N E J M p 0 6 8 2 5 6 ;   M u r r a y   F . ,   2 0 0 8 ,   M I C E   G R O W T H   E F F E C T S ;   M u r r a y   F ,   2 0 0 7 ,   J   E C O N   B E H A V   O R G A N ,   V 6 3 ,   P 6 4 8 ,   D O I   1 0 . 1 0 1 6 / j . j e b o . 2 0 0 6 . 0 5 . 0 1 7 ;   P a r r y   M .   E . ,   2 0 0 8 ,   I E E E   T   E N G   M A N A G E M E N ,   V 5 5 ;   R o g e r s   D . ,   2 0 0 4 ,   R   D   M A N A G E M E N T ,   V 3 4 ;   S o m m e r   S C ,   2 0 0 4 ,   M A N A G E   S C I ,   V 5 0 ,   P 1 3 3 4 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 4 0 . 0 2 7 4 ;   T e e c e   D J ,   2 0 0 6 ,   R E S   P O L I C Y ,   V 3 5 ,   P 1 1 3 1 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 6 . 0 9 . 0 0 9 ;   T e e c e   D J ,   1 9 9 7 ,   S T R A T E G I C   M A N A G E   J ,   V 1 8 ,   P 5 0 9 ,   D O I   1 0 . 1 0 0 2 / ( S I C I ) 1 0 9 7 - 0 2 6 6 ( 1 9 9 7 0 8 ) 1 8 : 7 < 5 0 9 : : A I D - S M J 8 8 2 > 3 . 0 . C O ; 2 - Z ;   T E E C E   D J ,   1 9 8 6 ,   R E S   P O L I C Y ,   V 1 5 ,   P 2 8 5 ,   D O I   1 0 . 1 0 1 6 / 0 0 4 8 - 7 3 3 3 ( 8 6 ) 9 0 0 2 7 - 2 ;   T e r w i e s c h   C ,   2 0 0 8 ,   M A N A G E   S C I ,   V 5 4 ,   P 1 5 2 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 8 0 . 0 8 8 4 ;   T e t h e r   B S ,   2 0 0 8 ,   R E S   P O L I C Y ,   V 3 7 ,   P 7 2 0 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 8 . 0 1 . 0 0 5 ;   T h o m k e   S . ,   2 0 0 3 ,   H A R V A R D   B U S   R E V ,   V 8 1 ,   P 7 1 ;   W i n d r u m   P ,   2 0 0 8 ,   R E S   P O L I C Y ,   V 3 7 ,   P 6 4 9 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 7 . 1 2 . 0 1 1 	 3 7 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 8 9 0 8 4 3 - 2 3 - 6 	 	 	 	 2 0 1 1 	 	 	 	 	 	 	 	 	 	 	 	 9 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 E n g i n e e r i n g ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 B Y F 2 3 	 W O S : 0 0 0 2 9 8 3 8 4 4 0 0 0 7 7 	 	 
 J 	 B a r r i n g t o n ,   L ;   G h o s h ,   S ;   G r e e n e ,   M ;   H a r - N o y ,   S ;   B e r g e r ,   J ;   G i l l ,   S ;   L i n ,   A Y M ;   H u y c k ,   C 	 	 	 	 B a r r i n g t o n ,   L u k e ;   G h o s h ,   S h u b h a r o o p ;   G r e e n e ,   M a r j o r i e ;   H a r - N o y ,   S h a y ;   B e r g e r ,   J a y ;   G i l l ,   S t u a r t ;   L i n ,   A l b e r t   Y u - M i n ;   H u y c k ,   C h a r l e s 	 	 	 C r o w d s o u r c i n g   e a r t h q u a k e   d a m a g e   a s s e s s m e n t   u s i n g   r e m o t e   s e n s i n g   i m a g e r y 	 A N N A L S   O F   G E O P H Y S I C S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 T h i s   p a p e r   d e s c r i b e s   t h e   e v o l u t i o n   o f   r e c e n t   w o r k   o n   u s i n g   c r o w d s o u r c e d   a n a l y s i s   o f   r e m o t e   s e n s i n g   i m a g e r y ,   p a r t i c u l a r l y   h i g h - r e s o l u t i o n   a e r i a l   i m a g e r y ,   t o   p r o v i d e   r a p i d ,   r e l i a b l e   a s s e s s m e n t s   o f   d a m a g e   c a u s e d   b y   e a r t h q u a k e s   a n d   p o t e n t i a l l y   o t h e r   d i s a s t e r s .   T h e   i n i t i a l   e f f o r t   e x a m i n e d   o n l i n e   i m a g e r y   t a k e n   a f t e r   t h e   2 0 0 8   W e n c h u a n ,   C h i n a ,   e a r t h q u a k e .   A   m o r e   r e c e n t   r e s p o n s e   t o   t h e   2 0 1 0   H a i t i   e a r t h q u a k e   l e d   t o   t h e   f o r m a t i o n   o f   a n   i n t e r n a t i o n a l   c o n s o r t i u m :   t h e   G l o b a l   E a r t h   O b s e r v a t i o n   C a t a s t r o p h e   A s s e s s m e n t   N e t w o r k   ( G E O - C A N ) .   T h e   s u c c e s s   o f   G E O - C A N   i n   c o n t r i b u t i n g   t o   t h e   o f f i c i a l   d a m a g e   a s s e s s m e n t s   m a d e   b y   t h e   G o v e r n m e n t   o f   H a i t i ,   t h e   U n i t e d   N a t i o n s ,   a n d   t h e   W o r l d   B a n k   l e d   t o   f u r t h e r   d e v e l o p m e n t   o f   a   w e b - b a s e d   i n t e r f a c e .   A   c u r r e n t   i n i t i a t i v e   i n   C h r i s t c h u r c h ,   N e w   Z e a l a n d ,   i s   u n d e r w a y   w h e r e   r e m o t e   s e n s i n g   e x p e r t s   a r e   a n a l y z i n g   s a t e l l i t e   i m a g e r y ,   g e o t e c h n i c a l   e n g i n e e r s   a r e   m a r k i n g   l i q u e f a c t i o n   a r e a s ,   a n d   s t r u c t u r a l   e n g i n e e r s   a r e   i d e n t i f y i n g   b u i l d i n g   d a m a g e .   T h e   c u r r e n t   s i t e   i n c l u d e s   o n l i n e   t r a i n i n g   t o   i m p r o v e   t h e   a c c u r a c y   o f   t h e   a s s e s s m e n t s   a n d   m a k e   i t   p o s s i b l e   f o r   e v e n   n o v i c e   u s e r s   t o   c o n t r i b u t e   t o   t h e   c r o w d s o u r c e d   s o l u t i o n .   T h e   p a p e r   d i s c u s s e s   l e s s o n s   l e a r n e d   f r o m   t h e s e   i n i t i a t i v e s   a n d   p r e s e n t s   a   w a y   f o r w a r d   f o r   u s i n g   c r o w d s o u r c e d   r e m o t e   s e n s i n g   a s   a   t o o l   f o r   r a p i d   a s s e s s m e n t   o f   d a m a g e   c a u s e d   b y   n a t u r a l   d i s a s t e r s   a r o u n d   t h e   w o r l d . 	 [ G r e e n e ,   M a r j o r i e ;   B e r g e r ,   J a y ]   E a r t h q u a k e   E n g n   R e s   I n s t ,   O a k l a n d ,   C A   9 4 6 1 2   U S A ;   [ B a r r i n g t o n ,   L u k e ;   H a r - N o y ,   S h a y ;   L i n ,   A l b e r t   Y u - M i n ]   T o m n o d   I n c ,   S a n   D i e g o ,   C A   U S A ;   [ G h o s h ,   S h u b h a r o o p ;   H u y c k ,   C h a r l e s ]   I m a g e C a t   I n c ,   L o n g   B e a c h ,   C A   U S A ;   [ G i l l ,   S t u a r t ]   W o r l d   B a n k ,   G l o b a l   F a c i l   D i s a s t e r   R e d u c t   &   R e c o v e r y ,   W a s h i n g t o n ,   D C   2 0 4 3 3   U S A 	 B e r g e r ,   J   ( r e p r i n t   a u t h o r ) ,   E a r t h q u a k e   E n g n   R e s   I n s t ,   O a k l a n d ,   C A   9 4 6 1 2   U S A . 	 j b e r g e r @ e e r i . o r g 	 	 	 	 	 A m a z o n . c o m   I n c ,   2 0 1 1 ,   A M   M E D   T U R K ;   B e v i n g t o n   J . ,   2 0 0 9 ,   D H S   W O R K S H   E M   M A N   I N ;   C o o p e r   S ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 7 5 6 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 9 3 0 4 ;   D u r h a m   T S ,   2 0 0 8 ,   R I S K   G O V   S O C ,   V 1 4 ,   P 1 0 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 7 1 1 5 8 - 2 _ 4 ;   E E R I ,   2 0 1 1 ,   I N T R   L F E ;   E E R I   E a r t h q u a k e   E n g i n e e r i n g   R e s e a r c h   I n s t i t u t e ,   2 0 1 0 ,   W O R K S H   R E P   R E M   S E N S ;   E g u c h i   R . ,   2 0 0 5 ,   P   3   I N T   W O R K S H   R E M   S ;   E g u c h i   R . ,   2 0 0 5 ,   E A R T H Q   S P E C T R A ,   V 2 1 ,   p S 2 0 7 ,   D O I   1 0 . 1 1 9 3 / 1 . 2 1 0 7 9 6 7 ;   E g u c h i   R T ,   2 0 0 8 ,   R I S K   G O V   S O C ,   V 1 4 ,   P 1 3 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 7 1 1 5 8 - 2 _ 6 ;   E u r o p e a n   C o m m i s s i o n   -   E C ,   2 0 1 0 ,   B U I L D   D A M   A S S   R E P   H A ;   G a l a x y   Z o o   T e a m ,   2 0 1 1 ,   G A L   Z O O ;   G h o s h   S ,   2 0 1 1 ,   E A R T H Q   S P E C T R A ,   V 2 7 ,   p S 1 7 9 ,   D O I   1 0 . 1 1 9 3 / 1 . 3 6 3 6 4 1 6 ;   G r u n t h a l   G . ,   1 9 9 8 ,   C A H I E R S   C T R   E U R O P E E N ,   P 9 9 ;   H u y c k   C . ,   2 0 0 5 ,   N R C   P L A N N   C A T   S T U D   W ;   H u y c k   C K ,   2 0 0 2 ,   M C E E R   S P E C I A L   R E P O R T ,   V 3 ;   L a l l e m a n t   D . ,   2 0 1 0 ,   I M A G E C A T   E E R I   W O R K S H ;   L a w   E ,   2 0 0 9 ,   2 7   I N T   C   H U M   F A C T   C O ;   M e h r o t r a   S . ,   2 0 0 3 ,   P r o c e e d i n g s   o f   t h e   S P I E   -   T h e   I n t e r n a t i o n a l   S o c i e t y   f o r   O p t i c a l   E n g i n e e r i n g ,   V 5 3 0 4 ,   D O I   1 0 . 1 1 1 7 / 1 2 . 5 3 7 8 0 5 ;   N a t i o n a l   G e o g r a p h i c   S o c i e t y ,   2 0 1 1 ,   F I E L D   E X P   M O N G ;   N a t i o n a l   R e s e a r c h   C o u n c i l   o f   t h e   N a t i o n a l   A c a d e m i e s ,   2 0 0 7 ,   S U C C   R E S P   S T A R T S   M A P ;   S a i t o   K . ,   2 0 1 0 ,   P   8   I N T   W O R K S H   R E M   S ;   S n o w   R . ,   2 0 0 8 ,   1 3   C   E M P   M E T H   N A T   L A ;   T h o r v a l d s d o t t i r   S ,   2 0 1 1 ,   E A R T H Q   S P E C T R A ,   V 2 7 ,   p S 2 3 9 ,   D O I   1 0 . 1 1 9 3 / 1 . 3 6 3 8 7 1 5 ;   V i j a y a n a r a s i m h a n   S ,   2 0 1 1 ,   I N T   J   C O M P U T   V I S I O N ,   V 9 1 ,   P 2 4 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 6 3 - 0 1 0 - 0 3 7 2 - 4 ;   v o n   A h n   L ,   2 0 0 4 ,   2 2   I N T   C   H U M   F A C T   C O ;   v o n   A h n   L ,   2 0 0 6 ,   C O M P U T E R ,   V 3 9 ,   P 9 2 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 6 . 1 9 6 ;   v o n   A h n   L ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 1 ,   P 1 4 6 5 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 0 3 7 9 ;   W e l i n d e r   P . ,   2 0 1 0 ,   2 4   C   N E U R   I N F   P R O C   S ;   W h i t e h i l l   J ,   2 0 0 9 ,   2 3   C   N E U R   I N F   P R O C   S ;   W o r l d   B a n k ,   2 0 1 0 ,   P O S T D   B U I L D   D A   U N P U B 	 3 0 	 7 	 7 	 I S T I T U T O   N A Z I O N A L E   D I   G E O F I S I C A   E   V U L C A N O L O G I A 	 R O M E 	 V I A   V I G N A   M U R A T A   6 0 5 ,   R O M E ,   0 0 1 4 3 ,   I T A L Y 	 1 5 9 3 - 5 2 1 3 	 	 	 A N N   G E O P H Y S - I T A L Y 	 A n n .   G e o p h y s . 	 	 2 0 1 1 	 5 4 	 6 	 	 	 	 	 6 8 0 	 6 8 7 	 	 1 0 . 4 4 0 1 / a g - 5 3 2 4 	 	 8 	 G e o c h e m i s t r y   &   G e o p h y s i c s 	 G e o c h e m i s t r y   &   G e o p h y s i c s 	 8 7 9 D U 	 W O S : 0 0 0 2 9 9 3 1 0 7 0 0 0 0 3 	 	 
 B 	 K u o ,   P J ;   C h e n g ,   P Y ;   S u ,   W C ;   C h e n ,   S C 	 	 	 I S   &   T 	 K u o ,   P e i - J e n g ;   C h e n g ,   P o - Y u ;   S u ,   W e i - C h e n ;   C h e n ,   S h e n g - C h i h 	 	 	 C o n t i n u o u s   A r c h i v i n g   o f   G r o u p   D i g i t a l   P h o t o g r a p h   C o l l e c t i o n s   w i t h   a   M P E G - 7   B a s e d   C r o w d   S o u r c i n g   A n n o t a t i o n   M e t h o d o l o g y 	 A R C H I V I N G   2 0 1 1 :   P R E S E R V A T I O N   S T R A T E G I E S   A N D   I M A G I N G   T E C H N O L O G I E S   F O R   C U L T U R A L   H E R I T A G E   I N S T I T U T I O N S   A N D   M E M O R Y   O R G A N I Z A T I O N S 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 8 t h   I S   &   T   a n d   A r c h i v i n g   C o n f e r e n c e 	 M A Y   1 6 - 1 9 ,   2 0 1 1 	 S a l t   L a k e   C i t y ,   U T 	 F a m i l y   S e a r c h ,   I m a g e   E n g n ,   L i f e w o o d ,   M A M   A ,   O r a c l e ,   T e s s e l l a 	 	 S o c i a l - T a g g i n g ;   I n f o r m a t i o n   R e t r i e v a l ;   M P E G - 7 ;   C r o w d s o u r c i n g 	 	 F o l l o w i n g   t h e   i n c r e a s e d   c o n v e n i e n c e   a n d   a v a i l a b i l i t y   o f   p e r s o n a l   r e c o r d i n g   d e v i c e s ,   t h e   n u m b e r   o f   p h o t o g r a p h s   a n d   v i d e o   c l i p s   o n e   p o s s e s s e s   c a n   b e   m u l t i p l i e d   a t   a n   a c c e l e r a t e d   s p e e d .   A s   a   r e s u l t   o f   o w n i n g   s u c h   a   h u g e   a m o u n t   o f   d i g i t a l   d a t a ,   o n e   m a y   e n c o u n t e r   t h e   d i f f i c u l t y   o f   l o c a t i n g   a   s p e c i f i c   p h o t o g r a p h   o r   v i d e o .   R e f o r m a t t i n g   o f   t h e   c o m p u t e r   s y s t e m   o r   d a m a g i n g   o n   t h e   h a r d   d i s k   a l s o   c a u s e   a   p o t e n t i a l   r i s k   o f   l o s i n g   v a l u a b l e   p e r s o n a l   d a t a .   K u o ,   A o k i   a n d   Y a s u d a   p r o p o s e d   a n   e x p e r i m e n t   p e r s o n a l   a r c h i v i n g   a n d   r e t r i e v i n g   i m a g e   s y s t e m   c a l l e d   P A R I S   ( P e r s o n a l   A r c h i v i n g   a n d   R e t r i e v i n g   I m a g e   S y s t e m )   [ 2 ]   I n   P A R I S ,   A   M P E G - 7   b a s e d   m u l t i m e d i a   d e s c r i p t i o n   s c h e m a   w i t h   e x t e n d e d   s p a t i a l   a n d   t e m p o r a l   a t t r i b u t e s   i s   p r o p o s e d   t o   a n n o t a t e   p e r s o n a l   m u l t i m e d i a   d a t a .   W h i l e   P A R I S ,   t h e   p r o p o s e d   e x p e r i m e n t   s y s t e m ,   i s   d e s i g n e d   a n d   i m p l e m e n t e d   s p e c i a l l y   t o w a r d s   t h e   t r e n d   o f   c o n t i n u o u s   c a p t u r e   a n d   s t o r a g e   f o r   p e r s o n a l   e x p e r i e n c e ;   i t   d i d   n o t   m a n a g e   t o   u t i l i z e   a n n o t a t i o n s   t h a t   m i g h t   c o m e   f r o m   r e c e n t   e m e r g i n g   s o c i a l   n e t w o r k i n g   e n a b l e d   s e r v i c e s .   A s   a   c o n t i n u i n g   p r o j e c t   o f   P A R I S ,   w e   i n i t i a t e d   a n   e x p e r i m e n t   p l a t f o r m   w i t h   t h i r t y   s m a r t   p h o n e   u s e r s .   A t   t h e   f i r s t   s t a g e ,   w h i c h   l a s t   a r o u n d   s i x   m o n t h s ,   w e   e n c o u r a g e   u s e r s   t o   c a p t u r e   l i f e   e v e n t s   w i t h   s m a r t   p h o n e   c a m e r a s   a n d   t o   a c c u m u l a t e   r e l a t e d   p h o t o g r a p h s   a n d   v i d e o   c l i p s   i n t o   o u r   e x p e r i m e n t   d a t a b a s e .   I n   a d d i t i o n ,   w e   p l a n   t o   e x t e n d   t h i s   e x p e r i m e n t   w i t h   a n o t h e r   6 0   p a r t i c i p a n t s ,   w h i c h   e q u i p p e d   w i t h   p e r s o n a l   r e c o r d i n g   d e v i c e s   s u c h   a s   c o n s u m e r   d i g i t a l   c a m e r a s   o r   d i g i t a l   v i d e o   c a m e r a s   i n   t h e   n e a r   f u t u r e .   I n   t h i s   e x p e r i m e n t   d a t a b a s e ,   w e   e n c o u r a g e   u s e r s   t o   u p l o a d   t h e i r   m e d i a   f i l e s   a n d   p r o v i d e   r e l a t e d   a n n o t a t i o n s .   W h i l e   w e   p r o v i d e   a n n o t a t i o n   o p t i o n s   w i t h   p r e v i o u s .   p r o p o s e d   M P E G - 7   b a s e d   m u l t i m e d i a   d e s c r i p t i o n   s c h e m a ,   t h e   n e w   s y s t e m   g e n e r a t e s   a n n o t a t i o n   s u g g e s t i o n s   s e m i - a u t o m a t i c a l l y   a c c o r d i n g   t o   v a r i o u s   o n - l i n e   p h o t o g r a p h - h o s t i n g   s e r v i c e s .   K n o w n   a s   s o c i a l - t a g g i n g ,   o u r   p r o p o s e d   s y s t e m   a l l o w s   u s e r s   a n d   v i s i t o r s   t o   c r e a t e   t a g s   b a s e d   o n   o u r   p r e v i o u s   p r o p o s e d   M P E G - 7   s t r u c t u r e   a n d   u t i l i z e   p r e - d e f i n e d   s p a t i a l   a n d   t e m p o r a l   o n t o l o g y   a s   w e l l   a s   r e s o u r c e s   p r o v i d e d   v i a   v a r i o u s   o n - l i n e   c r o w d   g e n e r a t e d   r e s o u r c e s .   U s e r s   a r e   a l l o w e d   t o   c r e a t e   f r e e   p e r s o n a l   t a g s   a n d   u t i l i z e   o u r   s y s t e m   g e n e r a t e d   s u g g e s t i o n s   i n   o r d e r   t o   c r e a t e   r e l e v a n t   a n n o t a t i o n s   w h i c h   c a n   l e a d   t o   i n c r e a s e d   r e t r i e v a l   p r e c i s i o n . 	 [ K u o ,   P e i - J e n g ]   N a t l   C h e n g c h i   U n i v ,   D e p t   C o m p   S c i ,   T a i p e i   1 1 6 2 3 ,   T a i w a n 	 	 	 	 	 	 	 A M E S   M ,   2 0 0 7 ,   W H Y   D O   P E O P L E   T A G   M O ;   B e l l   G . ,   2 0 0 9 ,   T O T A L   R E C A L L   E   M E M O R ;   B Y R N E   D ,   2 0 0 7 ,   I M A I   0 7   5   I   I N   P R E S S ;   G e m m e l l   J . ,   2 0 0 2 ,   M Y L I F E B I T S   F U L F I L L I N ,   P 2 3 5 ;   H o w e   J . ,   2 0 0 9 ,   C R O W D S O U R C I N G   W H Y   P O ;   K U O   P J ,   2 0 0 4 ,   P   I E E E   C O M P   G R A P H   I N ;   K U O   P J ,   2 0 0 4 ,   P   2 0 0 4   I E E E   I N T   C   E ;   K U O   P J ,   2 0 0 5 ,   P   A R C H   2 0 0 5 ;   M A R L O W S   C ,   2 0 0 6 ,   H T 0 6   T A G G I N G   P A P E R   T ;   S t v i l i a   B ,   2 0 0 9 ,   L I B R   I N F O R M   S C I   R E S ,   V 3 1 ,   P 5 4 ,   D O I   1 0 . 1 0 1 6 / j . l i s r . 2 0 0 8 . 0 6 . 0 0 6 	 1 0 	 0 	 0 	 S O C   I M A G I N G   S C I E N C E   &   T E C H N O L O G Y 	 S P R I N G F I E L D 	 7 0 0 3   K I L W O R T H   L A N E ,   S P R I N G F I E L D ,   V A   2 2 1 5 1   U S A 	 	 	 9 7 8 - 0 - 8 9 2 0 8 - 2 9 4 - 0 	 	 	 	 2 0 1 1 	 	 	 	 	 	 	 1 4 4 	 1 4 9 	 	 	 	 6 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e ;   I m a g i n g   S c i e n c e   &   P h o t o g r a p h i c   T e c h n o l o g y 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e ;   I m a g i n g   S c i e n c e   &   P h o t o g r a p h i c   T e c h n o l o g y 	 B V O 7 1 	 W O S : 0 0 0 2 9 2 1 1 5 4 0 0 0 3 3 	 	 
 S 	 K a z a i ,   G ;   K o o l e n ,   M ;   K a m p s ,   J ;   D o u c e t ,   A ;   L a n d o n i ,   M 	 	 G e v a ,   S ;   K a m p s ,   J ;   S c h e n k e l ,   R ;   T r o t m a n ,   A 	 	 K a z a i ,   G a b r i e l l a ;   K o o l e n ,   M a r i j n ;   K a m p s ,   J a a p ;   D o u c e t ,   A n t o i n e ;   L a n d o n i ,   M o n i c a 	 	 	 O v e r v i e w   o f   t h e   I N E X   2 0 1 0   B o o k   T r a c k :   S c a l i n g   U p   t h e   E v a l u a t i o n   U s i n g   C r o w d s o u r c i n g 	 C O M P A R A T I V E   E V A L U A T I O N   O F   F O C U S E D   R E T R I E V A L 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 9 t h   I n t e r n a t i o n a l   W o r k s h o p   o f   t h e   I n i t i a t i v e   f o r   t h e   E v a l u a t i o n   o f   X M L   R e t r i e v a l ,   I N E X   2 0 1 0 	 D E C   1 3 - 1 5 ,   2 0 1 0 	 V u g h t ,   N E T H E R L A N D S 	 	 	 	 	 T h e   g o a l   o f   t h e   I N E X   B o o k   T r a c k   i s   t o   e v a l u a t e   a p p r o a c h e s   f o r   s u p p o r t i n g   u s e r s   i n   s e a r c h i n g ,   n a v i g a t i n g   a n d   r e a d i n g   t h e   f u l l   t e x t s   o f   d i g i t i z e d   b o o k s .   T h e   i n v e s t i g a t i o n   i s   f o c u s e d   a r o u n d   f o u r   t a s k s :   1 )   B e s t   B o o k s   t o   R e f e r e n c e ,   2 )   P r o v e   I t ,   3 )   S t r u c t u r e   E x t r a c t i o n ,   a n d   4 )   A c t i v e   R e a d i n g .   I n   t h i s   p a p e r ,   w e   r e p o r t   o n   t h e   s e t u p   a n d   t h e   r e s u l t s   o f   t h e s e   t a s k s   i n   2 0 1 0 .   T h e   m a i n   o u t c o m e   o f   t h e   t r a c k   l i e s   i n   t h e   c h a n g e s   t o   t h e   m e t h o d o l o g y   f o r   c o n s t r u c t i n g   t h e   t e s t   c o l l e c t i o n   f o r   t h e   e v a l u a t i o n   o f   t h e   B e s t   B o o k s   a n d   P r o v e   I t   s e a r c h   t a s k s .   I n   a n   e f f o r t   t o   s c a l e   u p   t h e   e v a l u a t i o n ,   w e   e x p l o r e d   t h e   u s e   o f   c r o w d s o u r c i n g   b o t h   t o   c r e a t e   t h e   t e s t   t o p i c s   a n d   t h e n   t o   g a t h e r   t h e   r e l e v a n c e   l a b e l s   f o r   t h e   t o p i c s   o v e r   a   c o r p u s   o f   5 0 k   d i g i t i z e d   b o o k s .   T h e   r e s u l t i n g   t e s t   c o l l e c t i o n   c o n s t r u c t i o n   m e t h o d o l o g y   c o m b i n e s   e d i t o r i a l   j u d g m e n t s   c o n t r i b u t e d   b y   I N E X   p a r t i c i p a n t s   w i t h   c r o w d s o u r c e d   r e l e v a n c e   l a b e l s .   W e   p r o v i d e   a n   a n a l y s i s   o f   t h e   c r o w d s o u r c e d   d a t a   a n d   c o n c l u d e   t h a t   -   w i t h   a p p r o p r i a t e   t a s k   d e s i g n   c r o w d s o u r c i n g   d o e s   p r o v i d e   a   s u i t a b l e   f r a m e w o r k   f o r   t h e   e v a l u a t i o n   o f   b o o k   s e a r c h   a p p r o a c h e s . 	 	 	 v - g a b k a z @ m i c r o s o f t . c o m ;   m . h . a . k o o l e n @ u v a . n l ;   k a m p s @ u v a . n l ;   d o u c e t @ i n f o . u n i c a e n . f r ;   m o n i c a . l a n d o n i @ u n i s i . c h ;   k a m p s @ u v a . n l 	 	 	 	 	 A l o n s o   O m a r ,   2 0 0 8 ,   S I G I R   F o r u m ,   V 4 2 ,   D O I   1 0 . 1 1 4 5 / 1 4 8 0 5 0 6 . 1 4 8 0 5 0 8 ;   A l o n s o   O . ,   2 0 0 9 ,   P   S I G I R   2 0 0 9   W O R K S H ,   P 1 5 ;   D e v e a u d   R . ,   2 0 1 0 ,   L N C S ,   V 6 9 3 2 ,   P 1 1 8 ;   D o u c e t   A . ,   2 0 1 0 ,   I N T   J   D O C   A N A L   R E C O G ,   P 1 ;   D o u c e t   A . ,   2 0 0 9 ,   P   1 0   I N T   C   D O C   A N   R E ,   P 1 4 0 8 ;   G i g u e t   E . ,   2 0 1 0 ,   L N C S ,   V 6 9 3 2 ,   P 1 2 8 ;   G r a d y   C . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 7 2 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   K a m p s   J . ,   2 0 1 0 ,   L N C S ,   V 6 9 3 2 ,   P 1 4 0 ;   K a z a i   G . ,   2 0 0 9 ,   S I G I R   2 0 0 9 ;   K o o l e n   M . ,   2 0 1 1 ,   S I G I R   2 0 1 1 ;   L a r s o n   R . R . ,   2 0 1 0 ,   L N C S ,   V 6 9 3 2 ,   P 1 5 4 ;   L e   J . ,   2 0 1 0 ,   S I G I R   2 0 1 0   W O R K S H   C R ,   P 2 1 ;   P r e m i n g e r   M . ,   2 0 1 0 ,   L N C S ,   V 6 9 3 2 ,   P 1 6 4 ;   Q U I N N   A . ,   2 0 1 1 ,   P   C H I   2 0 1 1 ;   W i l s o n   R ,   2 0 0 3 ,   J   D O C ,   V 5 9 ,   P 4 5 4 ,   D O I   1 0 . 1 1 0 8 / 0 0 2 2 0 4 1 0 3 1 0 4 8 5 7 2 1 	 1 6 	 1 	 1 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 2 3 5 7 6 - 4 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 1 	 6 9 3 2 	 	 	 	 	 	 9 8 	 1 1 7 	 	 	 	 2 0 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B D 2 2 	 W O S : 0 0 0 3 0 6 4 9 8 3 0 0 0 0 9 	 	 
 B 	 S i l v a ,   C ;   R a m o s ,   I 	 	 S o l i m a n ,   K S 	 	 S i l v a ,   C a n d i d a ;   R a m o s ,   I s a b e l 	 	 	 K n o w l e d g e   M e t a m o d e l   F o r   C r o w d s o u r c i n g   I n n o v a t i o n   I n t e r m e d i a r i e s 	 C R E A T I N G   G L O B A L   C O M P E T I T I V E   E C O N O M I E S :   A   3 6 0 - D E G R E E   A P P R O A C H ,   V O L S   1 - 4 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 7 t h   I n t e r n a t i o n a l - B u s i n e s s - I n f o r m a t i o n - M a n a g e m e n t - A s s o c i a t i o n   C o n f e r e n c e 	 N O V   1 4 - 1 5 ,   2 0 1 1 	 M i l a n ,   I T A L Y 	 I n t   B u s i n e s s   I n f o r m a t   M a n a g e m e n t   A s s o c 	 	 O p e n   i n n o v a t i o n ;   C r o w d s o u r c i n g   i n n o v a t i o n   i n t e r m e d i a r y ;   I n n o v a t i o n   p r o c e s s ;   C r o w d s o u r c i n g   i n n o v a t i o n 	 O R G A N I Z A T I O N ;   M A N A G E M E N T ;   B R O K E R S ;   C O N T E X T ;   M O D E L ;   F I R M 	 O p e n   i n n o v a t i o n   i s   a   h o t   t o p i c   i n   i n n o v a t i o n   m a n a g e m e n t   c h a r a c t e r i z e d   b y   a   n e w   f o r m   o f   i n t e r a c t i n g   a n d   c o l l a b o r a t i n g   w i t h   t h e   e x t e r n a l   e n v i r o n m e n t   o f   a   c o m p a n y   t o   i n n o v a t e   m o r e   s u c c e s s f u l l y   a n d   w i t h   l e s s   c o s t s .   C h e s b r o u g h   ( 2 0 0 6 )   a d v o c a t e s   t h a t   f i r m s   c a n   a n d   s h o u l d   u s e   e x t e r n a l   i d e a s   a s   w e l l   a s   t h o s e   f r o m   t h e i r   o w n   R & D   d e p a r t m e n t s ,   a n d   b o t h   i n t e r n a l   a n d   e x t e r n a l   p a t h s   t o   t h e   m a r k e t   i n   o r d e r   t o   a d v a n c e   t h e i r   t e c h n o l o g y .   C r o w d s o u r c i n g   i n n o v a t i o n   p r e s e n t s   a s   a   d e r i v a t i o n   o f   t h i s   n e w   p a r a d i g m   t a k i n g   a d v a n t a g e   o f   t h e   W e b   2 . 0   t o o l s   t o   g e n e r a t e   n e w   i d e a s   t h r o u g h   t h e   h e t e r o g e n e o u s   k n o w l e d g e   a v a i l a b l e   i n   t h e   g l o b a l   n e t w o r k   o f   i n d i v i d u a l s   w i t h   e a s y   a c c e s s   t o   i n f o r m a t i o n   a n d   t e c h n o l o g y .   S o ,   c r o w d s o u r c i n g   i n n o v a t i o n   b r o k e r s   f a c i l i t a t e   t h e   a c c e s s   t o   a   v a s t   o p e n   a n d   g l o b a l   k n o w l e d g e   c o m m u n i t y ,   a n d   p r o v i d e   s u p p o r t   i n   i n t e g r a t i n g   c o n t r i b u t i o n s ,   a s   w e l l   a s   m a n a g i n g   a n d   m o t i v a t i n g   t h e   c r o w d   p a r t i c i p a n t s .   T h i s   p a p e r   p r e s e n t s   a   l i t e r a t u r e   r e v i e w   o f   o p e n   i n n o v a t i o n   m o d e l s   a n d   i n n o v a t i o n   i n t e r m e d i a r i e s   f u n c t i o n s '   a n d   p r o p o s e s   a   k n o w l e d g e ' s   m e t a m o d e l   f o r   c r o w d s o u r c i n g   i n n o v a t i o n   i n t e r m e d i a r i e s . 	 [ S i l v a ,   C a n d i d a ]   P o l y t e c h   I n s t   O p o r t o ,   S c h   M a n a g e m e n t   &   I n d   S t u d i e s ,   V i l a   D o   C o n d e ,   P o r t u g a l 	 	 c a n d i d a s i l v a @ e u . i p p . p t ;   i r a m o s @ d s i . u m i n h o . p t 	 S i l v a ,   C a n d i d a / H - 9 3 8 2 - 2 0 1 3 	 S i l v a ,   C a n d i d a / 0 0 0 0 - 0 0 0 2 - 7 3 4 2 - 1 2 8 2 	 	 	 A d a m s   C . ,   2 0 0 9 ,   C U T T E R   I T   J ,   V 2 2 ;   B O J A R S   U ,   2 0 0 8 ,   W E B   S E M A N T I C S   S C I   S E ,   V 6 ,   P 2 1 ,   D O I   1 0 . 1 0 1 6 / j . w e b s e m . 2 0 0 7 . 1 1 . 0 1 0 ;   C h e s b r o u g h   H . ,   2 0 0 6 ,   O P E N   I N N O V A T I O N   R E S ;   C h e s b r o u g h   H e n r y   W i l l i a m ,   2 0 0 6 ,   O P E N   I N N O V A T I O N   R E S ;   C h e s b r o u g h   H W ,   2 0 0 3 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 4 ,   P 3 5 ;   D a z i e l   M . ,   2 0 1 0 ,   S U M M   C   2 0 1 0   O P   I N N   S ;   D i e n e r   K . ,   2 0 1 0 ,   M A R K E T   O P E N   I N N O V A T I ,   P 1 4 4 ;   D o n   T a p s c o t t ,   2 0 0 8 ,   W I K I N O M I C S   M A S S   C O L L ;   F e n s e l   D . ,   2 0 0 4 ,   O N T O L O G I E S   S I L V E S   B U ;   G a s e v i c   D . ,   2 0 0 6 ,   M O D E L   D R I V E N   A R C H I T E ;   G a s s m a n n   O . ,   2 0 0 4 ,   R   D   M A N   C ,   P 1 ;   G R U B E R   T ,   2 0 0 7 ,   W E B   S E M A N T I C S   S C I   S E ,   D O I   D O I   1 0 . 1 0 1 6 / J . W E B S E M . 2 0 0 7 . 1 1 . 0 1 1 ;   G R U B E R   T R ,   1 9 9 3 ,   K N O W L   A C Q U I S ,   V 5 ,   P 1 9 9 ,   D O I   1 0 . 1 0 0 6 / k n a c . 1 9 9 3 . 1 0 0 8 ;   H a c i e v l i y a g i l   N .   K . ,   2 0 0 7 ,   I N T   J   T E C H N O L O G Y   K N O ,   V 3 ,   P 4 7 ;   H a r g a d o n   A ,   1 9 9 7 ,   A D M I N   S C I   Q U A R T ,   V 4 2 ,   P 7 1 6 ,   D O I   1 0 . 2 3 0 7 / 2 3 9 3 6 5 5 ;   H a r g a d o n   A B ,   1 9 9 8 ,   C A L I F   M A N A G E   R E V ,   V 4 0 ,   P 2 0 9 ;   H e p p   M . ,   2 0 0 7 ,   O N T O L O G Y   M A N A G E M E N T ,   P 3 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   P O W E R ;   H o w e l l s   J ,   2 0 0 6 ,   R E S   P O L I C Y ,   V 3 5 ,   P 7 1 5 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 6 . 0 3 . 0 0 5 ;   K w a n   M M ,   2 0 0 3 ,   D E C I S   S U P P O R T   S Y S T ,   V 3 5 ,   P 4 6 7 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 7 - 9 2 3 6 ( 0 2 ) 0 0 1 2 6 - 4 ;   L e e   S ,   2 0 1 0 ,   R E S   P O L I C Y ,   V 3 9 ,   P 2 9 0 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 9 . 1 2 . 0 0 9 ;   L e m o n   M ,   2 0 0 4 ,   T E C H N O V A T I O N ,   V 2 4 ,   P 4 8 3 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 6 - 4 9 7 2 ( 0 2 ) 0 0 1 0 2 - 5 ;   M c E v i l y   B ,   1 9 9 9 ,   S T R A T E G I C   M A N A G E   J ,   V 2 0 ,   P 1 1 3 3 ,   D O I   1 0 . 1 0 0 2 / ( S I C I ) 1 0 9 7 - 0 2 6 6 ( 1 9 9 9 1 2 ) 2 0 : 1 2 < 1 1 3 3 : : A I D - S M J 7 4 > 3 . 0 . C O ; 2 - 7 ;   R a m o s   I ,   2 0 0 9 ,   I F I P   A D V   I N F   C O M M   T E ,   V 3 0 1 ,   P 2 1 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 2 3 8 8 - 0 _ 1 5 ;   S c h e n k   E . ,   2 0 1 1 ,   J   I N N O V A T I O N   E C ,   V 1 ,   P 9 3 ,   D O I   D O I   1 0 . 3 9 1 7 / J I E . 0 0 7 . 0 0 9 3 ;   S t a n i s z k i s   W ,   2 0 0 4 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 1 8 3 ,   P 5 0 7 ;   S u r o w i e c k i   J a m e s ,   2 0 0 5 ,   W I S D O M   C R O W D S ;   T a n n e n b a u m   A . ,   2 0 0 2 ,   M E T A D A T A   S O L U T I O N S   U ;   T i d d   J ,   2 0 0 1 ,   I N T   J   M A N A G   R E V ,   V 3 ,   P 1 6 9 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 8 - 2 3 7 0 . 0 0 0 6 2 ;   V e r o n a   G ,   2 0 0 6 ,   O R G A N   S T U D ,   V 2 7 ,   P 7 6 5 ,   D O I   1 0 . 1 1 7 7 / 0 1 7 0 8 4 0 6 0 6 0 6 1 0 7 3 ;   v o n   H i p p e l   E ,   2 0 0 3 ,   O R G A N   S C I ,   V 1 4 ,   P 2 0 9 ;   W a l l i n   M W ,   2 0 1 0 ,   O R G A N   D Y N ,   V 3 9 ,   P 1 4 5 ,   D O I   1 0 . 1 0 1 6 / j . o r g d y n . 2 0 1 0 . 0 1 . 0 1 0 	 3 3 	 0 	 0 	 I N T   B U S I N E S S   I N F O R M A T I O N   M A N A G E M E N T   A S S O C - I B I M A 	 N O R R I S T O W N 	 3 4   E   G E R M A N T O W N   P I K E ,   N O .   3 2 7 ,   N O R R I S T O W N ,   P A   1 9 4 0 1   U S A 	 	 	 9 7 8 - 0 - 9 8 2 1 4 8 9 - 6 - 9 	 	 	 	 2 0 1 1 	 	 	 	 	 	 	 2 0 9 9 	 2 1 1 0 	 	 	 	 1 2 	 B u s i n e s s ;   E c o n o m i c s ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 B E O 2 8 	 W O S : 0 0 0 3 1 7 5 5 0 0 0 1 0 9 7 	 	 
 J 	 P a k ,   B ;   V e r b e k e ,   J ;   A g - U k r i k u l ,   C 	 	 Z u p a n c i c ,   T ;   J u v a n c i c ,   M ;   V e r o v s e k ,   S ;   J u t r a z ,   A 	 	 P a k ,   B u r a k ;   V e r b e k e ,   J o h a n ;   A g - U k r i k u l ,   C h o t i m a 	 	 	 U t i l i z i n g   a   W e b - b a s e d   G e o g r a p h i c   V i r t u a l   E n v i r o n m e n t   P r o t o t y p e   f o r   t h e   C o l l a b o r a t i v e   A n a l y s i s   o f   a   F r a g i l e   U r b a n   A r e a   A n   " O p e n - S o u r c e "   I n t e r n a t i o n a l   U r b a n   D e s i g n   S t u d i o   o r g a n i z e d   i n   B r u s s e l s   d a d s 	 E C A A D E   2 0 1 1 :   R E S P E C T I N G   F R A G I L E   P L A C E S 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 2 9 t h   C o n f e r e n c e   o n   E d u c a t i o n   i n   C o m p u t e r   A i d e d   A r c h i t e c t u r a l   D e s i g n   i n   E u r o p e   ( e C A A D e ) 	 S E P   2 1 - 2 4 ,   2 0 1 1 	 L j u b l j a n a ,   S L O V E N I A 	 S l o v e n i a n   R e s   A g c y ,   A u t o d e s k ,   B e n t l e y ,   B u t a n   P l i n ,   I B   P R O C A D D ,   P e k a r n a   H l e b c e k 	 U n i v   L j u b l j a n a ,   F a c   A r c h i t e c t u r e 	 U r b a n   D e s i g n   S t u d i o ;   W e b - b a s e d   V i r t u a l   E n v i r o n m e n t s ;   I n t e g r a t i o n   o f   C A A D   R e s e a r c h   i n t o   D e s i g n   E d u c a t i o n ;   C o l l a b o r a t i o n 	 	 I n   t h i s   p a p e r ,   w e   w i l l   d i s c u s s   t h e   o p p o r t u n i t i e s   a n d   c h a l l e n g e s   o f   u s i n g   a   W e b - b a s e d   G e o g r a p h i c   V i r t u a l   E n v i r o n m e n t   P r o t o t y p e ,   p r i m a r i l y   d e v e l o p e d   i n   t h e   f r a m e w o r k   o f   a   l o n g - t e r m   r e s e a r c h   p r o j e c t   b y   P a k   a n d   V e r b e k e   ( 2 0 1 1 ) ,   a s   a   c o m p l e m e n t a r y   m e d i u m   t o   s u p p o r t   a n   i n t e r n a t i o n a l   u r b a n   d e s i g n   s t u d i o .   W e   r e c o n f i g u r e d   a n d   r e s c a l e d   t h i s   p r o t o t y p e   w i t h   t h e   o b j e c t i v e   o f   e n c o u r a g i n g   s t u d e n t s   t o   m a k e   a   c o l l a b o r a t i v e ,   o p e n - s o u r c e   a n d   l o c a t i o n - b a s e d   a n a l y s i s   o f   t h e   f r a g i l e   p r o j e c t   a r e a   ( t h e   B r u s s e l s - C h a r l e r o i   C a n a l )   a n d   s h a r e   t h e i r   f i n d i n g s   w i t h   e a c h   o t h e r .   D u r i n g   t h i s   e i g h t   w e e k   l o n g   e x p e r i m e n t a l   s t u d y ,   t h e   s t u d e n t s   w e r e   a b l e   t o   e f f e c t i v e l y   u s e   t h e   e n v i r o n m e n t   d u r i n g   t h e   a n a l y s i s   p h a s e   o f   t h e   u r b a n   d e s i g n   s t u d i o ;   d e s p i t e   t h e i r   h e t e r o g e n e o u s   p r o f i l e s .   T h e y   c r e a t e d   a n   o n l i n e   i n v e n t o r y   t h a t   c o v e r s   f i v e   g i g a b y t e s   o f   a n a l y s i s   f i n d i n g s ,   s k e t c h e s ,   p h o t o s ,   m a p s ,   s t u d i o   p r e s e n t a t i o n s   a n d   t e x t s   d e s c r i b i n g   t h e i r   e x p e r i e n c e s .   T h i s   e n v i r o n m e n t   s h o w s   t h e   p o w e r   o f   c r o w d s o u r c i n g   a n d   o n l i n e   c o l l a b o r a t i v e   a n a l y s i s .   M o r e o v e r ,   t h e   f i n d i n g s   o f   o u r   o n l i n e   s t u d e n t   s u r v e y   d e m o n s t r a t e   a   g e n e r a l   p o s i t i v e   a t t i t u d e   t o w a r d s   t h e   u s e   o f   t h e   V i r t u a l   E n v i r o n m e n t   P r o t o t y p e . 	 [ P a k ,   B u r a k ;   V e r b e k e ,   J o h a n ;   A g - U k r i k u l ,   C h o t i m a ]   A s s o c   K U ,   F a c   A r c h i t e c t u r e   &   A r t s ,   S i n t   L u c a s   S c h   A r c h i t e c t u r e ,   L o u v a i n ,   B e l g i u m 	 	 b u r a k . p a k @ a r c h i t e c t u u r . s i n t l u c a s . w e n k . b e ;   j o h a n . v e r b e k e @ a r c h i t e c t u u r . s i n t l u c a s . w e n k . b e ;   c h o t i m a . a g u k r i k u l @ a r c h i t e c t u u r . s i n t l u c a s . w e n k . b e 	 	 	 	 	 A g - U k r i k u l   C . ,   2 0 1 1 ,   B R U S S E L S   C A N A L   E V E R Y ;   C h a s e   S ,   2 0 0 8 ,   A R C H I T E C T U R E   I N   C O M P ,   P 8 0 9 ;   H u d s o n - S m i t h   A ,   2 0 0 9 ,   S O C   S C I   C O M P U T   R E V ,   V 2 7 ,   P 5 2 4 ,   D O I   1 0 . 1 1 7 7 / 0 8 9 4 4 3 9 3 0 9 3 3 2 2 9 9 ;   K n i g h t   M i c h a e l   W . ,   2 0 1 0 ,   F U T   C I T   P   2 8   I N T   C   E ,   P 5 1 ;   M a r t e n s   B . ,   2 0 0 8 ,   P   2 6   I N T   C   E D   R E S   C O ,   P 1 5 3 ;   P a k   B . ,   2 0 1 1 ,   V I R T U A L   E N V   M O D E L   A N ;   P a k   B . ,   2 0 1 0 ,   F U T   C I T   P   2 8   I N T   C   E 	 7 	 0 	 0 	 E C A A D E - E D U C A T I O N   &   R E S E A R C H   C O M P U T E R   A I D E D   A R C H I T E C T U R A L   D E S I G N   E U R O P E 	 B R U S S E L S 	 D E P T   A R C H I T E C T U R E   S I N T - L U C A S   B R U S S E L S - G H E N T ,   H O G E S C H O O L   V O O R   W E T E N S C H A P   &   K U N S T ,   P A L E I Z E N S T R A A T   6 5 ,   B R U S S E L S ,   1 0 3 0 ,   B E L G I U M 	 	 	 9 7 8 - 9 - 4 9 1 2 0 7 0 - 1 - 3 	 	 	 	 2 0 1 1 	 	 	 	 	 	 	 6 7 9 	 6 8 8 	 	 	 	 1 0 	 A r c h i t e c t u r e 	 A r c h i t e c t u r e 	 B A 4 G K 	 W O S : 0 0 0 3 3 5 6 6 5 5 0 0 0 7 9 	 	 
 J 	 T r i l l o ,   P ;   D o m i n g u e z ,   D 	 	 C h o v a ,   L G ;   B e l e n g u e r ,   D M ;   M a r t i n e z ,   A L 	 	 T r i l l o ,   P a z ;   D o m i n g u e z ,   D a n i e l 	 	 	 C R O W D S O U R C I N G   P E D A G O G I C A L   M O D E L S   I N   T H E   C O N T E X T   O F   Q U A L I T Y   A S S U R A N C E   I N   O P E N   O N L I N E   C O U R S E S 	 E D U L E A R N 1 1 :   3 R D   I N T E R N A T I O N A L   C O N F E R E N C E   O N   E D U C A T I O N   A N D   N E W   L E A R N I N G   T E C H N O L O G I E S 	 E D U L E A R N   P r o c e e d i n g s 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 3 r d   I n t e r n a t i o n a l   C o n f e r e n c e   o n   E d u c a t i o n   a n d   N e w   L e a r n i n g   T e c h n o l o g i e s   ( E D U L E A R N ) 	 J U L   0 4 - 0 6 ,   2 0 1 1 	 B a r c e l o n a ,   S P A I N 	 	 	 C r o w d s o u r c i n g ;   q u a l i t y   a s s u r a n c e ;   e - x c e l l e n c e   n e x t ;   o p e n   e d u c a t i o n a l   r e s o u r c e s ;   p e d a g o g i c a l   m o d e l s 	 	 T h e   t e r m   c r o w d s o u r c i n g   i s   u s u a l l y   c o n n e c t e d   t o   a   t y p e   o f   b u s i n e s s   i n n o v a t i o n   w h e r e   a u d i e n c e s   p a r t i c i p a t e   i n   t h e   d e v e l o p m e n t   o f   p r o d u c t s   a n d   s e r v i c e s .   H o w e v e r ,   t h e   i n t e r a c t i v e   f e a t u r e s   o f   s o c i a l   t e c h n o l o g i e s   o f f e r   n e w   o p p o r t u n i t i e s   f o r   p r a c t i c e   t h a t   i n c r e a s e   t h e   o p t i o n s   t o   a p p l y   c r o w d s o u r c i n g   m o d e l s   i n   m u l t i p l e   o t h e r   a r e a s .   I n   t h i s   p a p e r ,   w e   e x p l o r e   t h e   p o s s i b i l i t i e s   o f   a p p l y i n g   t h i s   a p p r o a c h   i n   t h e   e d u c a t i o n a l   f i e l d .   T o   t h i s   e n d ,   w e   a n a l y z e   t h e   c a s e   o f   a n   o p e n   c o u r s e   t h a t   u s e s   a n   i n d i r e c t   m o d e l   o f   c r o w d s o u r c i n g   f o r   g e n e r a t i n g   t h e   l e a r n i n g   c o n t e n t s .   B a s e d   o n   t h i s   c a s e ,   w e   i n t r o d u c e   a   s e r i e s   o f   r e f l e c t i o n s   t h a t   c o u l d   e n r i c h   t h e   d e b a t e   a b o u t   t h e   q u a l i t y   o f   m a t e r i a l s ,   o u t p u t s   a n d   t h e   l e a r n i n g   a s s e s s m e n t   p r o c e s s e s   t h a t   a r i s e   i n   o p e n   o n l i n e   c o u r s e s .   T h e s e   r e f l e c t i o n s   w i l l   b e   s u b j e c t   c o n t r a s t e d   i n   t h e   c o n t e x t   o f   t h e   " E - X c e l l e n c e   N e x t " p r o j e c t ,   f u n d e d   b y   t h e   L i f e   L o n g   L e a r n i n g   E u r o p e a n   P r o g r a m m e .   T h e   f i n d i n g s   a r e   o r g a n i z e d   i n t o   t h e   f o l l o w i n g   d i m e n s i o n s :   q u a l i t y   o f   c o n t e n t ,   e v a l u a t i o n   a n d   m o n i t o r i n g   p r o c e s s ,   l e a r n i n g   a s s e s s m e n t s . 	 [ T r i l l o ,   P a z ;   D o m i n g u e z ,   D a n i e l ]   U n i v   N a c l   E d u c   D i s t a n c i a ,   M a d r i d ,   S p a i n 	 	 m p t r i l l o @ e d u . u n e d . e s ;   d d o m i n g u e z @ e d u . u n e d . e s 	 	 	 	 	 A n t i n   J . ,   2 0 1 1 ,   B A D G E S   S O C I A L   M E D I A ;   B u r g e   R a n d y ,   2 0 0 7 ,   A L B U Q U E R Q U E   T R I B   A P R ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ;   T a p s c o t t   D . ,   2 0 0 7 ,   B U S I N E S S   W E E K 	 4 	 0 	 0 	 I A T E D - I N T   A S S O C   T E C H N O L O G Y   E D U C A T I O N   A &   D E V E L O P M E N T 	 V A L E N I C A 	 L A U R I   V O L P I   6 ,   V A L E N I C A ,   B U R J A S S O T   4 6 1 0 0 ,   S P A I N 	 2 3 4 0 - 1 1 1 7 	 	 9 7 8 - 8 4 - 6 1 5 - 0 4 4 1 - 1 	 E D U L E A R N   P R O C 	 	 	 2 0 1 1 	 	 	 	 	 	 	 3 1 9 2 	 3 1 9 5 	 	 	 	 4 	 E d u c a t i o n   &   E d u c a t i o n a l   R e s e a r c h 	 E d u c a t i o n   &   E d u c a t i o n a l   R e s e a r c h 	 B H Q 1 8 	 W O S : 0 0 0 3 2 6 2 9 2 9 0 3 0 3 4 	 	 
 S 	 M a t y a s ,   S ;   K i e f e r ,   P ;   S c h l i e d e r ,   C ;   K l e y e r ,   S 	 	 A n a c l e t o ,   J ;   F e l s ,   S ;   G r a h a m ,   N ;   K a p a r a l o s ,   B ;   E l N a s r ,   M S ;   S t a n l e y ,   K 	 	 M a t y a s ,   S e b a s t i a n ;   K i e f e r ,   P e t e r ;   S c h l i e d e r ,   C h r i s t o p h ;   K l e y e r ,   S a r a 	 	 	 W i s d o m   a b o u t   t h e   C r o w d :   A s s u r i n g   G e o s p a t i a l   D a t a   Q u a l i t y   C o l l e c t e d   i n   L o c a t i o n - B a s e d   G a m e s 	 E N T E R T A I N M E N T   C O M P U T I N G   -   I C E C   2 0 1 1 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 0 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   E n t e r t a i n m e n t   C o m p u t i n g 1 0 t h   B i e n n i a l   P a n   O c e a n   R e m o t e   S e n s i n g   C o n f e r e n c e   ( P O R S E C ) 	 O C T   0 5 - 0 8 ,   2 0 1 1 O C T ,   2 0 1 0 	 V a n c o u v e r ,   C A N A D A K e e l u n g ,   T A I W A N 	 N a t l   C t r   E x c e l l e n c e   G r a p h ,   A n i m a t   &   N e w M e d i a ,   U n i v   B r i t i s h   C o l u m b i a ,   M e d i a   &   G r a p h   I n t e r d i s c i p l i n a r y   C t r ,   S i m o n   F r a s e r   U n i v ,   I F I P   T C 1 4   C o m m N a t l   T a i w a n   O c e a n   U n i v ,   T a i w a n   O c e a n   R e s   I n s t ,   T a i w a n   N a t l   S c i   C o u n c i l ,   F i s h e r i e s   ( F A ) ,   E n v i r o n m   P r o t e c t   A g c y   T a i w a n   ( E P A ) ,   I n t   S p a c e   S c i   &   R e s   A g e n c i e s 	 	 l o c a t i o n - b a s e d   g a m e s ;   c r o w d s o u r c i n g ;   v o l u n t e e r e d   g e o g r a p h i c   i n f o r m a t i o n ;   g e o s p a t i a l   d a t a ;   d a t a   q u a l i t y ;   g a m e   d e s i g n 	 	 T h e   i d e a   o f   o u t s o u r c i n g   g e o s p a t i a l   d a t a   c r e a t i o n   t a s k s   t o   t h e   c r o w d   ( v o l u n t e e r e d   g e o g r a p h i c   i n f o r m a t i o n ,   V G I )   h a s   b e c o m e   q u i t e   p o p u l a r   i n   t h e   f i e l d   o f   g e o g r a p h i c   i n f o r m a t i o n   s c i e n c e   ( G I S c i e n c e ) .   A s   o n e   a p p r o a c h   t o   V G I ,   l o c a t i o n - b a s e d   g a m e s   ( L B G s )   h a v e   b e e n   s h o w n   t o   b e   s u c c e s s f u l   i n   m o t i v a t i n g   n o n - e x p e r t   u s e r s   t o   c o l l e c t   a n d   t a g   g e o s p a t i a l   d a t a .   H o w e v e r ,   t h e   c e n t r a l   V G I   p r o b l e m   o f   d a t a   q u a l i t y   h a s   s o   f a r   n o t   b e e n   s o l v e d   s a t i s f y i n g l y .   P r e v i o u s   s t u d i e s   s h o w   t h a t   g a m e s   t h a t   r e w a r d   t h e i r   p l a y e r s   f o r   i n -   o r   p o s t - g a m e   d a t a   r e v i e w i n g   c a n   a s s u r e   o n l y   a   v a l i d a t i o n   r a t e   o f   a b o u t   4 0 %   o f   t h e   d a t a .   W e   a d d r e s s   t h i s   p r o b l e m   w i t h   a   n e w   L B G   d e s i g n   p a t t e r n ,   b a s e d   o n   g a m e   r u l e s   t h a t   e n c o u r a g e   p l a y e r s   t o   t a k e   t h e   d e c i s i o n s   o f   o t h e r s   i n t o   a c c o u n t   w h i l e   m a k i n g   t h e i r   d a t a   c o l l e c t i n g   d e c i s i o n s .   W e   e m p i r i c a l l y   e v a l u a t e   t h e   n e w   p a t t e r n   b y   c o m p a r i n g   t h e   p o s i t i o n a l   a c c u r a c y   o f   d a t a   c o l l e c t e d   w i t h   t w o   d i f f e r e n t   r u l e   s e t s   f o r   t h e   L B G   G e o S n a k e .   O u r   p a t t e r n   i s   s h o w n   t o   r e s u l t   i n   a   s i g n i f i c a n t   a c c u r a c y   i m p r o v e m e n t . 	 [ M a t y a s ,   S e b a s t i a n ;   K i e f e r ,   P e t e r ;   S c h l i e d e r ,   C h r i s t o p h ]   O t t o   F r i e d r i c h   U n i v   B a m b e r g ,   C h a i r   C o m p   C u l t u r a l   S c i ,   D - 9 6 0 4 7   B a m b e r g ,   G e r m a n y 	 M a t y a s ,   S   ( r e p r i n t   a u t h o r ) ,   O t t o   F r i e d r i c h   U n i v   B a m b e r g ,   C h a i r   C o m p   C u l t u r a l   S c i ,   F e l d k i r c h e n s t r   2 1 ,   D - 9 6 0 4 7   B a m b e r g ,   G e r m a n y . 	 s e b a s t i a n . m a t y a s @ u n i - b a m b e r g . d e ;   p e t e r . k i e f e r @ u n i - b a m b e r g . d e ;   c h r i s t o p h . s c h l i e d e r @ u n i - b a m b e r g . d e ;   s a r a . k l e y e r @ u n i - b a m b e r g . d e 	 	 	 	 	 B e l l   M ,   2 0 0 9 ,   C H I 2 0 0 9 :   P R O C E E D I N G S   O F   T H E   2 7 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 1 2 3 ;   B j o r k   S . ,   2 0 0 4 ,   P A T T E R N S   G A M E   D E S I G N ;   C a p r a   M . ,   2 0 0 5 ,   I N T   C   M U L T   M U L T I M E D I ,   P 8 9 ;   D r o z d   A ,   2 0 0 6 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 2 0 6 ,   P 2 7 9 ;   G r a n t   L . ,   2 0 0 7 ,   S I G G R A P H   2 0 0 7   A C M   S I ,   P 1 2 ;   H a c k e r   S ,   2 0 0 9 ,   C H I 2 0 0 9 :   P R O C E E D I N G S   O F   T H E   2 7 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 1 2 0 7 ;   M a t y a s   S . ,   2 0 0 9 ,   D I G I T A L   C I T Y S C A P E S   M ,   P 1 8 7 ;   S U R O W I E C K I   J A M E S ,   2 0 0 4 ,   W I S D O M   C R O W D S ;   v o n   A h n   L ,   2 0 0 8 ,   C O M M U N   A C M ,   V 5 1 ,   P 5 8 ,   D O I   1 0 . 1 1 4 5 / 1 3 7 8 7 0 4 . 1 3 7 8 7 1 9 	 9 	 1 	 1 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 2 4 4 9 9 - 5 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 1 	 6 9 7 2 	 	 	 	 	 	 3 3 1 	 3 3 6 	 	 	 	 6 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B G 0 0 	 W O S : 0 0 0 3 0 6 7 2 8 9 0 0 0 3 6 	 	 
 S 	 P o u l i c e k ,   Z ;   P r o c h a z k a ,   B ;   B a c i k o v a ,   P 	 	 H r e b i c e k ,   J ;   S c h i m a k ,   G ;   D e n z e r ,   R 	 	 P o u l i c e k ,   Z b y n e k ;   P r o c h a z k a ,   B o r i s ;   B a c i k o v a ,   P e t r a 	 	 	 G I N A   ( G e o g r a p h i c a l   I n f o r m a t i o n   A s s i s t a n t )   F r e s h   W i n d   i n   E n v i r o n m e n t a l   M a p p i n g 	 E N V I R O N M E N T A L   S O F T W A R E   S Y S T E M S :   F R A M E W O R K S   O F   E E N V I R O N M E N T 	 I F I P   A d v a n c e s   i n   I n f o r m a t i o n   a n d   C o m m u n i c a t i o n   T e c h n o l o g y 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 9 t h   I F I P   W G   5   1 1   I n t e r n a t i o n a l   S y m p o s i u m   o n   E n v i r o n m e n t a l   S o f t w a r e   S y s t e m s   ( I S E S S   2 0 1 1 ) 	 J U N   2 7 - 2 9 ,   2 0 1 1 	 B r n o ,   C Z E C H   R E P U B L I C 	 	 	 G I N A   S y s t e m ;   e n v i r o n m e n t a l   m a p p i n g ;   o n l i n e   m a p p i n g ;   c r o w d s o u r c i n g 	 	 G I N A   i s   a   c o m p r e h e n s i v e   s o f t w a r e   s y s t e m   f o r   f i e l d   w o r k e r s   a l l o w i n g   e f f e c t i v e   m a p p i n g   o f   e n v i r o n m e n t   a n d   s i t u a t i o n .   T h e   G I N A   m a k e s   e a s i e r   b y   i t s   d e s i g n   t h e   m a p p i n g   w o r k s   i n   t h e   t e r r a i n   a n d   p r o t e c t s   t h e   c o l l e c t e d   d a t a .   I t   r u n s   o n   h a r d w a r e   o f   M o t o r o l a   C o m p a n y   w h i c h   h a s   s t u r d y   d e s i g n   f o r   w o r k   i n   t h e   f i e l d   a n d   i s   p e r f e c t l y   a d j u s t e d   t o   n e e d s   o f   f i e l d   w o r k e r s .   B y   m e a n s   o f   G I N A   S y s t e m   c a n   b e   r e a l i z e d   m a p p i n g   p r o j e c t s   i n   e x t r a v i l a n s   t h a t   w o u l d n ' t   b e   e v e n   p o s s i b l e   t o   d o   b y   t r a d i t i o n a l   m e t h o d s . 	 [ P o u l i c e k ,   Z b y n e k ;   P r o c h a z k a ,   B o r i s ;   B a c i k o v a ,   P e t r a ]   G I N A   S o f t w a r e   S r o ,   B r n o   6 1 6 0 0 ,   C z e c h   R e p u b l i c 	 P o u l i c e k ,   Z   ( r e p r i n t   a u t h o r ) ,   G I N A   S o f t w a r e   S r o ,   U   V o d a r n y   2 A ,   B r n o   6 1 6 0 0 ,   C z e c h   R e p u b l i c . 	 i n f o @ g i n a s y s t e m . c o m 	 	 	 	 	 	 0 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 1 8 6 8 - 4 2 3 8 	 	 9 7 8 - 3 - 6 4 2 - 2 2 2 8 4 - 9 	 I F I P   A D V   I N F   C O M M   T E 	 	 	 2 0 1 1 	 3 5 9 	 	 	 	 	 	 1 3 9 	 1 4 3 	 	 	 	 5 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   E n v i r o n m e n t a l   S c i e n c e s 	 C o m p u t e r   S c i e n c e ;   E n v i r o n m e n t a l   S c i e n c e s   &   E c o l o g y 	 B B D 8 6 	 W O S : 0 0 0 3 0 6 5 7 9 2 0 0 0 1 5 	 	 
 J 	 S a k a m o t o ,   Y ;   T a n a k a ,   Y ;   Y u ,   L X ;   N i c k e r s o n ,   J V 	 	 S c h m o r r o w ,   D D ;   F i d o p i a s t i s ,   C M 	 	 S a k a m o t o ,   Y a s u a k i ;   T a n a k a ,   Y u k o ;   Y u ,   L i x i u ;   N i c k e r s o n ,   J e f f r e y   V . 	 	 	 T h e   C r o w d s o u r c i n g   D e s i g n   S p a c e 	 F O U N D A T I O N S   O F   A U G M E N T E D   C O G N I T I O N :   D I R E C T I N G   T H E   F U T U R E   O F   A D A P T I V E   S Y S T E M S 	 L e c t u r e   N o t e s   i n   A r t i f i c i a l   I n t e l l i g e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 6 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   F o u n d a t i o n s   o f   A u g m e n t e d   C o g n i t i o n   ( F A C )   H e l d   a s   P a r t   o f   1 4 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   H u m a n - C o m p u t e r   I n t e r a c t i o n   ( H C I ) 	 J U L   0 9 - 1 4 ,   2 0 1 1 	 O r l a n d o ,   F L 	 	 	 C r o w d s o u r c i n g ;   d i s t r i b u t e d   c o g n i t i o n ;   o r g a n i z a t i o n a l   d e s i g n ;   p e e r   p r o d u c t i o n ;   c o l l e c t i v e   c r e a t i v i t y ;   h u m a n   c o m p u t a t i o n 	 S Y S T E M S 	 C r o w d s o u r c i n g   i s   a   n e w   k i n d   o f   o r g a n i z a t i o n a l   s t r u c t u r e ,   o n e   t h a t   i s   c o n d u c i v e   t o   l a r g e   a m o u n t s   o f   s h o r t   p a r a l l e l   w o r k :   t h o u s a n d s   o f   i n d i v i d u a l s   m a y   w o r k   f o r   s e v e r a l   m i n u t e s   o n   t a s k s ,   t h e i r   o u t p u t s   a g g r e g a t e d   i n t o   a   u s e f u l   p r o d u c t   o r   s e r v i c e .   T h e   d i m e n s i o n s   o f   t h i s   n e w   o r g a n i z a t i o n a l   f o r m   a r e   d e s c r i b e d .   A r e a s   f o r   f u t u r e   r e s e a r c h   a r e   i d e n t i f i e d ,   f o c u s i n g   o n   o p e n - e n d e d   t a s k s   a n d   t h e   c o o r d i n a t i o n   s t r u c t u r e s   t h a t   m i g h t   f o s t e r   c o l l e c t i v e   c r e a t i v i t y . 	 [ S a k a m o t o ,   Y a s u a k i ;   T a n a k a ,   Y u k o ;   Y u ,   L i x i u ;   N i c k e r s o n ,   J e f f r e y   V . ]   S t e v e n s   I n s t   T e c h n o l ,   C t r   D e c i s   T e c h n o l ,   H o b o k e n ,   N J   0 7 0 3 0   U S A 	 S a k a m o t o ,   Y   ( r e p r i n t   a u t h o r ) ,   S t e v e n s   I n s t   T e c h n o l ,   C t r   D e c i s   T e c h n o l ,   H o b o k e n ,   N J   0 7 0 3 0   U S A . 	 y s a k a m o t @ s t e v e n s . e d u ;   y u k o . t a n a k a @ s t e v e n s . e d u ;   l y u 3 @ s t e v e n s . e d u ;   j n i c k e r s o n @ s t e v e n s . e d u 	 	 	 	 	 A m a b i l e   T .   M ,   1 9 9 6 ,   C R E A T I V I T Y   C O N T E X T ;   B e l l   R M ,   2 0 0 7 ,   A C M   S I G K D D   E X P L O R A T I ,   V 9 ,   P 7 5 ,   D O I   1 0 . 1 1 4 5 / 1 3 4 5 4 4 8 . 1 3 4 5 4 6 5 ;   B e n k l e r   Y . ,   2 0 0 6 ,   W E A L T H   N E T W O R K S   S O C I ;   B o e l l s t o r f f   T ,   2 0 0 8 ,   C O M I N G   O F   A G E   I N   S E C O N D   L I F E :   A N   A N T H R O P O L O G I S T   E X P L O R E S   T H E   V I R T U A L L Y   H U M A N ,   P 1 ;   B o u d r e a u   K . ,   2 0 0 8 ,   0 9 0 4 1   H A R V   B U S   S C H ;   B o y d   J .   E . ,   2 0 0 4 ,   P   1 2   A N N   A C M   I N T   C   M ,   P 6 2 8 ,   D O I   1 0 . 1 1 4 5 / 1 0 2 7 5 2 7 . 1 0 2 7 6 7 4 ;   B r a b h a m   D C ,   2 0 1 0 ,   I N F O R M   C O M M U N   S O C ,   V 1 3 ,   P 1 1 2 2 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 1 0 0 3 6 2 4 0 9 0 ;   B r o o k s   F . P . ,   2 0 1 0 ,   D E S I G N   D E S I G N   E S S A Y S ;   C o o p e r   S . ,   N A T U R E ,   V 4 6 6 ,   P 7 5 6 ;   D e c i   E L ,   1 9 9 9 ,   P S Y C H O L   B U L L ,   V 1 2 5 ,   P 6 2 7 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 0 9 . 1 2 5 . 6 . 6 2 7 ;   D e n n i s   A .   R . ,   2 0 0 3 ,   G R O U P   C R E A T I V I T Y   I N N ,   P 1 6 0 ;   E s t e s   W K ,   2 0 0 5 ,   P S Y C H O N   B   R E V ,   V 1 2 ,   P 4 0 3 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 1 9 3 7 8 4 ;   G a l a n t u c c i   B ,   2 0 0 5 ,   C O G N I T I V E   S C I ,   V 2 9 ,   P 7 3 7 ,   D O I   1 0 . 1 2 0 7 / s 1 5 5 1 6 7 0 9 c o g 0 0 0 0 _ 3 4 ;   G a l t o n   F ,   1 9 0 7 ,   N A T U R E ,   V 7 5 ,   P 4 5 0 ,   D O I   1 0 . 1 0 3 8 / 0 7 5 4 5 0 a 0 ;   G e r o   J S ,   2 0 0 0 ,   T E C H N O L   F O R E C A S T   S O C ,   V 6 4 ,   P 1 8 3 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 0 - 1 6 2 5 ( 9 9 ) 0 0 1 0 5 - 5 ;   G o l d b e r g   D ,   1 9 8 9 ,   G E N E T I C   A L G O R I T H M S   S ;   G r e g   L i t t l e ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 6 8 ,   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 9 0 7 ;   G u l l e y   N . ,   2 0 0 1 ,   C H I   2 0 0 1   H U M   F A C T   C O ,   P 3 3 8 ;   G u r n e e   H ,   1 9 3 7 ,   J   P S Y C H O L ,   V 3 ,   P 4 3 7 ;   H i n d s   P . ,   2 0 0 2 ,   D I S T R I B U T E D   W O R K ;   H o l l a n   J . ,   2 0 0 0 ,   A C M   T r a n s a c t i o n s   o n   C o m p u t e r - H u m a n   I n t e r a c t i o n ,   V 7 ,   D O I   1 0 . 1 1 4 5 / 3 5 3 4 8 5 . 3 5 3 4 8 7 ;   H o l l a n d   J H ,   2 0 0 0 ,   E V O L   C O M P U T ,   V 8 ,   P 3 7 3 ,   D O I   1 0 . 1 1 6 2 / 1 0 6 3 6 5 6 0 0 5 6 8 2 2 0 ;   H o w e   J . ,   2 0 0 9 ,   C R O W D S O U R C I N G   W H Y   P O ;   J a i n   R . ,   2 0 1 0 ,   A M C I S   2 0 1 0   P ,   P 5 5 7 ;   K e a r n s   M ,   2 0 0 6 ,   S C I E N C E ,   V 3 1 3 ,   P 8 2 4 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 2 7 2 0 7 ;   K i t t u r   A . ,   2 0 1 0 ,   C R O W D S O U R C I N G   C O L L A B ;   K n i g h t   H . C . ,   1 9 2 1 ,   T H E S I S   C O L U M B I A   U ;   K o s o r u k o f f   A ,   2 0 0 2 ,   I E E E   S Y S   M A N   C Y B E R N ,   P 3 4 6 4 ;   M a l o n e   T . W . ,   2 0 1 0 ,   4 7 3 2 0 9   M I T ;   M A L O N E   T W ,   1 9 9 4 ,   A C M   C O M P U T   S U R V ,   V 2 6 ,   P 8 7 ,   D O I   1 0 . 1 1 4 5 / 1 7 4 6 6 6 . 1 7 4 6 6 8 ;   M a s o n   W A ,   2 0 0 8 ,   J   E X P   P S Y C H O L   G E N ,   V 1 3 7 ,   P 4 2 2 ,   D O I   1 0 . 1 0 3 7 / a 0 0 1 2 7 9 8 ;   M i l n e r   R o b i n ,   1 9 9 9 ,   C O M M U N I C A T I N G   M O B I L E ;   N i c k e r s o n   J V ,   2 0 1 0 ,   W O R K S H   I N F   N E T W ;   N i c k e r s o n   J . V . ,   2 0 0 8 ,   I N T   C   I N F   S Y S T   I C I S ,   P 2 1 6 ;   N i c k e r s o n   J . V . ,   2 0 1 1 ,   H A W   I N T   C   S Y S T   S C I ;   N U N A M A K E R   J F ,   1 9 9 1 ,   C O M M U N   A C M ,   V 3 4 ,   P 4 0 ,   D O I   1 0 . 1 1 4 5 / 1 0 5 7 8 3 . 1 0 5 7 9 3 ;   P i c k a r d   G . ,   2 0 1 0 ,   J   A R X I V ;   Q u i n n   A . J . ,   2 0 1 1 ,   C H I ;   R a d d i c k   J . ,   2 0 0 7 ,   B   A M   A S T R O N   S O C ,   V 3 8 ,   P 8 9 2 ;   R e s n i c k   M ,   2 0 0 9 ,   C O M M U N   A C M ,   V 5 2 ,   P 6 0 ,   D O I   1 0 . 1 1 4 5 / 1 5 9 2 7 6 1 . 1 5 9 2 7 7 9 ;   S a l g a n i k   M J ,   2 0 0 6 ,   S C I E N C E ,   V 3 1 1 ,   P 8 5 4 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 2 1 0 6 6 ;   T a n a k a   Y . ,   2 0 0 9 ,   1 4   I N T   C   T H I N K ;   T h a g a r d   P . ,   1 9 9 2 ,   C O N C E P T U A L   R E V O L U T I O ;   V a n   d e r   A a l s t   W M P ,   2 0 0 3 ,   D I S T R I B   P A R A L L E L   D A T ,   V 1 4 ,   P 5 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 2 2 8 8 3 7 2 7 2 0 9 ;   V o i k l i s   J . ,   2 0 0 8 ,   T H I N G   I S   W H A T   W E   S A Y ;   v o n   A h n   L ,   2 0 0 8 ,   C O M M U N   A C M ,   V 5 1 ,   P 5 8 ,   D O I   1 0 . 1 1 4 5 / 1 3 7 8 7 0 4 . 1 3 7 8 7 1 9 ;   W e s t   J ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 2 5 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 5 2 - 0 ;   Y u   L . ,   2 0 1 1 ,   C H I 	 4 8 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 2 1 8 5 1 - 4 	 L E C T   N O T E S   A R T I F   I N T 	 	 	 2 0 1 1 	 6 7 8 0 	 	 	 	 	 	 3 4 6 	 3 5 5 	 	 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e 	 C o m p u t e r   S c i e n c e 	 B D B 8 1 	 W O S : 0 0 0 3 1 2 5 0 1 4 0 0 0 4 1 	 	 
 S 	 Y u ,   L X ;   S a k a m o t o ,   Y 	 	 S c h m o r r o w ,   D D ;   F i d o p i a s t i s ,   C M 	 	 Y u ,   L i x i u ;   S a k a m o t o ,   Y a s u a k i 	 	 	 F e a t u r e   S e l e c t i o n   i n   C r o w d   C r e a t i v i t y 	 F O U N D A T I O N S   O F   A U G M E N T E D   C O G N I T I O N :   D I R E C T I N G   T H E   F U T U R E   O F   A D A P T I V E   S Y S T E M S 	 L e c t u r e   N o t e s   i n   A r t i f i c i a l   I n t e l l i g e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 6 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   F o u n d a t i o n s   o f   A u g m e n t e d   C o g n i t i o n   ( F A C )   H e l d   a s   P a r t   o f   1 4 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   H u m a n - C o m p u t e r   I n t e r a c t i o n   ( H C I ) 	 J U L   0 9 - 1 4 ,   2 0 1 1 	 O r l a n d o ,   F L 	 	 	 C r o w d s o u r c i n g ;   c o l l e c t i v e   c r e a t i v i t y ;   c o m b i n a t i o n ;   f e a t u r e   s e l e c t i o n 	 M E M O R Y ;   E M E R G E N C E ;   R E T E N T I O N 	 C r o w d s o u r c i n g   i s   e m e r g i n g   a s   a   w e l l s p r i n g   o f   c r e a t i v e   d e s i g n s .   T h i s   p a p e r   e x a m i n e s   t h e   m e c h a n i s m s   t h a t   s u p p o r t   c o l l e c t i v e   d e s i g n .   A   s e q u e n t i a l   c o m b i n a t i o n   s y s t e m   i s   d e s c r i b e d :   o n e   c r o w d   g e n e r a t e s   d e s i g n s ,   a n d   a n o t h e r   c r o w d   c o m b i n e s   t h e s e   d e s i g n s .   P r e v i o u s   e x p e r i m e n t s   s h o w e d   t h a t   t h e   c o m b i n e d   d e s i g n s   w e r e   j u d g e d   m o r e   c r e a t i v e   t h a n   t h e   i n i t i a l   d e s i g n s .   T h e   c u r r e n t   w o r k   e x t e n d s   t h i s   p r e v i o u s   r e s e a r c h   b y   e x a m i n i n g   t h e   c o m b i n a t i o n   p r o c e s s   o f   t h e   d e s i g n s   m o r e   c l o s e l y ,   l o o k i n g   a t   h o w   f e a t u r e s   o f   t h e   d e s i g n s   w e r e   s e l e c t e d   a n d   i n t e g r a t e d   i n t o   l a t e r   d e s i g n s .   P a r t i c i p a n t s   p r e f e r r e d   a t y p i c a l   f e a t u r e s   t o   t y p i c a l   o n e s   f o r   i n t e g r a t i o n ,   a n d   g i v e n   a   c h o i c e ,   s e l e c t e d   p r a c t i c a l   b u t   l e s s   a t y p i c a l   f e a t u r e s   o v e r   i m p r a c t i c a l   b u t   m o r e   a t y p i c a l   f e a t u r e s .   W e   c o n c l u d e   t h a t   c r o w d s   a t t e n d   t o   b o t h   n o v e l t y   a n d   p r a c t i c a l i t y   o f   t h e   f e a t u r e s ,   a n d   t h a t   t h e   p r e s e n c e   o f   a t y p i c a l   y e t   p r a c t i c a l   f e a t u r e s   c o n t r i b u t e s   t o   t h e   i n c r e a s e d   c r e a t i v i t y   o f   t h e   c o m b i n e d   d e s i g n s . 	 [ Y u ,   L i x i u ;   S a k a m o t o ,   Y a s u a k i ]   S t e v e n s   I n s t   T e c h n o l ,   H o w e   S c h   T e c h n o l   M a n a g e m e n t ,   H o b o k e n ,   N J   0 7 0 3 0   U S A 	 Y u ,   L X   ( r e p r i n t   a u t h o r ) ,   S t e v e n s   I n s t   T e c h n o l ,   H o w e   S c h   T e c h n o l   M a n a g e m e n t ,   H o b o k e n ,   N J   0 7 0 3 0   U S A . 	 l y u 3 @ s t e v e n s . e d u ;   y s a k a m o t @ s t e v e n s . e d u 	 	 	 	 	 B e n k l e r   Y . ,   2 0 0 6 ,   W E A L T H   N E T W O R K S   S O C I ;   B o h m   D . ,   1 9 9 8 ,   C R E A T I V I T Y ;   B O W E R   G H ,   1 9 7 9 ,   C O G N I T I V E   P S Y C H O L ,   V 1 1 ,   P 1 7 7 ,   D O I   1 0 . 1 0 1 6 / 0 0 1 0 - 0 2 8 5 ( 7 9 ) 9 0 0 0 9 - 4 ;   B R E W E R   W F ,   1 9 8 1 ,   C O G N I T I V E   P S Y C H O L ,   V 1 3 ,   P 2 0 7 ,   D O I   1 0 . 1 0 1 6 / 0 0 1 0 - 0 2 8 5 ( 8 1 ) 9 0 0 0 8 - 6 ;   C A M P B E L L   D T ,   1 9 6 0 ,   P S Y C H O L   R E V ,   V 6 7 ,   P 3 8 0 ,   D O I   1 0 . 1 0 3 7 / h 0 0 4 0 3 7 3 ;   E s t e s   Z ,   2 0 0 2 ,   C R E A T I V I T Y   R E S   J ,   V 1 4 ,   P 1 4 9 ,   D O I   1 0 . 1 2 0 7 / S 1 5 3 2 6 9 3 4 C R J 1 4 0 2 _ 2 ;   F i n k e   R A . ,   1 9 9 6 ,   C R E A T I V E   C O G N I T I O N   T ;   F l e m i n g   L ,   2 0 0 1 ,   M A N A G E   S C I ,   V 4 7 ,   P 1 1 7 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 7 . 1 . 1 1 7 . 1 0 6 7 1 ;   F o g e l   D . ,   1 9 9 6 ,   E V O L U T I O N A R Y   C O M P U T A ;   G o l d b e r g   D ,   1 9 8 9 ,   G E N E T I C   A L G O R I T H M S   S ;   G O O D M A N   G S ,   1 9 8 0 ,   C O G N I T I V E   P S Y C H O L ,   V 1 2 ,   P 4 7 3 ,   D O I   1 0 . 1 0 1 6 / 0 0 1 0 - 0 2 8 5 ( 8 0 ) 9 0 0 1 7 - 1 ;   G r a e s s e r   A .   C . ,   1 9 8 2 ,   P S Y C H O L   L E A R N   M O T I V ,   V 1 6 ,   P 5 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 7 9 - 7 4 2 1 ( 0 8 ) 6 0 5 4 7 - 2 ;   H A S T I E   R ,   1 9 7 9 ,   J   P E R S   S O C   P S Y C H O L ,   V 3 7 ,   P 2 5 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 2 - 3 5 1 4 . 3 7 . 1 . 2 5 ;   H o l l a n d   J H ,   1 9 7 5 ,   A D A P T A T I O N   N A T U R A L   A ;   K i t t u r   A . ,   2 0 1 0 ,   C R O W D S O U R C I N G   C O L L A B ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   K o e s t l e r   A . ,   1 9 6 4 ,   A C T   C R E A T I O N ;   K o s o r u k o f f   A . ,   2 0 0 1 ,   P   I E E E   I N T   C   S Y S T   M A ,   P 3 4 6 4 ;   K U N D A   Z ,   1 9 9 0 ,   C O G N I T I V E   S C I ,   V 1 4 ,   P 5 5 1 ,   D O I   1 0 . 1 2 0 7 / s 1 5 5 1 6 7 0 9 c o g 1 4 0 4 _ 3 ;   L i t t l e   G . ,   2 0 1 0 ,   A C M   S I G K D D   W O R K S H   H U ,   P 6 8 ;   M a h e r   M . L . ,   2 0 1 0 ,   D E S I G N   C R E A T I V I T Y   R E ;   N e l s o n   R .   R . ,   1 9 8 2 ,   E V O L U T I O N A R Y   T H E O R Y ;   N i c k e r s o n   J V ,   2 0 1 0 ,   W O R K S H   I N F   N E T W ;   Q u i n n   A . J . ,   2 0 1 1 ,   C H I ;   R a y k a r   V C ,   2 0 1 0 ,   J   M A C H   L E A R N   R E S ,   V 1 1 ,   P 1 2 9 7 ;   S i m o n t o n   D .   K . ,   2 0 0 4 ,   C R E A T I V I T Y   S C I   C H A N C ;   S O B E L   R S ,   1 9 8 0 ,   J   P E R S   S O C   P S Y C H O L ,   V 3 9 ,   P 9 5 3 ;   T a y l o r   S E ,   1 9 8 1 ,   S O C I A L   C O G N I T I O N   O N T ,   V 1 ,   P 8 9 ;   T h a g a r d   P . ,   1 9 9 2 ,   C O N C E P T U A L   R E V O L U T I O ;   T h a g a r d   P ,   2 0 1 1 ,   C O G N I T I V E   S C I ,   V 3 5 ,   P 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 5 1 - 6 7 0 9 . 2 0 1 0 . 0 1 1 4 2 . x ;   v o n   R e s t o r f f   H ,   1 9 3 3 ,   P S Y C H O L   F O R S C H ,   V 1 8 ,   P 2 9 9 ;   W a r d   T B ,   2 0 0 4 ,   J   B U S   V E N T U R I N G ,   V 1 9 ,   P 1 7 3 ,   D O I   1 0 . 1 0 1 6 / S 0 8 8 3 - 9 0 2 6 ( 0 3 ) 0 0 0 0 5 - 3 ;   W i l k e n f e l d   M J ,   2 0 0 1 ,   J   M E M   L A N G ,   V 4 5 ,   P 2 1 ,   D O I   1 0 . 1 0 0 6 / j m l a . 2 0 0 0 . 2 7 7 2 ;   Y u   L . ,   2 0 1 1 ,   P   C H I   2 0 1 1 	 3 4 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 2 1 8 5 1 - 4 	 L E C T   N O T E S   A R T I F   I N T 	 	 	 2 0 1 1 	 6 7 8 0 	 	 	 	 	 	 3 8 3 	 3 9 2 	 	 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e 	 C o m p u t e r   S c i e n c e 	 B D B 8 1 	 W O S : 0 0 0 3 1 2 5 0 1 4 0 0 0 4 5 	 	 
 J 	 A r q u i l l a ,   V ;   M o t t a ,   R 	 	 C h o v a ,   L G ;   T o r r e s ,   I C ;   M a r t i n e z ,   A L 	 	 A r q u i l l a ,   V e n a n z i o ;   M o t t a ,   R u g g e r o 	 	 	 S T U D E N T   B R A I N :   T O O L S   A N D   M E T H O D S   T O   S U P P O R T   T H E   S T U D E N T S   C R E A T I V I T Y   A N D   T O   I M P R O V E   T H E   L E A R N I N G   A N D   C O - L E A R N I N G   P R O C E S S E S   -   T H E   P O L I B R A I N   C A S E 	 I N T E D 2 0 1 1 :   5 T H   I N T E R N A T I O N A L   T E C H N O L O G Y ,   E D U C A T I O N   A N D   D E V E L O P M E N T   C O N F E R E N C E 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 5 t h   I n t e r n a t i o n a l   T e c h n o l o g y ,   E d u c a t i o n   a n d   D e v e l o p m e n t   C o n f e r e n c e   ( I N T E D ) 	 M A R   0 7 - 0 9 ,   2 0 1 1 	 V a l e n c i a ,   S P A I N 	 	 	 C o - l e a r n i n g ;   u n i v e r s i t y ;   n e t w o r k ;   o p e n   i n n o v a t i o n ;   c o l l a b o r a t i o n ;   w e b ;   s o c i a l ;   c r e a t i v i t y ;   s u p p o r t ;   s e r v i c e   d e s i g n 	 	 T h e   c u r r e n t   s c e n a r i o   i s   c h a r a c t e r i z e d   b y   g r e a t   e c o n o m i c   a n d   s o c i a l   t r e n d s   l i k e   t h e   i n c r e a s i n g   r e l e v a n c e   o f   t h e   c r e a t i v i t y   a n d   t h e   i d e a s   g e n e r a t i o n ,   t h e   n e t w o r k ' s   i n n o v a t i o n   p o w e r   a n d   t h e   i n f o r m a t i o n   t e c h n o l o g y   g r o w t h .   T h e   p a p e r   o f f e r   t h e   r e s u l t s   o f   a   r e s e a r c h   a i m e d   t o   u n d e r s t a n d   t h e   i m p a c t   o f   t h e s e   f a c t o r s   o n   t h e   s t u d e n t s   e d u c a t i o n   p r o c e s s   a n d   t h e   w a y   t h e i r   c r e a t i v i t y   c a n   c o n t r i b u t e   t o   t h e   e c o n o m i c   a n d   s o c i a l   d e v e l o p m e n t .   W e   h a v e   c o n s i d e r e d   t h e   l a s t   c r e a t i v i t y   b a s e d   e c o n o m i c   t h e o r y   ( F l o r i d a   R . ,   H i p p e l   E .   V . ,   T a p s c o t t   D . ,   R i f k i n   J . ,   H o w e   J . )   a n d   t h e n   w e   h a v e   a n a l y z e d   b o t h   t h e   o l d   a n d   t h e   n e w   m o d e l s   r e l a t e d   w i t h   t h e   r e s e a r c h ' s   t o p i c :   f r o m   t h e   c l a s s i c a l   b u s i n e s s   i n c u b a t o r   t o   t h e   l a s t   c r o w d s o u r c i n g   a n d   c r e a t i v e   c o m m u n i t i e s   ( S t a r t u p   W e e k e n d ,   H - f a r m v e n t u r e s ,   I n n o c e n t i v e ,   C r o w d s p r i n g ,   O p e n I d e o , . . . ) .   T r y i n g   t o   d e e p e n   t h e   m a t t e r   w e   d e s i g n e d   a   s e r v i c e ,   i n t e g r a t e d   w i t h   t h e   a c a d e m i c   e n v i r o n m e n t ,   t h a t   e n c o u r a g e s   t h e   e n t r e p r e n e u r s h i p   o f   t h e   d e s i g n   s t u d e n t s   a n d   s u p p o r t s   t h e   c r e a t i o n   o f   p r o j e c t   t e a m s .   P o l i b r a i n   i s   c h a r a c t e r i z e d   b y   o p e n   i n n o v a t i o n   a n d   o n l i n e   c o l l a b o r a t i v e   t o o l s   a n d   p r o v i d e s   a   w e b   p l a t f o r m   t h a t   i s   t h e   m a i n   t o u c h p o i n t   w i t h   w h i c h   t h e   u s e r s   ( s t u d e n t s ,   t e a c h e r s   a n d   g u e s t s )   g e t   i n   c o n t a c t .   P o l i B r a i n   p l a t f o r m   a c t s   p r i m a r i l y   o n   4   d i f f e r e n t   s i d e s :   -   I t   m a k e s   t h e   s t u d e n t s '   a n d   t e a c h e r s '   r e l a t i o n s   e a s i e r ,   m o r e   f r e q u e n t   a n d   m o r e   e f f i c i e n t .   -   I t   r e m o v e s   t h e   c u l t u r a l   a n d   p h y s i c a l   w a l l s   b e t w e e n   t h e   d i f f e r e n t   d e g r e e s   a n d   t h e   d i f f e r e n t   f a c u l t i e s ,   c r e a t i n g   m u l t i d i s c i p l i n a r y   n e t w o r k s .   -   I t   m a k e s   s t u d e n t s '   p r o j e c t s   a n d   i n n o v a t i o n s   v i s i b l e   t o   e x t e r n a l   s u b j e c t   l i k e   c o m p a n i e s   a n d   i n v e s t o r s   a n d   d i r e c t l y   f u n d s   t h e   b e s t   o n e s .   -   I t   p r o v i d e s   r e p u t a t i o n ,   v i s i b i l i t y   a n d   n e w   c o n t a c t s   t o   t h e   U n i v e r s i t y .   T h e   p l a t f o r m   p l a n s   s o m e   o f   t h e   c l a s s i c   s o c i a l   n e t w o r k ' s   f e a t u r e s   b u t   u n l i k e   t h e m   i t ' s   n o t   l i m i t e d   t o   i n t e r a c t i o n :   i t ' s   f o c u s e d   o n   t h e   c o l l a b o r a t i o n   p r o c e s s e s ,   a l l o w i n g   t h e   d e v e l o p m e n t   o f   p r o j e c t s   f r o m   t h e   c o n c e p t   a n d   r e c r u i t i n g   p h a s e s   t o   t h e   f u n d   r a i s i n g   s t a g e .   T h e   i m p l e m e n t a t i o n   i n   t h e   a c a d e m i c   e n v i r o n m e n t   ( w e   c h o s e   t h e   D e s i g n   F a c u l t y   o f   t h e   P o l i t e c n i c o   d i   M i l a n o   a s   p r o v i n g   g r o u n d )   a s s u r e s   s o m e   s p e c i a l   f a c t o r s   w h i c h   m a k e   t h e   c r e a t i v e   p r o c e s s   e x t r e m e l y   e f f i c i e n t :   -   T h e r e   a r e   t e n s   o f   t h o u s a n d s   o f   s t u d e n t s   w o r k i n g   i n   d i f f e r e n t   f i e l d s   a n d   c h a r a c t e r i z e d   b y   d i f f e r e n t   s k i l l s   a n d   c o m p e t e n c e s   a n d   t h e y   a l l   c o u l d   b e   p o t e n t i a l   c o l l a b o r a t o r s   f o r   t h e   d e v e l o p m e n t   o f   o t h e r s   s t u d e n t s '   p r o j e c t s .   -   T h e r e   i s   a   h i g h   l e v e l   o f   p r o - a c t i v i t y   a n d   f r e s h n e s s   o f   t h e   i d e a s ,   t h e   s t u d e n t s '   a p p r o a c h   t o   i n n o v a t i o n   i s   o f t e n   f r e e   o f   p r e c o n c e p t i o n s .   -   T h e r e   a r e   a   l o t   o f   t e a c h e r s   w i t h   s p e c i a l i z a t i o n s   a n d   e x p e r i e n c e   i n   e v e r y   f i e l d s   w h o   c o u l d   b e   t h e   m e n t o r s   o f   s o m e   s t u d e n t s '   p r o j e c t s .   -   T h e   U n i v e r s i t y   h a s   a   l o t   o f   r e s o u r c e s   a n d   g o t   t h e   c a p a c i t y   t o   a t t r a c t   i n v e s t o r s   a n d   p a r t n e r s .   P o l i B r a i n   a l l o w s   n o t   o n l y   a   m o r e   e f f e c t i v e   s u p p o r t   t o   t h e   p r o j e c t ' s   d e v e l o p m e n t   i n c r e a s i n g   t h e i r   p o s s i b i l i t i e s   t o   r e a c h   a n d   t o   g o   b e y o n d   t h e   e a r l y   s t a g e ,   i t   a l s o   p r o v i d e   s p e c i f i c   b e n e f i t s   t o   t h e   U n i v e r s i t y   a n d   i t s   c o m m u n i t y .   A l l   t h e   f e a t u r e s   a n d   t h e   t o o l s   i m p l e m e n t e d   i n   t h e   p l a t f o r m   a r e   a l r e a d y   a v a i l a b l e   o n   t h e   w e b ,   i n   f a c t   P o l i b r a i n   i s   n o t   a i m e d   t o   a   " t e c h n o l o g i c   i n n o v a t i o n "   b u t   t o   a   " s o c i a l   i n n o v a t i o n " :   i t   u s e   t h e   t e c h n o l o g y   t o   c h a n g e   t h e   a c t o r s   r o l e   a n d   t o   e n l a r g e   t h e i r   o p p o r t u n i t i e s ,   t o   g r a n t   m o r e   f l e x i b i l i t y   a n d   t o   i n c r e a s e   t h e   i n t e r a c t i v i t y   o f   t h e   s y s t e m . 	 [ A r q u i l l a ,   V e n a n z i o ;   M o t t a ,   R u g g e r o ]   P o l i t e c n   M i l a n ,   F a c   D e s i g n ,   D i p a r t i m e n t o   I N D A C O ,   I - 2 0 1 3 3   M i l a n ,   I t a l y 	 	 v e n a n z i o . a r q u i l l a @ p o l i m i . i t ;   r u g g e r o . m o t t a @ g m a i l . c o m 	 c h e n ,   j u a n / E - 8 4 4 1 - 2 0 1 4 	 	 	 	 A n d e r s o n   C . ,   2 0 0 9 ,   G R A T I S ;   A r q u i l l a   V . ,   I N T E D 2 0 1 0   P ;   A r q u i l l a   V . ,   2 0 0 8 ,   S U S T   I N N   0 8 ;   B o n o m i   A . ,   2 0 1 0 ,   T R I B U   C R E A T I V E   N E L L A ;   B r o w n   T . ,   2 0 0 8 ,   H A R V A R D   B U S I N E S S   R E V ;   C a u t e l a   C . ,   2 0 0 7 ,   S T R U M E N T I   D E S I G N   M A N ;   C i a p p e i   C . ,   2 0 0 6 ,   G L I   I N C U B A T O R I   I M P R E ;   C o l l e t t i v o   I p p o l i t a ,   2 0 0 5 ,   O P E N   N O N   F R E E   C O M U N I ;   F l o r i d a   R . ,   2 0 0 6 ,   C L A S S E   C R E A T I V A   S P I C ;   G e r v a s o n i   a ,   2 0 0 4 ,   I D E A   I M P R E S A   R U O L O   I ;   H i p p e l   E .   V . ,   2 0 0 6 ,   D E M O C R A T I Z I N G   I N N O V A ;   H o w e   J . ,   2 0 1 0 ,   C R O W D S O U R C I N G ;   P a s q u i n e l l i   M . ,   2 0 0 8 ,   R U I N S   C R E A T I V E   C I T Y ;   P a s q u i n e l l i   M . ,   2 0 1 0 ,   D I G I T A L   N E O F E U D A L I S M ;   P a s q u i n e l l i   M . ,   2 0 0 8 ,   I D E O L O G I A   C U L T U R A   L I ;   R i f k i n   J . ,   2 0 0 0 ,   E R A   D E L L A C C E S S O ;   R u l l a n i   E . ,   2 0 0 4 ,   E C   C O N O S C E N Z A ;   T a p s c o t t   D . ,   2 0 1 0 ,   W I K I N O M I C S   2   0   C O L L A ;   V a l s e c c h i   F . ,   2 0 0 9 ,   T H E S I S   P O L I T E C N I C O   M 	 1 9 	 0 	 0 	 I A T E D - I N T   A S S O C   T E C H N O L O G Y   E D U C A T I O N   A &   D E V E L O P M E N T 	 V A L E N I C A 	 L A U R I   V O L P I   6 ,   V A L E N I C A ,   B U R J A S S O T   4 6 1 0 0 ,   S P A I N 	 	 	 9 7 8 - 8 4 - 6 1 4 - 7 4 2 3 - 3 	 	 	 	 2 0 1 1 	 	 	 	 	 	 	 4 6 5 1 	 4 6 6 1 	 	 	 	 1 1 	 E d u c a t i o n   &   E d u c a t i o n a l   R e s e a r c h 	 E d u c a t i o n   &   E d u c a t i o n a l   R e s e a r c h 	 B H R 1 9 	 W O S : 0 0 0 3 2 6 4 4 7 7 0 4 0 9 4 	 	 
 J 	 L e w i s ,   S C 	 	 	 	 L e w i s ,   S e t h   C . 	 	 	 J o u r n a l i s m   I n n o v a t i o n   a n d   P a r t i c i p a t i o n :   A n   A n a l y s i s   o f   t h e   K n i g h t   N e w s   C h a l l e n g e 	 I N T E R N A T I O N A L   J O U R N A L   O F   C O M M U N I C A T I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 I n   r e c e n t   y e a r s ,   t h e   K n i g h t   N e w s   C h a l l e n g e   h a s   e m e r g e d   a s   o n e   o f   t h e   m o s t   i m p o r t a n t   f o r u m s   f o r   s t i m u l a t i n g   i n n o v a t i o n   i n   j o u r n a l i s m   a n d   a s   a   s a l i e n t   m a r k e r   o f   t h e   K n i g h t   F o u n d a t i o n ' s   i n f l u e n c e   i n   t h e   f i e l d .   H o w e v e r ,   s c h o l a r l y   l i t e r a t u r e   h a s   y e t   t o   d i s c u s s   t h i s   c o n t e s t ' s   d e s i g n   a n d   e x e c u t i o n ,   i t s   a p p l i c a n t s   a n d   w i n n e r s ,   a n d   t h e   i m p l i c a t i o n s   f o r   t h e   f u t u r e   o f   j o u r n a l i s m   t h a t   m a y   b e   r e v e a l e d   i n   t h i s   p r o c e s s .   T h i s   s t u d y   e x a m i n e s   c o n t e n t   a n a l y s i s   d a t a   f o r   n e a r l y   5 , 0 0 0   a p p l i c a t i o n s   t o   t h e   K n i g h t   N e w s   C h a l l e n g e ,   e x p l o r i n g   t h e   d i s t i n g u i s h i n g   f e a t u r e s   o f   i t s   a p p l i c a n t s ,   f i n a l i s t s ,   a n d   w i n n e r s .   T h i s   a n a l y s i s   i s   p r e s e n t e d   a g a i n s t   t h e   b a c k d r o p   o f   a   k e y   c o n c e p t u a l   q u e s t i o n   f o r   j o u r n a l i s m   i n   t h e   2 1 s t   c e n t u r y :   h o w   d o e s   i t   r e c o n c i l e   t h e   g r o w i n g   t e n s i o n   b e t w e e n   p r o f e s s i o n a l   c o n t r o l   a n d   o p e n   p a r t i c i p a t i o n ?   R e s u l t s   s u g g e s t   t h a t   f i n a l i s t s   a n d   w i n n e r s   m o r e   o f t e n   u s e   f o r m s   o f   p a r t i c i p a t i o n   a n d   d i s t r i b u t e d   k n o w l e d g e   ( i . e . ,   c r o w d s o u r c i n g   a n d   u s e r   m a n i p u l a t i o n )   a n d   o t h e r   f e a t u r e s   n o t   t y p i c a l l y   a s s o c i a t e d   w i t h   j o u r n a l i s m   ( e . g . ,   s o f t w a r e   d e v e l o p m e n t ) .   T h e s e   f i n d i n g s   a r e   p l a c e d   i n   t h e   c o n t e x t   o f   t h e   K n i g h t   F o u n d a t i o n ' s   b r o a d e r   e f f o r t s   t o   s h a p e   j o u r n a l i s m   i n n o v a t i o n . 	 U n i v   M i n n e s o t a   T w i n   C i t i e s ,   M i n n e a p o l i s ,   M N   5 5 4 5 5   U S A 	 L e w i s ,   S C   ( r e p r i n t   a u t h o r ) ,   U n i v   M i n n e s o t a   T w i n   C i t i e s ,   M i n n e a p o l i s ,   M N   5 5 4 5 5   U S A . 	 s c l e w i s @ u m n . e d u 	 	 	 	 	 A I T A M U R T O   T . ,   2 0 1 1 ,   J O U R N A L I S M   P R A C T I C E ,   V 5 ,   P 4 2 9 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 1 2 7 8 6 . 2 0 1 0 . 5 5 1 0 1 8 ;   A n d e r s o n   C W ,   2 0 1 1 ,   I N T   J   C O M M U N - U S ,   V 5 ,   P 5 2 9 ;   B a k e r   R . ,   2 0 0 2 ,   C O L U M B I A   J O U R N A L I S M ,   V 4 0 ,   P 2 0 ;   B r a u n   J o s h u a ,   2 0 1 1 ,   J O U R N A L I S M   P R A C T I C E ,   V 5 ,   P 3 8 3 ,   D O I   [ 1 0 . 1 0 8 0 / 1 7 5 1 2 7 8 6 . 2 0 1 1 . 5 5 7 5 6 0 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 1 2 7 8 6 . 2 0 1 1 . 5 5 7 5 6 0 ] ;   B r o w n e   H ,   2 0 1 0 ,   J O U R N A L I S M   S T U D ,   V 1 1 ,   P 8 8 9 ,   D O I   1 0 . 1 0 8 0 / 1 4 6 1 6 7 0 X . 2 0 1 0 . 5 0 1 1 4 7 ;   C o n n e l l   C . ,   2 0 1 0 ,   K N I G H T   N E W S   C H A L L E N G ;   D e u z e   M . ,   2 0 0 5 ,   J O U R N A L I S M ,   V 6 ,   P 4 4 2 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 4 6 4 8 8 4 9 0 5 0 5 6 8 1 5 ;   D e u z e   M a r k ,   2 0 0 8 ,   I N T   J   C O M M U N I C A T I O N ,   V 2 ,   P 8 4 8 ;   E n t m a n   R M ,   2 0 1 0 ,   I N T   J   P R E S S / P O L I T ,   V 1 5 ,   P 1 0 4 ,   D O I   1 0 . 1 1 7 7 / 1 9 4 0 1 6 1 2 0 9 3 5 2 3 7 1 ;   F r e m o n t - S m i t h   M ,   2 0 0 9 ,   C A N   N O N P R O F I T S   S A V E ;   G u e n s b u r g   C . ,   2 0 0 8 ,   A M   J O U R N A L I S M   R E V ,   V 3 0 ,   P 2 6 ;   H a m i l t o n   J .   T . ,   2 0 0 9 ,   R O A D   A H E A D   M E D I A   H Y B ;   H e r m i d a   A . ,   2 0 1 0 ,   J O U R N A L I S M   P R A C T I C E ,   V 4 ,   P 2 9 7 ,   D O I   D O I   1 0 . 1 0 8 0 / 1 7 5 1 2 7 8 1 0 0 3 6 4 0 7 0 3 ;   H e y b o e r   K . ,   2 0 0 1 ,   A M   J O U R N A L I S M   R E V ,   V 2 3 ,   P 1 6 ;   I b a r g u e n   A . ,   2 0 0 9 ,   A N N O U N C I N G   W I N N E R S   2 ;   J e n k i n s   H e n r i ,   2 0 0 6 ,   C O N V E R G E N C E   C U L T U R E ;   K u r p i u s   D D ,   2 0 1 0 ,   J O U R N A L I S M   S T U D ,   V 1 1 ,   P 3 5 9 ,   D O I   1 0 . 1 0 8 0 / 1 4 6 1 6 7 0 0 9 0 3 4 2 9 7 8 7 ;   L a s o r s a   D .   L . ,   2 0 1 1 ,   J O U R N A L I S M   S T U D I E S ;   L e v y   P . ,   1 9 9 7 ,   C O L L E C T I V E   I N T E L L I G E ;   L e w i s   S .   C . ,   M A S S   C O M M U N   I N   P R E S S ;   L e w i s   S C ,   2 0 1 0 ,   J O U R N A L I S M   P R A C T I C E ,   V 4 ,   P 1 6 3 ,   D O I   D O I   1 0 . 1 0 8 0 / 1 4 6 1 6 7 0 0 9 0 3 1 5 6 9 1 9 ;   L e w i s   S . C . ,   2 0 1 0 ,   T H E S I S   U   T E X A S   A U S T I ;   L o w r e y   W ,   2 0 1 1 ,   J O U R N A L I S M   S T U D ,   V 1 2 ,   P 6 4 ,   D O I   1 0 . 1 0 8 0 / 1 4 6 1 6 7 0 X . 2 0 1 0 . 5 1 1 9 5 4 ;   M a g u i r e   M ,   2 0 0 9 ,   J   M E D I A   E C O N ,   V 2 2 ,   P 1 1 9 ,   D O I   1 0 . 1 0 8 0 / 0 8 9 9 7 7 6 0 9 0 3 1 2 9 3 3 3 ;   M a s s i n g   M i c h a e l ,   2 0 0 9 ,   N E W   Y O R K   R E V   B O O K S ,   V 5 6 ;   M c C h e s n e y   R W ,   2 0 1 1 ,   W I L L   L A S T   R E P O R T E R   P ;   M c K i n s e y   &   C o m p a n y ,   2 0 0 9 ,   W I N N   I S   C A P T   P R O M   P H ;   M i t c h e l l   B . ,   2 0 1 0 ,   C L U E S   R U B B L E   U S E R   1 ;   M i t c h e l s t e i n   E ,   2 0 0 9 ,   J O U R N A L I S M ,   V 1 0 ,   P 5 6 2 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 4 6 4 8 8 4 9 0 9 1 0 6 5 3 3 ;   O s n o s   P . ,   2 0 1 0 ,   A T L A N T I C                 0 5 0 4 ;   P a t e r s o n   C ,   2 0 0 8 ,   M A K I N G   O N L I N E   N E W S   E ;   R o b i n s o n   S ,   2 0 0 7 ,   J O U R N A L I S M   P R A C T I C E ,   V 1 ,   P 3 0 5 ,   D O I   D O I   1 0 . 1 0 8 0 / 1 7 5 1 2 7 8 0 7 0 1 5 0 4 8 5 6 ;   R o b i n s o n   S u e ,   2 0 1 0 ,   C O N V E R G E N C E ,   V 1 6 ,   P 1 2 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 9 3 4 7 7 1 9 ;   S c h u d s o n   M . ,   2 0 0 9 ,   R E C O N S T R U C T I O N   A M   J O ;   S h a v e r   D ,   2 0 1 0 ,   N E W S P A P E R   R E S   J ,   V 3 1 ,   P 1 6 ;   S i n g e r   J . ,   2 0 1 0 ,   R O U T L E D G E   C O M P A N I O N ,   P 2 7 7 ;   S i n g e r   J B ,   2 0 1 1 ,   P A R T I C I P A T O R Y   J O U R N A ;   S o k o l o v e   M . ,   2 0 0 9 ,   N Y   T I M E S   M A G A Z I   0 8 0 6 ;   U s h e r   N . ,   2 0 1 1 ,   U T A H   L A W   R E V ,   V 2 0 1 0 ;   W a l d m a n   S . ,   2 0 1 1 ,   I N F O R M   N E E D S   C O M M U N I ;   W e s t p h a l   D ,   2 0 0 9 ,   P H I L A N T H R O P I C   F D N   G R ;   W i l h e l m   I . ,   2 0 0 9 ,   C H R O N I C L E   P H I L A N T H R O ,   V 2 1 ,   P 2 	 4 2 	 7 	 7 	 U S C   A N N E N B E R G   P R E S S 	 L O S   A N G E L E S 	 U N I V   S O U T H E R N   C A L I F O R N I A ,   K E R C K H O F F   H A L L ,   7 3 4   W   A D A M S   B L V D ,   M C 7 7 2 5 ,   L O S   A N G E L E S ,   C A   9 0 0 8 9   U S A 	 1 9 3 2 - 8 0 3 6 	 	 	 I N T   J   C O M M U N - U S 	 I n t .   J .   C o m m u n . 	 	 2 0 1 1 	 5 	 	 	 	 	 	 1 6 2 3 	 1 6 4 8 	 	 	 	 2 6 	 C o m m u n i c a t i o n 	 C o m m u n i c a t i o n 	 8 7 7 Z Y 	 W O S : 0 0 0 2 9 9 2 2 2 4 0 0 0 0 8 	 	 
 J 	 S i m k o ,   J ;   T v a r o z e k ,   M ;   B i e l i k o v a ,   M 	 	 	 	 S i m k o ,   J a k u b ;   T v a r o z e k ,   M i c h a l ;   B i e l i k o v a ,   M a r i a 	 	 	 S e m a n t i c s   D i s c o v e r y   v i a   H u m a n   C o m p u t a t i o n   G a m e s 	 I N T E R N A T I O N A L   J O U R N A L   O N   S E M A N T I C   W E B   A N D   I N F O R M A T I O N   S Y S T E M S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   G a m e s   w i t h   a   P u r p o s e ;   H u m a n   C o m p u t a t i o n ;   M e t a d a t a ;   S e m a n t i c s ;   S e a r c h   Q u e r y ;   T e r m   N e t w o r k ;   W e b   S e a r c h 	 P U R P O S E ;   S E A R C H ;   W E B 	 T h e   e f f e c t i v e   a c q u i s i t i o n   o f   ( s e m a n t i c )   m e t a d a t a   i s   c r u c i a l   f o r   m a n y   p r e s e n t   d a y   a p p l i c a t i o n s .   G a m e s   w i t h   a   p u r p o s e   a d d r e s s   t h i s   i s s u e   b y   t r a n s f o r m i n g   c o m p u t a t i o n a l   p r o b l e m s   i n t o   c o m p u t e r   g a m e s .   T h e   a u t h o r s   p r e s e n t   a   n o v e l   a p p r o a c h   t o   m e t a d a t a   a c q u i s i t i o n   v i a   L i t t l e   S e a r c h   G a m e   ( L S G )   -   a   c o m p e t i t i v e   w e b   s e a r c h   g a m e ,   w h o s e   p u r p o s e   i s   t h e   c r e a t i o n   o f   a   t e r m   r e l a t i o n s h i p   n e t w o r k .   F r o m   a   p l a y e r   p e r s p e c t i v e ,   t h e   g o a l   i s   t o   r e d u c e   t h e   n u m b e r   o f   s e a r c h   r e s u l t s   r e t u r n e d   f o r   a   g i v e n   s e a r c h   t e r m   b y   a d d i n g   n e g a t i v e   s e a r c h   t e r m s   t o   a   q u e r y .   T h e   a u t h o r s   d e s c r i b e   s p e c i f i c   a s p e c t s   o f   t h e   g a m e ' s   d e s i g n ,   i n c l u d i n g   p l a y e r   m o t i v a t i o n   a n d   a n t i - c h e a t i n g   i s s u e s .   T h e   a u t h o r s   h a v e   p e r f o r m e d   a   s e r i e s   o f   e x p e r i m e n t s   w i t h   L i t t l e   S e a r c h   G a m e ,   a c q u i r e d   r e a l - w o r l d   p l a y e r   i n p u t ,   g a t h e r e d   q u a l i t a t i v e   f e e d b a c k   f r o m   t h e   p l a y e r s ,   c o n s t r u c t e d   a n d   e v a l u a t e d   t e r m   r e l a t i o n s h i p   n e t w o r k   f r o m   t h e   g a m e   l o g s   a n d   e x a m i n e d   t h e   t y p e s   o f   c r e a t e d   r e l a t i o n s h i p s . 	 [ S i m k o ,   J a k u b ]   S l o v a k   T e c h   U n i v   B r a t i s l a v a ,   I n s t   I n f o r m a t   &   S o f t w a r e   E n g n ,   F a c   I n f o r m a t   &   I n f o r m a t   T e c h n o l ,   B r a t i s l a v a ,   S l o v a k i a 	 S i m k o ,   J   ( r e p r i n t   a u t h o r ) ,   S l o v a k   T e c h   U n i v   B r a t i s l a v a ,   I n s t   I n f o r m a t   &   S o f t w a r e   E n g n ,   F a c   I n f o r m a t   &   I n f o r m a t   T e c h n o l ,   B r a t i s l a v a ,   S l o v a k i a . 	 	 B i e l i k o v a ,   M a r i a / E - 5 7 8 7 - 2 0 1 3 	 B i e l i k o v a ,   M a r i a / 0 0 0 0 - 0 0 0 3 - 4 1 0 5 - 3 4 9 4 	 E R D F ;     [ V G 1 / 0 6 7 5 / 1 1 ] ;     [ A P V V 0 2 0 8 - 1 0 ] 	 T h i s   w o r k   w a s   s u p p o r t e d   b y   g r a n t s   N o .   V G 1 / 0 6 7 5 / 1 1 ,   A P V V 0 2 0 8 - 1 0   a n d   i t   i s   a   p a r t i a l   r e s u l t   o f   t h e   R e s e a r c h   a n d   D e v e l o p m e n t   O p e r a t i o n a l   P r o g r a m   f o r   t h e   p r o j e c t s   S u p p o r t   o f   C e n t e r   o f   E x c e l l e n c e   f o r   S m a r t   T e c h n o l o g i e s ,   S y s t e m s   a n d   S e r v i c e s ,   I T M S   2 6 2 4 0 1 2 0 0 0 5   a n d   R e s e a r c h   a n d   D e v e l o p m e n t   O p e r a t i o n a l   P r o g r a m   f o r   t h e   p r o j e c t s   S u p p o r t   o f   C e n t e r   o f   E x c e l l e n c e   f o r   S m a r t   T e c h n o l o g i e s ,   S y s t e m s   a n d   S e r v i c e s   I I ,   I T M S   2 6 2 4 0 1 2 0 0 2 9 ,   c o - f u n d e d   b y   E R D F .   T h e   a u t h o r s   w i s h   t o   t h a n k   a l l   m e m b e r s   o f   t h e   P e r s o n a l i z e d   W e b   r e s e a r c h   g r o u p   ( p e w e . f i i t . s t u b a . s k )   f o r   t h e i r   h e l p   w i t h   e x p e r i m e n t s . 	 B a r l a   M ,   2 0 0 9 ,   L E C T   N O T E S   A R T I F   I N T ,   V 5 7 9 6 ,   P 3 0 9 ;   B a r l a   M ,   2 0 1 0 ,   C O M P U T   E D U C ,   V 5 5 ,   P 8 4 6 ,   D O I   1 0 . 1 0 1 6 / j . c o m p e d u . 2 0 1 0 . 0 3 . 0 1 6 ;   B a r r i n g t o n   L . ,   2 0 0 9 ,   P   2 0 0 9   A C M   S I G K D D   W O ,   P 7 ,   D O I   1 0 . 1 1 4 5 / 1 6 0 0 1 5 0 . 1 6 0 0 1 5 2 ;   C h a m b e r l a i n   J . ,   2 0 0 9 ,   P   A C M   S I G K D D   W O R K S H ,   P 2 3 ,   D O I   1 0 . 1 1 4 5 / 1 6 0 0 1 5 0 . 1 6 0 0 1 5 6 ;   D a s d a n   A . ,   2 0 0 9 ,   P   A C M   S I G K D D   W O R K S H ,   P 3 6 ,   D O I   1 0 . 1 1 4 5 / 1 6 0 0 1 5 0 . 1 6 0 0 1 6 3 ;   E l   S a y e d   A . ,   2 0 0 7 ,   P   A C M   1   P H   D   W O R K S H ,   P 4 9 ,   D O I   1 0 . 1 1 4 5 / 1 3 1 6 8 7 4 . 1 3 1 6 8 8 3 ;   E n t e r t a i n m e n t   S o f t w a r e   A s s o c i a t i o n ,   2 0 1 1 ,   I N D   F A C T S ;   H e r d a g d e l e n   A . ,   2 0 1 0 ,   P   A A A I   F A L L   S   C O M M   K ,   P 5 2 ;   H l a d k a   B . ,   2 0 0 9 ,   P   3   L I N G   A N N   W O R K S H ,   P 5 2 ,   D O I   1 0 . 3 1 1 5 / 1 6 9 8 3 8 1 . 1 6 9 8 3 8 9 ;   H o   C . - J . ,   2 0 0 9 ,   P   A C M   S I G K D D   W O R K S H ,   P 1 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 6 0 0 1 5 0 . 1 6 0 0 1 5 3 ;   H u n i c k e   R . ,   2 0 0 4 ,   P   A A A I   0 4   W O R K S H   C H A ,   P 1 ;   K r a m a r   T ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 0 7 5 ,   P 3 8 7 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 3 4 7 0 - 8 _ 3 7 ;   K r a u s e   M . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 2 2 ,   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 8 9 3 ;   K u o   Y . - L . ,   2 0 0 9 ,   P   A C M   S I G K D D   W O R K S H ,   P 1 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 6 0 0 1 5 0 . 1 6 0 0 1 5 4 ;   L a w   E . ,   2 0 0 9 ,   P   2 7   I N T   C   E X T   H U M   F ,   P 3 8 0 5 ,   D O I   1 0 . 1 1 4 5 / 1 5 2 0 3 4 0 . 1 5 2 0 5 7 5 ;   L a w   E .   L . ,   2 0 0 7 ,   P   I N T   C   M U S   I N F   R E T R ,   P 3 6 1 ;   L E N A T   D B ,   1 9 9 5 ,   C O M M U N   A C M ,   V 3 8 ,   P 3 3 ,   D O I   1 0 . 1 1 4 5 / 2 1 9 7 1 7 . 2 1 9 7 4 5 ;   M a r c h i o n i n i   G ,   2 0 0 6 ,   C O M M U N   A C M ,   V 4 9 ,   P 4 1 ,   D O I   1 0 . 1 1 4 5 / 1 1 2 1 9 4 9 . 1 1 2 1 9 7 9 ;   M c D o w e l l   L K ,   2 0 0 8 ,   J   W E B   S E M A N T ,   V 6 ,   P 2 1 8 ,   D O I   1 0 . 1 0 1 6 / j . w e b s e m . 2 0 0 8 . 0 4 . 0 0 2 ;   M e d i a   L a b   M .   I .   T . ,   C O M M   S E N S   C O M P   I N ;   N E N A D I C   G ,   2 0 0 6 ,   A C M   T   A S I A N   L A N G U A G E ,   V 5 ,   P 2 2 ,   D O I   1 0 . 1 1 4 5 / 1 1 3 1 3 4 8 . 1 1 3 1 3 5 1 ;   P a n t e l   P . ,   2 0 0 8 ,   P   2 0 0 8   C   O N T   L E A R N   P ,   P 1 7 1 ;   P a r k   L A F ,   2 0 0 9 ,   A C M   T   I N F O R M   S Y S T ,   V 2 7 ,   D O I   1 0 . 1 1 4 5 / 1 4 6 2 1 9 8 . 1 4 6 2 2 0 0 ;   S a n c h e z   D ,   2 0 1 0 ,   D A T A   K N O W L   E N G ,   V 6 9 ,   P 5 7 3 ,   D O I   1 0 . 1 0 1 6 / j . d a t a k . 2 0 1 0 . 0 1 . 0 0 6 ;   S e n e v i r a t n e   L . ,   2 0 1 0 ,   P   A C M   M U L T   I N F   R E T ,   P 5 1 7 ,   D O I   1 0 . 1 1 4 5 / 1 7 4 3 3 8 4 . 1 7 4 3 4 7 3 ;   S i m k o   J . ,   2 0 1 1 ,   P   2 2   A C M   C   H Y P   H Y P ,   P 5 7 ;   S i m k o   J . ,   2 0 1 0 ,   P   I N T   W O R K S H   D A T   E X P ,   P 2 0 6 ;   S i m k o   M . ,   2 0 0 9 ,   P   2   I N T   C   E D   D A T   M I N ,   P 1 7 1 ;   S i m k o   M . ,   2 0 1 1 ,   I N F O R M   S C I   T E C H N O L O G ,   V 3 ,   P 1 1 9 ;   S i o r p a e s   K ,   2 0 0 8 ,   I E E E   I N T E L L   S Y S T ,   V 2 3 ,   P 5 0 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 0 8 . 4 5 ;   S i o r p a e s   K . ,   2 0 0 8 ,   P   5   E U R   S E M   W E B   C   S E ,   P 7 5 1 ;   S t e w a r t   R . ,   2 0 0 8 ,   P   2 6   S I G C H I   C   H U M   F A ,   P 1 7 8 9 ,   D O I   1 0 . 1 1 4 5 / 1 3 5 7 0 5 4 . 1 3 5 7 3 3 2 ;   T e r r y   L ,   2 0 0 9 ,   P r o c e e d i n g s   o f   t h e   2 0 0 9   I n t e r n a t i o n a l   C o n f e r e n c e   o n   E n g i n e e r i n g   o f   R e c o n f i g u r a b l e   S y s t e m s   &   A l g o r i t h m s .   E R S A   2 0 0 9 ;   T h a l e r   S . ,   2 0 1 1 ,   2 0 1 1 0 5 0 1   U   I N N S B R ;   T h a l e r   S . ,   2 0 1 1 ,   L N C S ,   V 6 6 4 4 ,   P 4 6 6 ;   T v a r o z e k   M . ,   2 0 1 0 ,   P   2   I F I P   T C   S   H U M   C O ,   V 3 3 2 ,   P 1 7 5 ;   U n g r a n g s i   R ,   2 0 1 0 ,   I N T   J   S E M A N T   W E B   I N F ,   V 6 ,   P 1 9 ,   D O I   1 0 . 4 0 1 8 / j s w i s . 2 0 1 0 0 1 0 1 0 2 ;   V i c k r e y   D . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 5 3 3 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 8 1 ;   v o n   A h n   L ,   2 0 0 8 ,   C O M M U N   A C M ,   V 5 1 ,   P 5 8 ,   D O I   1 0 . 1 1 4 5 / 1 3 7 8 7 0 4 . 1 3 7 8 7 1 9 ;   W a n g   T . ,   2 0 0 5 ,   P   I E E E   W I C   A C M   I N T   C ,   P 3 4 5 ;   W e i c h s e l b r a u n   A ,   2 0 1 0 ,   D A T A   K N O W L   E N G ,   V 6 9 ,   P 7 6 3 ,   D O I   1 0 . 1 0 1 6 / j . d a t a k . 2 0 1 0 . 0 2 . 0 1 0 	 4 1 	 1 	 1 	 I G I   P U B L 	 H E R S H E Y 	 7 0 1   E   C H O C O L A T E   A V E ,   S T E   2 0 0 ,   H E R S H E Y ,   P A   1 7 0 3 3 - 1 2 4 0   U S A 	 1 5 5 2 - 6 2 8 3 	 	 	 I N T   J   S E M A N T   W E B   I N F 	 I n t .   J .   S e m a n t .   W e b   I n f .   S y s t . 	 	 2 0 1 1 	 7 	 3 	 	 	 	 	 2 3 	 4 5 	 	 1 0 . 4 0 1 8 / j s w i s . 2 0 1 1 0 7 0 1 0 2 	 	 2 3 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 8 8 3 D O 	 W O S : 0 0 0 2 9 9 6 1 4 1 0 0 0 0 2 	 	 
 J 	 P o b l e t ,   M 	 	 	 	 P o b l e t ,   M a r t a 	 	 	 R u l e   o f   L a w   o n   t h e   G o :   N e w   D e v e l o p m e n t s   o f   M o b i l e   G o v e r n a n c e 	 J O U R N A L   O F   U N I V E R S A L   C O M P U T E R   S C I E N C E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 g o v e r n a n c e ;   m o b i l e   t e c h n o l o g i e s ;   m o b i l e   g o v e r n a n c e ;   r u l e   o f   l a w ;   c r o w d s o u r c i n g 	 	 T h i s   p a p e r   o f f e r s   a n   o v e r v i e w   o f   t h e   e m e r g i n g   d o m a i n   o f   m o b i l e   g o v e r n a n c e   a s   a n   o f f s p r i n g   o f   t h e   b r o a d e r   l a n d s c a p e   o f   e - g o v e r n a n c e .   M o b i l e   g o v e r n a n c e   i n i t i a t i v e s   h a v e   b e e n   d e p l o y e d   e v e r y w h e r e   i n   p a r a l l e l   t o   t h e   d e v e l o p m e n t   o f   c r o w d s o u r c e d ,   o p e n   s o u r c e   s o f t w a r e   a p p l i c a t i o n s   t h a t   f a c i l i t a t e   t h e   c o l l e c t i o n ,   a g g r e g a t i o n ,   a n d   d i s s e m i n a t i o n   o f   b o t h   i n f o r m a t i o n   a n d   d a t a   c o m i n g   f r o m   d i f f e r e n t   s o u r c e s :   c i t i z e n s ,   o r g a n i z a t i o n s ,   p u b l i c   b o d i e s ,   e t c .   U l t i m a t e l y ,   m o b i l e   g o v e r n a n c e   c a n   b e   s e e n   a s   a   t o o l   t o   p r o m o t e   t h e   r u l e   o f   l a w   f r o m   a   d e c e n t r a l i z e d ,   d i s t r i b u t e d ,   a n d   b o t t o m - u p   p e r s p e c t i v e . 	 U A B   I n s t   L a w   &   T e c h n o l ,   I C R E A ,   B a r c e l o n a ,   S p a i n 	 P o b l e t ,   M   ( r e p r i n t   a u t h o r ) ,   U A B   I n s t   L a w   &   T e c h n o l ,   I C R E A ,   B a r c e l o n a ,   S p a i n . 	 M a r t a . p o b l e t @ u a b . c a t 	 	 	 	 	 A n d u i z a   E ,   2 0 0 9 ,   I N F O R M   C O M M U N   S O C ,   V 1 2 ,   P 8 6 0 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 0 8 0 2 2 8 2 7 2 0 ;   C h r i s t e n s e n   C M ,   1 9 9 7 ,   I N N O V A T O R S   D I L E M M A   N ;   C u r r i o n   P . ,   2 0 1 0 ,   A L L   Y O U   H A V E   I S   H A M M ;   E k i n e   S . ,   2 0 1 0 ,   S M S   U P R I S I N G   M O B I L E ;   G O S I E R   J ,   C R O W D S O U R C I N G   C H A O S ;   H A T T O T U W A   S ,   2 0 0 8 ,   M O B I L E S   B E T T E R   G O V E R ;   H e l l s t r o m   J . ,   2 0 0 8 ,   M O B I L E   P H O N E S   G O O D   G ;   H O U S T O N   D ,   2 0 0 6 ,   M O B I L E   G O V E R N A N C E   J U ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   V 1 4 ,   P 0 6 ;   I T U ,   2 0 1 0 ,   I T U   S E E S   5   B I L L   M O B ;   * I T U ,   2 0 1 0 ,   I N D   P A S S   5 0 0   M L N   M O B ;   K A I L A S A M   R ,   2 0 1 0 ,   L E V   M O B   T E C H N   E X T   R E ;   K a t z   J . E . ,   2 0 0 2 ,   P E R P E T U A L   C O N T A C T   M O ;   K A U F M A N N   D ,   2 0 0 8 ,   W O R L D   B A N K   R E S   O B S E R ,   P 1 ;   K a z m a n   R ,   2 0 0 9 ,   C O M M U N   A C M ,   V 5 2 ,   P 7 6 ,   D O I   1 0 . 1 1 4 5 / 1 5 3 8 7 8 8 . 1 5 3 8 8 0 8 ;   K i n k a d e   S . ,   2 0 0 8 ,   W I R E L E S S   T E C H N O L O G Y ;   K I N K A D E   S ,   2 0 0 8 ,   R E F L E C T I O N S   M O B I L E A C ;   L A L L A N A   E ,   2 0 0 6 ,   S M S   D E M O C R A T I C   G O V E R ;   M A R T U C C I   L ,   2 0 0 9 ,   T H E S I S   K A R L S T A D   U   S T ;   M E I E R   P ,   2 0 1 0 ,   I R E V O L U T I O N           0 2 0 5 ;   M I A R D   F ,   2 0 0 9 ,   I S A   5 0   A N N   C O N V   N E W ;   M U N R O   R ,   2 0 1 0 ,   C R O W D S O U R C E D   T R A N S L A ;   M W O L O L O   T ,   2 0 0 9 ,   A C M   I N T   C   P   S E R I E S ,   V 3 2 2 ,   P 1 9 1 ;   P A U L E   M C ,   2 0 0 4 ,   T H E S I S   S   F R A S E R   U ;   P O B L E T   M ,   M O B I L E   T E C H   I N   P R E S S ;   S A L E H   A ,   M   G O V E R N A N C E   E M B R A C I ;   S A S A K I   D ,   2 0 1 0 ,   T E C H N O L O G Y   T R A N S P A R E ;   S C H U L E R   I ,   2 0 0 8 ,   I N N O V A T I O N S ,   V 3 ,   P 1 4 3 ,   D O I   1 0 . 1 1 6 2 / i t g g . 2 0 0 8 . 3 . 2 . 1 4 3 ;   S c h u m a c h e r   E F ,   1 9 7 3 ,   S M A L L   I S   B E A U T I F U L   S ;   S h i l t o n   K a t i e ,   2 0 0 9 ,   A C M   Q U E U E ,   V 7 ;   S I F R Y   M L ,   2 0 1 0 ,   W A L L   S T R E E T   J       1 0 3 0 ;   S I N G H   A ,   2 0 1 0 ,   M   G O V E R N A N C E   S E R V I C E ;   S U N D A R   D K ,   2 0 0 5 ,   M   G O V E R N A N C E   F R A M E W O ;   V e r b a   S . ,   1 9 9 5 ,   V O I C E   E Q U A L I T Y   C I V I C ;   V I J A Y A K U M A R   S ,   2 0 1 0 ,   I N N O V A T I O N   M   G O V E R N A ;   V I N C E N T   J ,   2 0 0 9 ,   E   G O V E R N A N C E   M A N A G I N ,   P 9 9 ;   V i n c e n t   J a n e ,   2 0 0 8 ,   I n f o r m a t i o n   C o m m u n i c a t i o n   &   S o c i e t y ,   V 1 1 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 0 8 0 2 0 2 5 6 3 2 	 3 7 	 1 	 1 	 G R A Z   U N I V   T E C H N O L G O Y ,   I N S T   I N F O R M A T I O N   S Y S T E M S   C O M P U T E R   M E D I A - I I C M 	 G R A Z 	 I N F F E L D G A S S E   1 6 C ,   G R A Z ,   A - 8 0 1 0 ,   A U S T R I A 	 0 9 4 8 - 6 9 5 X 	 	 	 J   U N I V E R S   C O M P U T   S C I 	 J .   U n i v e r s .   C o m p u t .   S c i . 	 	 2 0 1 1 	 1 7 	 3 	 	 	 	 	 4 9 8 	 5 1 2 	 	 	 	 1 5 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 7 5 2 V D 	 W O S : 0 0 0 2 8 9 7 2 2 1 0 0 0 0 8 	 	 
 B 	 R u l e ,   C ;   N a g a r a j a n ,   C 	 	 P o b l e t ,   M 	 	 R u l e ,   C o l i n ;   N a g a r a j a n ,   C h i t t u 	 	 	 C r o w d s o u r c i n g   D i s p u t e   R e s o l u t i o n   o v e r   M o b i l e   D e v i c e s 	 M O B I L E   T E C H N O L O G I E S   F O R   C O N F L I C T   M A N A G E M E N T :   O N L I N E   D I S P U T E   R E S O L U T I O N ,   G O V E R N A N C E ,   P A R T I C I P A T I O N 	 L a w   G o v e r n a n c e   a n d   T e c h n o l o g y   S e r i e s 	 	 E n g l i s h 	 A r t i c l e ;   B o o k   C h a p t e r 	 	 	 	 	 	 	 	 	 [ R u l e ,   C o l i n ]   M o d r i a ,   S a n   J o s e ,   C A   9 5 1 1 3   U S A ;   [ N a g a r a j a n ,   C h i t t u ]   E B a y   P a y P a l ,   C h e n n a i   6 0 0 0 1 8 ,   T a m i l   N a d u ,   I n d i a ;   [ N a g a r a j a n ,   C h i t t u ]   O D R I n d i a ,   C h e n n a i   6 0 0 0 1 8 ,   T a m i l   N a d u ,   I n d i a 	 R u l e ,   C   ( r e p r i n t   a u t h o r ) ,   M o d r i a ,   1 2   S   1 s t   S t , S u i t e   5 0 8 ,   S a n   J o s e ,   C A   9 5 1 1 3   U S A . 	 c r u l e @ m o d r i a . c o m ;   c n a g a r a j a n @ p a y p a l . c o m 	 	 	 	 	 H a t t o t u w a   S . ,   2 0 0 5 ,   P   3   A N N   F O R   O N L   D I S P ;   H a t t o t u w a   S a n j a n a ,   2 0 0 6 ,   C O N F L I C T   R E S O L U T I O N ,   V 2 3 ,   P 3 7 1 ,   D O I   D O I   1 0 . 1 0 0 2 / C R Q . 1 4 4 ;   S U R O W I E C K I   J A M E S ,   2 0 0 4 ,   W I S D O M   C R O W D S 	 3 	 0 	 0 	 S P R I N G E R 	 D O R D R E C H T 	 P O   B O X   1 7 ,   3 3 0 0   A A   D O R D R E C H T ,   N E T H E R L A N D S 	 	 	 9 7 8 - 9 4 - 0 0 7 - 1 3 8 3 - 3 	 L A W   G O V   T E C H N O L   S E R 	 	 	 2 0 1 1 	 2 	 	 	 	 	 	 9 3 	 1 0 6 	 	 1 0 . 1 0 0 7 / 9 7 8 - 9 4 - 0 0 7 - 1 3 8 4 - 0 _ 8 	 1 0 . 1 0 0 7 / 9 7 8 - 9 4 - 0 0 7 - 1 3 8 4 - 0 	 1 4 	 C o m m u n i c a t i o n ;   P u b l i c   A d m i n i s t r a t i o n 	 C o m m u n i c a t i o n ;   P u b l i c   A d m i n i s t r a t i o n 	 B V X 8 7 	 W O S : 0 0 0 2 9 3 1 0 0 3 0 0 0 0 8 	 	 
 S 	 C o s t a ,   J ;   S i l v a ,   C ;   A n t u n e s ,   M ;   R i b e i r o ,   B 	 	 B e l l a t r e c h e ,   L ;   P i n t o ,   F M 	 	 C o s t a ,   J o a n a ;   S i l v a ,   C a t a r i n a ;   A n t u n e s ,   M a r i o ;   R i b e i r o ,   B e r n a r d e t e 	 	 	 G e t   Y o u r   J o k e s   R i g h t :   A s k   t h e   C r o w d 	 M O D E L   A N D   D A T A   E N G I N E E R I N G 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 s t   I n t e r n a t i o n a l   C o n f e r e n c e   o n   M o d e l   a n d   D a t a   E n g i n e e r i n g   ( M E D I   2 0 1 1 ) 	 S E P   2 8 - 3 0 ,   2 0 1 1 	 O b i d o s ,   P O R T U G A L 	 	 	 C r o w d s o u r c i n g ;   S u p p o r t   V e c t o r   M a c h i n e s ;   T e x t   C l a s s i f i c a t i o n ;   H u m o u r   c l a s s i f i c a t i o n 	 	 J o k e s   c l a s s i f i c a t i o n   i s   a n   i n t r i n s i c a l l y   s u b j e c t i v e   a n d   c o m p l e x   t a s k ,   m a i n l y   d u e   t o   t h e   d i f f i c u l t i e s   r e l a t e d   t o   c o p e   w i t h   c o n t e x t u a l   c o n s t r a i n t s   o n   c l a s s i f y i n g   e a c h   j o k e .   N o w a d a y s   p e o p l e   h a v e   l e s s   t i m e   t o   d e v o t e   t o   s e a r c h   a n d   e n j o y   h u m o u r   a n d ,   a s   a   c o n s e q u e n c e ,   p e o p l e   a r e   u s u a l l y   i n t e r e s t e d   o n   h a v i n g   a   s e t   o f   i n t e r e s t i n g   f i l t e r e d   j o k e s   t h a t   c o u l d   b e   w o r t h   r e a d i n g ,   t h a t   i s   w i t h   a   h i g h   p r o b a b i l i t y   o f   m a k e   t h e m   l a u g h .   I n   t h i s   p a p e r   w e   p r o p o s e   a   c r o w d s o u r c i n g   b a s e d   c o l l e c t i v e   i n t e l l i g e n t   m e c h a n i s m   t o   c l a s s i f y   h u m o u r   a n d   t o   r e c o m m e n d   t h e   m o s t   i n t e r e s t i n g   j o k e s   f o r   f u r t h e r   r e a d i n g .   C r o w d s o u r c i n g   i s   b e c o m i n g   a   m o d e l   f o r   p r o b l e m   s o l v i n g ,   a s   i t   r e v o l v e s   a r o u n d   u s i n g   g r o u p s   o f   p e o p l e   t o   h a n d l e   t a s k s   t r a d i t i o n a l l y   a s s o c i a t e d   w i t h   e x p e r t s   o r   m a c h i n e s .   W e   p u t   f o r w a r d   a n   a c t i v e   l e a r n i n g   S u p p o r t   V e c t o r   M a c h i n e   ( S V M )   a p p r o a c h   t h a t   u s e s   c r o w d s o u r c i n g   t o   i m p r o v e   c l a s s i f i c a t i o n   o f   u s e r   c u s t o m   p r e f e r e n c e s .   E x p e r i m e n t s   w e r e   c a r r i e d   o u t   u s i n g   t h e   w i d e l y   a v a i l a b l e   J e s t e r   j o k e s   d a t a s e t ,   w i t h   e n c o u r a g i n g   r e s u l t s . 	 [ C o s t a ,   J o a n a ;   S i l v a ,   C a t a r i n a ;   A n t u n e s ,   M a r i o ]   P o l y t e c h   I n s t   L e i r i a ,   S c h   T e c h n o l   &   M a n a g e m e n t ,   C o m p   S c i   C o m m u n   &   R e s   C t r ,   L e i r i a ,   P o r t u g a l 	 C o s t a ,   J   ( r e p r i n t   a u t h o r ) ,   P o l y t e c h   I n s t   L e i r i a ,   S c h   T e c h n o l   &   M a n a g e m e n t ,   C o m p   S c i   C o m m u n   &   R e s   C t r ,   L e i r i a ,   P o r t u g a l . 	 j o a n a . c o s t a @ i p l e i r i a . p t ;   c a t a r i n a @ i p l e i r i a . p t ;   m a r i o . a n t u n e s @ i p l e i r i a . p t ;   b r i b e i r o @ d e i . u c . p t 	 	 	 	 	 A n t u n e s   M ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 5 9 4 ,   P 3 4 2 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 0 2 6 7 - 4 _ 3 6 ;   B a r a m   Y . ,   2 0 0 3 ,   P   2 0   I N T   C   M A C H   L E A R ,   P 1 9 ;   B i n s t e d   K . ,   1 9 9 4 ,   I M P L E M E N T E D   M O D E L   P U ,   V c m p - l g ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B r e w   A . ,   2 0 1 0 ,   N I P S   2 0 1 0 ;   C h e n   Y . ,   2 0 1 1 ,   W W W   2 0 1 1 ,   P 2 5 ;   G r e e n g a r d   S ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 2 0 ,   D O I   1 0 . 1 1 4 5 / 1 8 9 7 8 1 6 . 1 8 9 7 8 2 4 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ;   H s u e h   P . - Y . ,   2 0 0 9 ,   D A T A   Q U A L I T Y   C R O W D S O ,   P 1 ;   J o a c h i m s   T . ,   2 0 0 2 ,   L E A R N I N G   T E X T   C L A S S I ;   L e i m e i s t e r   J . ,   2 0 1 0 ,   B U S I N E S S   I N F O R M   S Y S T ,   P 1 ;   M i h a l c e a   R ,   2 0 0 6 ,   I E E E   I N T E L L   S Y S T ,   V 2 1 ,   P 3 3 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 0 6 . 1 0 4 ;   N o v   O . ,   2 0 1 1 ,   P   2 0 1 1   I C O N F E R E N C E ,   P 6 8 ,   D O I   1 0 . 1 1 4 5 / 1 9 4 0 7 6 1 . 1 9 4 0 7 7 1 ;   R a d a   M i h a l c e a ,   2 0 0 5 ,   P   C   H U M   L A N G   T E C H N   E ,   P 5 3 1 ,   D O I   1 0 . 3 1 1 5 / 1 2 2 0 5 7 5 . 1 2 2 0 6 4 2 ;   R a y k a r   V . ,   2 0 1 0 ,   J   M A C H   L E A R N   R E S ,   V 9 9 ,   P 1 2 9 7 ;   R e y e s   A . ,   2 0 1 0 ,   P   7   C   I N T   L A N G   R E S   E ;   S e t t l e s   B . ,   2 0 1 0 ,   1 6 4 8   C S   U   W I S C   M A D ;   S i l v a   C ,   2 0 0 7 ,   S O F T   C O M P U T ,   V 1 1 ,   P 5 1 9 ,   D O I   1 0 . 1 0 0 7 / s 0 0 5 0 0 - 0 0 6 - 0 0 8 0 - 8 ;   S t o c k   O . ,   2 0 0 3 ,   I J C A I ,   P 5 9 ;   S U R O W I E C K I   J A M E S ,   2 0 0 4 ,   W I S D O M   C R O W D S ;   T a r a s o v   A . ,   2 0 1 0 ,   E C A I   P R E S T I G I O U S   A P P ,   P 1 ;   T o n g   S ,   2 0 0 2 ,   J   M A C H   L E A R N   R E S ,   V 2 ,   P 4 5 ;   v a n   R i j s b e r g e n   C . ,   1 9 7 9 ,   I N F O R M   R E T R I E V A L ;   V a p n i k   V l a d i m i r   N . ,   1 9 9 9 ,   N A T U R E   S T A T   L E A R N I N G ;   W e l i n d e r   P . ,   2 0 1 0 ,   I E E E   C O M P   S O C   C   C O M P ,   P 2 5 	 2 5 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 2 4 4 4 2 - 1 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 1 	 6 9 1 8 	 	 	 	 	 	 1 7 8 	 1 8 5 	 	 	 	 8 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B B 7 8 	 W O S : 0 0 0 3 0 6 3 5 2 4 0 0 0 2 0 	 	 
 J 	 P r o u l x ,   S ;   H e a t o n ,   L ;   C h o o n ,   M J K ;   M i l l e t t e ,   M 	 	 	 	 P r o u l x ,   S e r g e ;   H e a t o n ,   L o r n a ;   C h o o n ,   M a r y   J a n e   K w o k ;   M i l l e t t e ,   M e l a n i e 	 	 	 P a r a d o x i c a l   e m p o w e r m e n t   o f   p r o d u s e r s   i n   t h e   c o n t e x t   o f   i n f o r m a t i o n a l   c a p i t a l i s m 	 N E W   R E V I E W   O F   H Y P E R M E D I A   A N D   M U L T I M E D I A 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 E m p o w e r m e n t ;   P r o d u s a g e ;   O n l i n e   c o n t r i b u t i o n ;   I n f o r m a t i o n a l   c a p i t a l i s m ;   C r o w d s o u r c i n g ;   C o m m u n i t y ;   G o v e r n a n c e 	 	 T h i s   a r t i c l e   d e v e l o p s   a   c r i t i c a l   p e r s p e c t i v e   o n   h o w   o n l i n e   c o n t r i b u t i o n   p r a c t i c e s   p a r t i c i p a t e   i n   t h e   c r e a t i o n   o f   e c o n o m i c   v a l u e   u n d e r   i n f o r m a t i o n a l   c a p i t a l i s m .   I t   d i s c u s s e s   t h e   t h e o r e t i c a l   r e l e v a n c e   o f   t h e   c o n c e p t   o f   e m p o w e r m e n t   f o r   e x p l o r i n g   o n l i n e   c o n t r i b u t i o n   p r a c t i c e s .   W e   a r g u e   t h a t   p r o d u s a g e   p r a c t i c e s   a r e   p a r a d o x i c a l   i n s o f a r   a s   t h e y   c a n   b e   s i m u l t a n e o u s l y   a l i e n a t i n g   a n d   e m a n c i p a t o r y .   T h i s   t h e o r e t i c a l   l e n s   a l l o w s   u s   t o   t a k e   a   f r e s h   l o o k   a t   t h e   c o l l e c t i v e   i n t e l l i g e n c e   o f   p r o d u s e r s   a n d   t h e   r o l e   o f   c o m m u n i t i e s   i n   t h e   c o l l e c t i v e   p r o d u c t i o n   o f   c o n t e n t .   W e   i l l u s t r a t e   t h e   f r u i t f u l n e s s   o f   t h i s   c o n c e p t u a l   a p p r o a c h   w i t h   t w o   c a s e   s t u d i e s :   F a c e b o o k   a n d   T e l a B o t a n i c a ,   a   p l a t f o r m   f o r   t h e   c o l l a b o r a t i v e   p r o d u c t i o n   o f   s c i e n t i f i c   k n o w l e d g e . 	 [ P r o u l x ,   S e r g e ;   C h o o n ,   M a r y   J a n e   K w o k ;   M i l l e t t e ,   M e l a n i e ]   U n i v   Q u e b e c ,   E c o l e   M e d i a s ,   M o n t r e a l ,   P Q   H 3 C   3 P 8 ,   C a n a d a ;   [ H e a t o n ,   L o r n a ]   U n i v   M o n t r e a l ,   D e p t   C o m m u n ,   M o n t r e a l ,   P Q ,   C a n a d a 	 P r o u l x ,   S   ( r e p r i n t   a u t h o r ) ,   U n i v   Q u e b e c ,   E c o l e   M e d i a s ,   M o n t r e a l ,   P Q   H 3 C   3 P 8 ,   C a n a d a . 	 p r o u l x . s e r g e @ u q a m . c a 	 	 	 C a n a d i a n   S o c i a l   S c i e n c e   a n d   H u m a n i t i e s   R e s e a r c h   C o u n c i l 	 F u n d i n g   f o r   t h i s   r e s e a r c h   w a s   r e c e i v e d   f r o m   t h e   C a n a d i a n   S o c i a l   S c i e n c e   a n d   H u m a n i t i e s   R e s e a r c h   C o u n c i l . 	 A g u i t o n   C . ,   2 0 0 7 ,   C O M M U N I C A T I O N S   S T R A T ,   V 6 5 ,   P 5 1 ;   A n t o n i o   N E G R I ,   2 0 1 0 ,   I N V E N T E R   C O M M U N   H O M M ;   A U R A Y   N ,   2 0 0 7 ,   C O M M U N I C A T I O N   S T R A T E ,   V 6 7 ,   P 9 1 ;   A U R A Y   N ,   2 0 0 8 ,   C O M M U N A U T E S   I N F O R M   G ;   B e n k l e r   Y . ,   2 0 0 6 ,   W E A L T H   N E T W O R K S   S O C I ;   B e r r y   R ,   2 0 0 6 ,   C O N V E R G E N C E ,   V 1 2 ,   P 1 4 3 ,   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 6 0 6 6 5 2 2 ;   B O B K O W S K I   P ,   2 0 0 8 ,   A N N   M   I N T   C O M M   A S S   2 ;   B o e l l s t o r f f   T ,   2 0 0 8 ,   C O M I N G   O F   A G E   I N   S E C O N D   L I F E :   A N   A N T H R O P O L O G I S T   E X P L O R E S   T H E   V I R T U A L L Y   H U M A N ,   P 1 ;   B o g a r d   W . ,   2 0 0 6 ,   T H E O R I Z I N G   S U R V E I L L A ,   P 9 7 ;   b o y d   d . ,   2 0 0 8 ,   I N T   J   R E S   N E W   M E D I A ,   V 1 4 ,   P 1 3 ,   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 1 6 ;   B O Y D   D ,   2 0 1 0 ,   W W W 2 0 1 0   1 9   I N T   W O R L D ;   B o y d   D . M . ,   2 0 0 7 ,   J   C O M P U T   M E D I A T   C O M M ,   V 1 3 ;   B r u n s   A x e l ,   2 0 0 8 ,   B L O G S   W I K I P E D I A   2   L I ;   C a r d o n   D . ,   2 0 0 8 ,   R E S E A U X ,   V 1 5 2 ,   P 9 3 ;   C A R D O N   D ,   2 0 0 5 ,   C O M M U N I C A T I O N ;   C a s t e l l s   M . ,   2 0 0 9 ,   C O M M U N I C A T I O N   P O W E R ;   C h a   M ,   2 0 0 7 ,   I M C ' 0 7 :   P R O C E E D I N G S   O F   T H E   2 0 0 7   A C M   S I G C O M M   I N T E R N E T   M E A S U R E M E N T   C O N F E R E N C E ,   P 1 ;   C i t t o n   Y v e s ,   2 0 0 8 ,   S P I N O Z A   S C I   S O C I A L E S ;   C O H E N   N S ,   2 0 0 8 ,   D E M O C R A T I C   C O M M U N I Q U ,   P 1 ;   C o l l i n s   H ,   2 0 0 7 ,   S T U D   H I S T   P H I L O S   S C I ,   V 3 8 ,   P 6 1 5 ,   D O I   1 0 . 1 0 1 6 / j . s h p s a . 2 0 0 7 . 0 9 . 0 0 4 ;   C o l l i n s   H . ,   2 0 0 7 ,   R E T H I N K I N G   E X P E R T I S E ;   C o o k   S ,   2 0 0 8 ,   H A R V A R D   B U S   R E V ,   V 8 6 ,   P 6 0 ;   C O R I S   M ,   2 0 0 7 ,   R E S E A U X ,   V 1 4 0 ,   P 1 6 1 ;   C o t e   M ,   2 0 0 7 ,   E P H E M E R A ,   V 7 ,   P 8 8 ;   D E J O U R S   C ,   2 0 0 7 ,   Q U E T E   R E C O N N A I S S A N C E ,   P 5 8 ;   D u j a r i e r   M - A ,   2 0 0 8 ,   T R A V A I L   C O N S O M M A T E U R ;   E l l i s o n   N i c o l e ,   2 0 0 7 ,   J   C O M P U T E R   M E D I A T E D ,   V 1 2 ;   F u c h s   C h r i s t i a n ,   2 0 0 9 ,   S O C I A L   N E T W O R K I N G   S I ;   G e n s o l l e n   M . ,   2 0 0 6 ,   C R E A T I O N   D I V E R S I T E   M ,   P 2 8 5 ;   G o d b o u t   J a c q u e s   T ,   2 0 0 7 ,   C E   Q U I   C I R C U L E   E N T R E ;   G O U L D   W E ,   2 0 0 9 ,   O N L I N E   C O M M U N I T I E S ,   P 3 3 6 ;   G r a s m u c k   S ,   2 0 0 9 ,   J   C O M P U T - M E D I A T   C O M M ,   V 1 5 ,   P 1 5 8 ,   D O I   1 0 . 1 1 1 1 / j . 1 0 8 3 - 6 1 0 1 . 2 0 0 9 . 0 1 4 9 8 . x ;   H a l l   S . ,   1 9 9 6 ,   S   H A L L   C R I T I C A L   D I A L ,   P 4 1 1 ;   H a m m e s   M . ,   2 0 0 0 ,   C o n f e r e n c e   D i g e s t .   2 0 0 0   I n t e r n a t i o n a l   Q u a n t u m   E l e c t r o n i c s   C o n f e r e n c e   ( C a t .   N o . 0 0 T H 8 5 0 4 ) ,   D O I   1 0 . 1 1 0 9 / I Q E C . 2 0 0 0 . 9 0 7 9 7 6 ;   H A R D I N   G ,   1 9 6 8 ,   S C I E N C E ,   V 1 6 2 ,   P 1 2 4 3 ;   H A Y T H O R N T H W A I T E   C ,   2 0 0 9 ,   P   H A W   I N T   C   S Y S T   S C I ,   P 5 ;   H E A T O N   L ,   T E R R A I N S   T R   I N   P R E S S ;   H o n n e t h   A x e l ,   2 0 0 2 ,   L U T T E   R E C O N N A I S S A N C E ;   J E A N N E P E R R I E R   V ,   2 0 0 5 ,   J O U R N A L I S M E   I N V E N T I O ,   P 1 6 1 ;   J e n k i n s   H e n r i ,   2 0 0 6 ,   C O N V E R G E N C E   C U L T U R E ;   J e n k i n s   H e n r y ,   2 0 0 6 ,   F A N S   B L O G G E R S   G A M E R S ;   L e   B o n   G . ,   1 9 9 5 ,   P S Y C H O L   F O U L E S ;   L e a d b e a t e r   C . ,   2 0 0 4 ,   D E M O S ;   L E C H N E R   M ,   2 0 1 0 ,   R E V   M A U S S ,   V 3 5 ,   P 2 8 9 ;   L e v r e l   J . ,   2 0 0 6 ,   R E S E A U X ,   V 2 0 0 6 / 4 ,   P 1 8 5 ;   M I L L E R A N D   F ,   2 0 1 0 ,   W E B   S O C I A L   M U T A T I O N ;   M I L L E T T E   M ,   2 0 1 0 ,   W E B   S O C I A L   M U T A T I O N ,   P 1 2 5 ;   N e g r i   A . ,   2 0 0 4 ,   M U L T I T U D E   G U E R R E   D E M ;   N e g r i   A ,   1 9 8 2 ,   A N O M A L I E   S A U V A G E   P U I ;   N O R D M A N N   C h . ,   2 0 0 6 ,   B O U R D I E U   R A N C I E R E   P O ;   O N E I L L   B ,   2 0 0 6 ,   I N T   J   R E S   N E W   M E D I A ,   V 1 2 ,   P 1 7 9 ;   O s t r o m   E . ,   1 9 9 0 ,   G O V E R N I N G   C O M M O N S   E V ;   O u d s h o o r n   N ,   2 0 0 3 ,   U S E R S   M A T T E R   C O C O N S T ;   P A S Q U I N E L L I   M ,   2 0 1 0 ,   R E V   M A U S S ,   V 3 5 ,   P 2 9 3 ;   P i n c h   T . ,   2 0 0 8 ,   H D B   S C I   T E C H N O L O G Y   S ,   P 5 4 1 ;   P R O U L X   S ,   2 0 0 9 ,   G L O B A L   M E D I A   C O M M U N I ,   V 5 ,   P 2 9 3 ;   P R O U L X   S ,   2 0 0 9 ,   V A R I A T I O N S   C O N F I A N C E ,   P 1 1 1 ;   S a n c h e z   A . ,   2 0 0 9 ,   S U R V E I L L A N C E   S O C ,   V 6 ,   P 2 7 5 ;   S T U M P E L   M ,   2 0 1 0 ,   T H E S I S   U   A M S T E R D A M ;   S U R O W I E C K I   J A M E S ,   2 0 0 4 ,   W I S D O M   C R O W D S ;   T a r d e   G . ,   1 9 0 1 ,   O P I N I O N   F O U L E ;   * T E L A B O T A N I C A ,   T E L A B O T A N I C A   R A P P   A C ;   * T E L A B O T A N I C A ,   2 0 0 9 ,   T E L A B O T A N I C A   R A P P   V O ;   T e r r a n o v a   T i z i a n a ,   2 0 0 4 ,   N E T W O R K   C U L T U R E   P O L I ;   T H O M P S O N   J B ,   2 0 0 0 ,   R E S E A U X ,   V 1 0 0 ,   P 1 8 7 ;   T h o m p s o n   J o h n ,   1 9 9 5 ,   M E D I A   M O D E R N I T Y   S O C I ;   V I D A L   J ,   2 0 0 8 ,   F A B R I Q U E   I M P U I S S A N C E ,   V 1 ;   V O I R O L   O ,   2 0 0 5 ,   R E S E A U X ,   V 1 2 9 ,   P 9 ;   v o n   H i p p e l   E ,   2 0 0 3 ,   O R G A N   S C I ,   V 1 4 ,   P 2 0 9 ;   W e b e r   S . ,   2 0 0 4 ,   S U C C E S S   O P E N   S O U R C E 	 7 0 	 6 	 6 	 T A Y L O R   &   F R A N C I S   L T D 	 A B I N G D O N 	 4   P A R K   S Q U A R E ,   M I L T O N   P A R K ,   A B I N G D O N   O X 1 4   4 R N ,   O X O N ,   E N G L A N D 	 1 3 6 1 - 4 5 6 8 	 	 	 N E W   R E V   H Y P E R M E D I A   M 	 N e w   R e v .   H y p e r m e d i a   M u l t i m e d . 	 	 2 0 1 1 	 1 7 	 1 	 	 	 S I 	 	 9 	 2 9 	 	 1 0 . 1 0 8 0 / 1 3 6 1 4 5 6 8 . 2 0 1 1 . 5 5 2 6 4 6 	 	 2 1 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 7 4 2 R T 	 W O S : 0 0 0 2 8 8 9 6 2 9 0 0 0 0 3 	 	 
 J 	 G e i s l e r ,   G ;   W i l l a r d ,   G ;   O v a l l e ,   C 	 	 	 	 G e i s l e r ,   G a r y ;   W i l l a r d ,   G e o f f ;   O v a l l e ,   C a r l o s 	 	 	 A   c r o w d s o u r c i n g   f r a m e w o r k   f o r   t h e   p r o d u c t i o n   a n d   u s e   o f   f i l m   a n d   t e l e v i s i o n   d a t a 	 N E W   R E V I E W   O F   H Y P E R M E D I A   A N D   M U L T I M E D I A 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   F i l m   a n d   t e l e v i s i o n ;   I n d e x i n g ;   M o v i n g   i m a g e s ;   V i d e o ;   V i s u a l i z a t i o n 	 R E T R I E V A L ;   S Y S T E M S ;   S C E N E S 	 T h i s   p a p e r   o u t l i n e s   a   f r a m e w o r k   t h a t   w o u l d   e n a b l e   t h e   d e t a i l e d   i n d e x i n g   o f   f i l m   a n d   t e l e v i s i o n   m e d i a   t h r o u g h   c r o w d s o u r c i n g .   B y   m a k i n g   i t   e a s i e r   t o   g e n e r a t e   d e t a i l e d   d a t a   a b o u t   t h e s e   m e d i a   o n   a   l a r g e   s c a l e ,   f a n s   a n d   s c h o l a r s   c a n   m o r e   e f f i c i e n t l y   p r o d u c e   a   w i d e   r a n g e   o f   a r t i f a c t s   t h a t   r e f l e c t   t h e i r   i n t e r e s t s   i n   t h i s   c o n t e n t .   O u r   d e v e l o p m e n t   o f   a   t e s t   c o l l e c t i o n   i n c l u d e d   d e t a i l e d   i n d e x i n g   o f   1 2   f e a t u r e   f i l m s   a n d   8   t e l e v i s i o n   p r o g r a m s .   W e   d e s c r i b e   t h e   c o n d i t i o n s   t h a t   m a k e   c r o w d s o u r c i n g   a n   i d e a l   a p p r o a c h   f o r   a c c o m p l i s h i n g   t h i s   w o r k   o n   a   l a r g e r   s c a l e ;   p r e s e n t   a   t h r e e - l e v e l   d e v e l o p m e n t   f r a m e w o r k ;   a n d   d i s c u s s   h o w   a u t o m a t e d   i n d e x i n g ,   c r o w d s o u r c i n g   q u a l i t y ,   a n d   c o p y r i g h t   c o n c e r n s   m i g h t   i n f l u e n c e   c o n t i n u e d   d e v e l o p m e n t   o f   t h e   p r o j e c t .   O u r   f r a m e w o r k   h i g h l i g h t s   t h e   p o t e n t i a l   o f   b o t h   m u l t i m e d i a   i n d e x i n g   a n d   c r o w d s o u r c i n g   a n d   c a n   s e r v e   a s   a   m o d e l   f o r   o t h e r s   e m b a r k i n g   o n   p r o j e c t s   t h a t   i n v o l v e   i n d e x i n g ,   a n n o t a t i n g ,   o r   l a b e l i n g   l a r g e   m u l t i m e d i a   c o l l e c t i o n s . 	 [ G e i s l e r ,   G a r y ;   W i l l a r d ,   G e o f f ;   O v a l l e ,   C a r l o s ]   U n i v   T e x a s   A u s t i n ,   S c h   I n f o r m a t ,   A u s t i n ,   T X   7 8 7 1 2   U S A 	 G e i s l e r ,   G   ( r e p r i n t   a u t h o r ) ,   U n i v   T e x a s   A u s t i n ,   S c h   I n f o r m a t ,   A u s t i n ,   T X   7 8 7 1 2   U S A . 	 g e i s l e r @ i s c h o o l . u t e x a s . e d u 	 	 	 U n i v e r s i t y   o f   T e x a s   a t   A u s t i n   S c h o o l   o f   I n f o r m a t i o n 	 T h i s   w o r k   w a s   f u n d e d   i n   p a r t   b y   a   J o h n   P .   C o m m o n s   T e a c h i n g   F e l l o w s h i p   f r o m   t h e   U n i v e r s i t y   o f   T e x a s   a t   A u s t i n   S c h o o l   o f   I n f o r m a t i o n .   W e   a l s o   t h a n k   N i k i   A r r o y a v e ,   R o d r i g o   A r i a s ,   a n d   t h e   t e a m   a t   G l i f o s   f o r   t h e i r   w o r k   o n   t h e   i n d e x i n g   s o f t w a r e   u s e d   i n   t h i s   p r o j e c t .   F i n a l l y ,   w e   a c k n o w l e d g e   t h e   v a l u a b l e   e f f o r t   a n d   f e e d b a c k   o f   a l l   t h e   U T   i S c h o o l   s t u d e n t s   w h o   h a v e   c o n t r i b u t e d   t o   t h i s   p r o j e c t . 	 * A B C   S T U D ,   2 0 0 4 ,   L O S T   T E L   P R O G R ;   A L I   N M ,   2 0 0 9 ,   1   I N T   V I S   I N F   C   I V I C ,   P 8 1 1 ;   A l i   N Z ,   2 0 0 8 ,   I H C I   2 0 0 8   I R   H U M   C O M ,   P 1 ;   A l o n s o   O m a r ,   2 0 0 8 ,   S I G I R   F o r u m ,   V 4 2 ,   D O I   1 0 . 1 1 4 5 / 1 4 8 0 5 0 6 . 1 4 8 0 5 0 8 ;   A N D E R S O N   N ,   2 0 1 0 ,   O P E N S T R E E T M A P   C R O W D ;   A u g s t   B ,   1 9 9 9 ,   C O M P U T   H U M A N I T I E S ,   V 3 3 ,   P 3 4 5 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 0 2 4 5 9 7 2 9 9 1 6 ;   B a c o n   J . ,   2 0 0 9 ,   A R T   C O M M U N I T Y   B U I L D I ;   B A N D   J ,   2 0 0 7 ,   E D   F A I R   U S E   T O D A Y ;   M i c h a e l   C o u r t n e y ,   2 0 0 9 ,   B u l l e t i n   o f   t h e   A m e r i c a n   S o c i e t y   f o r   I n f o r m a t i o n   S c i e n c e   a n d   T e c h n o l o g y ,   V 3 5 ,   D O I   1 0 . 1 0 0 2 / b u l t . 2 0 0 9 . 1 7 2 0 3 5 0 5 0 6 ;   B e n k l e r   Y . ,   2 0 0 6 ,   W E A L T H   N E T W O R K S   S O C I ;   B e r m a n   F r a n c i n e ,   2 0 0 5 ,   N S F   S B E   C I S E   W O R K S H ;   B r u n s   A . ,   2 0 0 7 ,   P   6   A C M   S I G C H I   C   C R E ;   C a l l i s o n - B u r c h   C . ,   2 0 0 9 ,   P   2 0 0 9   C   E M P   M E T H   N A ,   P 2 8 6 ;   D e k e l   O f e r ,   2 0 0 9 ,   P   2 2   A N N   C   L E A R N   T H E ;   G E I S L E R   G ,   2 0 0 8 ,   I N F   S E E K   S U P P   S Y S T   W ;   G L O T T   R ,   2 0 0 9 ,   W I K I P E D I A   S U R V E Y   1   R ;   H o f f m a n n   L ,   2 0 0 9 ,   C O M M U N   A C M ,   V 5 2 ,   P 1 6 ,   D O I   1 0 . 1 1 4 5 / 1 4 6 7 2 4 7 . 1 4 6 7 2 5 4 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   P 1 4 ;   H s u e h   P - Y ,   2 0 0 9 ,   P   N A A C L   H L T   2 0 0 9   W O R ;   H u b e r m a n   B A ,   2 0 0 9 ,   J   I N F   S C I ,   V 3 5 ,   P 7 5 8 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 0 9 3 4 6 7 8 6 ;   J e n k i n s   H e n r y ,   1 9 9 5 ,   F U L L   S E C R E T S   C R I T I C A ,   P 5 1 ;   J e n k i n s   H e n r y ,   2 0 0 6 ,   F A N S   B L O G G E R S   G A M E R S ;   * J I N N ,   2 0 1 0 ,   M O V   G E N ;   K A T Z   E ,   2 0 0 5 ,   F I L M   E N C Y   M O S T   C O M P R ;   K a z m a n   R ,   2 0 0 9 ,   C O M M U N   A C M ,   V 5 2 ,   P 7 6 ,   D O I   1 0 . 1 1 4 5 / 1 5 3 8 7 8 8 . 1 5 3 8 8 0 8 ;   L A V E R Y   D ,   2 0 0 9 ,   3   P E R S O N   A U T H O R I N G   E ,   P 3 1 3 ;   L e h a n e   B ,   2 0 0 7 ,   E U R A S I P   J   I M A G E   V I D E ,   D O I   1 0 . 1 1 5 5 / 2 0 0 7 / 1 4 6 1 5 ;   L i n t o t t   C J ,   2 0 0 8 ,   M O N   N O T   R   A S T R O N   S O C ,   V 3 8 9 ,   P 1 1 7 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 9 6 6 . 2 0 0 8 . 1 3 6 8 9 . x ;   C h r i s t e l   M G ,   2 0 0 5 ,   P r o c e e d i n g s   o f   t h e   5 t h   A C M / I E E E   J o i n t   C o n f e r e n c e   o n   D i g i t a l   L i b r a r i e s ,   P r o c e e d i n g s ,   P 6 9 ,   D O I   1 0 . 1 1 4 5 / 1 0 6 5 3 8 5 . 1 0 6 5 4 0 2 ;   * M I T   C T R   E D   C O M P   I ,   2 0 0 6 ,   V I R T   S C R   R O O M ;   * P A N D ,   2 0 1 0 ,   P A N D   F A Q ;   P a r a m e s w a r a n   M ,   2 0 0 7 ,   J   A S S O C   I N F   S Y S T ,   V 8 ,   P 3 3 6 ;   R a s h e e d   Z ,   2 0 0 5 ,   I E E E   T   M U L T I M E D I A ,   V 7 ,   P 1 0 9 7 ,   D O I   1 0 . 1 1 0 9 / T M M . 2 0 0 5 . 8 5 8 3 9 2 ;   R a y k a r   V .   C . ,   2 0 0 9 ,   P   2 6   A N N   I N T   C   M A C H ,   P 8 8 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 5 5 3 3 7 4 . 1 5 5 3 4 8 8 ;   R a y k a r   V C ,   2 0 1 0 ,   J   M A C H   L E A R N   R E S ,   V 1 1 ,   P 1 2 9 7 ;   R a y m o n d   E .   S . ,   1 9 9 9 ,   C A T H E D R A L   B A Z A A R ;   R O N F A R D   R ,   2 0 0 4 ,   P   1 2   A N N   A C M   I N T   C   M ,   P 7 4 0 ,   D O I   1 0 . 1 1 4 5 / 1 0 2 7 5 2 7 . 1 0 2 7 6 9 3 ;   S H I R K Y   C L A Y ,   2 0 0 8 ,   H E R E   C O M E S   E V E R Y B O D Y ;   S M E A T O N   A F ,   2 0 0 4 ,   P   1 2   A N N   A C M   I N T   C   M ,   P 6 5 2 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 0 2 7 5 2 7 . 1 0 2 7 6 7 8 ;   S m e a t o n   A F ,   2 0 0 8 ,   I N T   J   I M A G   S Y S T   T E C H ,   V 1 8 ,   P 1 9 5 ,   D O I   1 0 . 1 0 0 2 / i m a . 2 0 1 5 0 ;   S m e u l d e r s   A W M ,   2 0 0 0 ,   I E E E   T   P A T T E R N   A N A L ,   V 2 2 ,   P 1 3 4 9 ,   D O I   1 0 . 1 1 0 9 / 3 4 . 8 9 5 9 7 2 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   T r o t t i e r   D a v i d ,   1 9 9 8 ,   S C R E E N W R I T E R S   B I B L E ;   v o n   A h n   L ,   2 0 0 9 ,   D E S   A U T   C O N ,   P 4 1 8 ;   W a t t s   D . ,   2 0 0 9 ,   H C O M P   0 9 ,   P 7 7 ;   W E S T E R G R E N   T ,   2 0 0 8 ,   S T O R Y   P A N D O R A   S O   F A R ;   W i l k i n s o n   D .   M . ,   2 0 0 7 ,   P   2 0 0 7   I N T   S   W I K   W I K ,   P 1 5 7 ,   D O I   1 0 . 1 1 4 5 / 1 2 9 6 9 5 1 . 1 2 9 6 9 6 8 ;   Z h a i   Y ,   2 0 0 5 ,   I E E   P - V I S   I M A G E   S I G N ,   V 1 5 2 ,   P 8 9 6 ,   D O I   1 0 . 1 0 4 9 / i p - v i s : 2 0 0 4 5 1 7 8 	 4 8 	 0 	 0 	 T A Y L O R   &   F R A N C I S   L T D 	 A B I N G D O N 	 4   P A R K   S Q U A R E ,   M I L T O N   P A R K ,   A B I N G D O N   O X 1 4   4 R N ,   O X O N ,   E N G L A N D 	 1 3 6 1 - 4 5 6 8 	 	 	 N E W   R E V   H Y P E R M E D I A   M 	 N e w   R e v .   H y p e r m e d i a   M u l t i m e d . 	 	 2 0 1 1 	 1 7 	 1 	 	 	 S I 	 	 7 3 	 9 7 	 	 1 0 . 1 0 8 0 / 1 3 6 1 4 5 6 8 . 2 0 1 1 . 5 5 2 6 4 5 	 	 2 5 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 7 4 2 R T 	 W O S : 0 0 0 2 8 8 9 6 2 9 0 0 0 0 6 	 	 
 J 	 B u c h e l e r ,   T ;   S i e g ,   J H 	 	 G i a c o b i n o ,   E ;   P f e i f e r ,   R 	 	 B u e c h e l e r ,   T h i e r r y ;   S i e g ,   J a n   H e n r i k 	 	 	 U n d e r s t a n d i n g   S c i e n c e   2 . 0 :   C r o w d s o u r c i n g   a n d   O p e n   I n n o v a t i o n   i n   t h e   S c i e n t i f i c   M e t h o d 	 P R O C E E D I N G S   O F   T H E   2 N D   E U R O P E A N   F U T U R E   T E C H N O L O G I E S   C O N F E R E N C E   A N D   E X H I B I T I O N   2 0 1 1   ( F E T   1 1 ) 	 P r o c e d i a   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 2 n d   E u r o p e a n   F u t u r e   T e c h n o l o g i e s   C o n f e r e n c e   a n d   E x h i b i t i o n   ( F E T ) 	 M A Y   0 4 - 0 6 ,   2 0 1 1 	 B u d a p e s t ,   H U N G A R Y 	 E u r o p e a n   C o m m i s s   F u t u r e   &   E m e r g i n g   T e c h n o l   ( F E T ) ,   E u r o p e a n   R e s   C o n s o r t i u m   I n f o r m a t   &   M a t h e m a t   ( E R C I M ) ,   H u n g a r i a n   A c a d   S c i ,   H u n g a r i a n   P r e s i d e n c y   E u r o p e a n   U n 	 	 C r o w d s o u r c i n g ;   O p e n   I n n o v a t i o n ;   S i m u l a t i o n ;   A g e n t - B a s e d   M o d e l i n g ;   S c i e n c e   2 . 0 ;   C i t i z e n   S c i e n c e 	 	 T h e   i n n o v a t i o n   p r o c e s s   i s   c u r r e n t l y   u n d e r g o i n g   s i g n i f i c a n t   c h a n g e   i n   m a n y   i n d u s t r i e s .   T h e   W o r l d   W i d e   W e b   h a s   c r e a t e d   a   v i r t u a l   w o r l d   o f   c o l l e c t i v e   i n t e l l i g e n c e   a n d   h e l p e d   l a r g e   g r o u p s   o f   p e o p l e   c o n n e c t   a n d   c o l l a b o r a t e   i n   t h e   i n n o v a t i o n   p r o c e s s   [ 1 ] .   V o n   H i p p e l   [ 2 ] ,   f o r   i n s t a n c e ,   s t a t e s   t h a t   a   l a r g e   n u m b e r   o f   u s e r s   o f   a   g i v e n   t e c h n o l o g y   w i l l   c o m e   u p   w i t h   i n n o v a t i v e   i d e a s .   T h i s   p r o c e s s ,   o r i g i n a t i n g   i n   b u s i n e s s ,   i s   n o w   a l s o   b e i n g   o b s e r v e d   i n   s c i e n c e .   D i s c u s s i o n s   a r o u n d   " C i t i z e n   S c i e n c e "   [ 3 ]   a n d   " S c i e n c e   2 . 0 "   [ 4 ]   s u g g e s t   t h e   s a m e   e f f e c t s   a r e   r e l e v a n t   f o r   f u n d a m e n t a l   r e s e a r c h   p r a c t i c e s .   " C r o w d s o u r c i n g "   [ 5 ]   a n d   " O p e n   I n n o v a t i o n "   [ 6 ]   a s   w e l l   a s   o t h e r   n a m e s   f o r   t h o s e   p a r a d i g m s ,   l i k e   P e e r   P r o d u c t i o n ,   W i k i n o m i c s ,   S w a r m   I n t e l l i g e n c e   e t c . ,   h a v e   b e c o m e   b u z z w o r d s   i n   r e c e n t   y e a r s .   H o w e v e r ,   s e r i o u s   a c a d e m i c   r e s e a r c h   e f f o r t s   h a v e   a l s o   b e e n   s t a r t e d   i n   m a n y   d i s c i p l i n e s .   I n   e s s e n c e ,   t h e s e   b u z z w o r d s   a l l   d e s c r i b e   a   f o r m   o f   c o l l e c t i v e   i n t e l l i g e n c e   t h a t   i s   e n a b l e d   b y   n e w   t e c h n o l o g i e s ,   p a r t i c u l a r l y   i n t e r n e t   c o n n e c t i v i t y .   T h e   f o c u s   o f   m o s t   c u r r e n t   r e s e a r c h   o n   t h i s   t o p i c   i s   i n   t h e   f o r - p r o f i t   d o m a i n ,   i . e .   o r g a n i z a t i o n s   w i l l i n g   ( a n d   a b l e )   t o   p a y   l a r g e   s u m s   t o   s o u r c e   i n n o v a t i o n   e x t e r n a l l y ,   f o r   i n s t a n c e   t h r o u g h   i n n o v a t i o n   c o n t e s t s .   O u r   r e s e a r c h   i s   t e s t i n g   t h e   a p p l i c a b i l i t y   o f   C r o w d s o u r c i n g   a n d   s o m e   t e c h n i q u e s   f r o m   O p e n   I n n o v a t i o n   t o   t h e   s c i e n t i f i c   m e t h o d   a n d   b a s i c   s c i e n c e   i n   a   n o n - p r o f i t   e n v i r o n m e n t   ( e .   g . ,   a   t r a d i t i o n a l   r e s e a r c h   u n i v e r s i t y ) .   I f   t h e   t o o l s   a r e   f o u n d   t o   b e   u s e f u l ,   t h i s   m a y   s i g n i f i c a n t l y   c h a n g e   h o w   s o m e   r e s e a r c h   t a s k s   a r e   c o n d u c t e d :   W h i l e   l a r g e ,   a p r i o r i   u n k n o w n   c r o w d s   o f   " i r r a t i o n a l   a g e n t s "   ( i . e .   h u m a n s )   a r e   u s e d   t o   s u p p o r t   s c i e n t i s t s   ( a n d   t e a m s   t h e r e o f )   i n   s e v e r a l   r e s e a r c h   t a s k s   t h r o u g h   t h e   i n t e r n e t ,   t h e   u s e f u l n e s s   a n d   r o b u s t n e s s   o f   t h e s e   i n t e r a c t i o n s   a s   w e l l   a s   s c i e n t i f i c a l l y   i m p o r t a n t   f a c t o r s   l i k e   q u a l i t y   a n d   v a l i d i t y   o f   r e s e a r c h   r e s u l t s   a r e   t e s t e d   i n   a   s y s t e m a t i c   m a n n e r .   T h e   r e s e a r c h   i s   h i g h l y   i n t e r d i s c i p l i n a r y   a n d   i s   d o n e   i n   c o l l a b o r a t i o n   w i t h   s c i e n t i s t s   f r o m   s o c i o l o g y ,   p s y c h o l o g y ,   m a n a g e m e n t   s c i e n c e ,   e c o n o m i c s ,   c o m p u t e r   s c i e n c e ,   a n d   a r t i f i c i a l   i n t e l l i g e n c e .   A f t e r   a   p r e - s t u d y ,   e x t e n s i v e   d a t a   c o l l e c t i o n   h a s   b e e n   c o n d u c t e d   a n d   t h e   d a t a   i s   c u r r e n t l y   b e i n g   a n a l y z e d .   T h e   p a p e r   p r e s e n t s   i d e a s   a n d   h y p o t h e s e s   a n d   o p e n s   t h e   d i s c u s s i o n   f o r   f u r t h e r   i n p u t .   ( C )   S e l e c t i o n   a n d   p e e r - r e v i e w   u n d e r   r e s p o n s i b i l i t y   o f   F E T 1 1   c o n f e r e n c e   o r g a n i z e r s   a n d   p u b l i s h e d   b y   E l s e v i e r   B . V . 	 [ B u e c h e l e r ,   T h i e r r y ]   U n i v   Z u r i c h ,   A r t i f i c i a l   I n t e l l i g e n c e   L a b ,   C H - 8 0 5 0   Z u r i c h ,   S w i t z e r l a n d 	 B u c h e l e r ,   T   ( r e p r i n t   a u t h o r ) ,   U n i v   Z u r i c h ,   A r t i f i c i a l   I n t e l l i g e n c e   L a b ,   A n d r e a s s t r   1 5 ,   C H - 8 0 5 0   Z u r i c h ,   S w i t z e r l a n d . 	 	 	 	 	 	 B u e c h e l e r   T ,   2 0 1 0 ,   A R T I F   L I F E ,   P 6 7 9 ;   C h e s b r o u g h   H . ,   2 0 0 3 ,   N E W   I M P E R A T I V E   C R E A T ;   H o w e   J . ,   2 0 1 0 ,   W H Y   P O W E R   C R O W D   I S   D ;   I r w i n   A . ,   1 9 9 5 ,   S T U D Y   P E O P L E   E X P E R T I ;   M a l o n e   T .   W . ,   2 0 0 9 ,   4 7 3 2 0 9   M I T ;   M e l i n   G ,   2 0 0 0 ,   R E S   P O L I C Y ,   V 2 9 ,   P 3 1 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 9 9 ) 0 0 0 3 1 - 1 ;   P f e i f e r   R . ,   2 0 0 7 ,   B O D Y   S H A P E S   W A Y   W E   T ;   S h n e i d e r m a n   B ,   2 0 0 8 ,   S C I E N C E ,   V 3 1 9 ,   P 1 3 4 9 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 5 3 5 3 9 ;   S t o e h r   K . ,   2 0 0 3 ,   L A N C E T ,   V 3 6 1 ,   P 1 7 3 0 ;   v o n   H i p p e l   E r i c ,   2 0 0 5 ,   D E M O C R A T I Z I N G   I N N O V A 	 1 0 	 3 	 3 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 S A R A   B U R G E R H A R T S T R A A T   2 5 ,   P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 1 8 7 7 - 0 5 0 9 	 	 	 P R O C E D I A   C O M P U T   S C I 	 	 	 2 0 1 1 	 7 	 	 	 	 	 	 3 2 7 	 3 2 9 	 	 1 0 . 1 0 1 6 / j . p r o c s . 2 0 1 1 . 0 9 . 0 1 4 	 	 3 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B Y K 2 8 	 W O S : 0 0 0 2 9 9 1 0 0 9 0 0 1 1 5 	 	 
 S 	 S a u t t e r ,   G ;   B o h m ,   K 	 	 D a t t a ,   A ;   S h u l m a n ,   S ;   Z h e n g ,   B ;   L i n ,   S D ;   S u n ,   A ;   L i m ,   E P 	 	 S a u t t e r ,   G u i d o ;   B o e h m ,   K l e m e n s 	 	 	 H i g h - T h r o u g h p u t   C r o w d s o u r c i n g   M e c h a n i s m s   f o r   C o m p l e x   T a s k s 	 S O C I A L   I N F O R M A T I C S 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 3 r d   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S o c i a l   I n f o r m a t i c s 	 O C T   0 6 - 0 8 ,   2 0 1 1 	 S i n g a p o r e ,   S I N G A P O R E 	 A O A R D ,   A F O S R ,   L e e   F d n ,   P o l i s h   J a p a n e s e   I n s t   I n f o r m a t   T e c h n o l ,   M e d i a   D e v   A u t h o r   S i n g a p o r e ,   N a n y a n g   T e c h n o l   U n i v S i n g a p o r e   I n t e r n e t   R e s   C t r 	 	 C r o w d s o u r c i n g ;   D a t a   Q u a l i t y ;   T h r o u g h p u t 	 	 C r o w d s o u r c i n g   i s   p o p u l a r   f o r   l a r g e - s c a l e   d a t a   p r o c e s s i n g   e n d e a v o r s   t h a t   r e q u i r e   h u m a n   i n p u t .   H o w e v e r ,   w o r k i n g   w i t h   a   l a r g e   c o m m u n i t y   o f   u s e r s   r a i s e s   n e w   c h a l l e n g e s .   I n   p a r t i c u l a r ,   b o t h   p o s s i b l e   m i s j u d g m e n t   a n d   d i s h o n e s t y   t h r e a t e n   t h e   q u a l i t y   o f   t h e   r e s u l t s .   C o m m o n   c o u n t e r m e a s u r e s   a r e   b a s e d   o n   r e d u n d a n c y ,   g i v i n g   w a y   t o   a   t r a d e o f f   b e t w e e n   r e s u l t   q u a l i t y   a n d   t h r o u g h p u t .   I d e a l l y ,   m e a s u r e s   s h o u l d   ( 1 )   m a i n t a i n   h i g h   t h r o u g h p u t   a n d   ( 2 )   e n s u r e   h i g h   r e s u l t   q u a l i t y   a t   t h e   s a m e   t i m e .   E x i s t i n g   w o r k   o n   c r o w d s o u r c i n g   m o s t l y   f o c u s e s   o n   r e s u l t   q u a l i t y ,   p a y i n g   l i t t l e   a t t e n t i o n   t o   t h r o u g h p u t   o r   e v e n   t o   t h a t   t r a d e o f f .   O n e   r e a s o n   i s   t h a t   t h e   n u m b e r   o f   t a s k s   ( i n d i v i d u a l   a t o m i c   u n i t s   o f   w o r k )   i s   u s u a l l y   s m a l l .   A   f u r t h e r   p r o b l e m   i s   t h a t   t h e   t a s k s   u s e r s   w o r k   o n   a r e   s m a l l   a s   w e l l .   I n   c o n s e q u e n c e ,   e x i s t i n g   r e s u l t - i m p r o v e m e n t   m e c h a n i s m s   d o   n o t   s c a l e   t o   t h e   n u m b e r   o r   c o m p l e x i t y   o f   t a s k s   t h a t   a r i s e ,   f o r   i n s t a n c e ,   i n   p r o o f r e a d i n g   a n d   p r o c e s s i n g   o f   d i g i t i z e d   l e g a c y   l i t e r a t u r e .   T h i s   p a p e r   p r o p o s e s   n o v e l   r e s u l t - i m p r o v e m e n t   m e c h a n i s m s   t h a t   ( 1 )   a r e   i n d e p e n d e n t   o f   t h e   s i z e   a n d   c o m p l e x i t y   o f   t a s k s   a n d   ( 2 )   a l l o w   t o   t r a d e   r e s u l t   q u a l i t y   f o r   t h r o u g h p u t   t o   a   s i g n i f i c a n t   e x t e n t .   B o t h   m a t h e m a t i c a l   a n a l y s e s   a n d   e x t e n s i v e   s i m u l a t i o n s   s h o w   t h e   e f f e c t i v e n e s s   o f   t h e   p r o p o s e d   m e c h a n i s m s . 	 [ S a u t t e r ,   G u i d o ;   B o e h m ,   K l e m e n s ]   K I T ,   D - 7 6 1 2 8   K a r l s r u h e ,   G e r m a n y 	 S a u t t e r ,   G   ( r e p r i n t   a u t h o r ) ,   K I T ,   F a s a n e n g a r t e n   5 ,   D - 7 6 1 2 8   K a r l s r u h e ,   G e r m a n y . 	 g u i d o . s a u t t e r @ k i t . e d u ;   k l e m e n s . b o e h m @ k i t . e d u 	 	 	 	 	 C o o p e r   S . ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ;   E c k e r t   K . ,   2 0 1 0 ,   P   J C D L   2 0 1 0   B R I S B   A U ;   L i n t o t t   C J ,   2 0 0 8 ,   M O N   N O T   R   A S T R O N   S O C ,   V 3 8 9 ,   P 1 1 7 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 9 6 6 . 2 0 0 8 . 1 3 6 8 9 . x ;   N e w b y   G . B . ,   2 0 0 3 ,   P   J C D L   2 0 0 3   H O U S T   T X ,   D O I   [ 1 0 . 1 1 0 9 / J C D L . 2 0 0 3 . 1 2 0 4 8 8 8 ,   D O I   1 0 . 1 1 0 9 / J C D L . 2 0 0 3 . 1 2 0 4 8 8 8 ] ;   S a u t t e r   G ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 5 5 4 ,   P 7 3 8 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 2 1 2 1 - 3 _ 5 4 ;   S i o r p a e s   K ,   2 0 0 7 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 8 0 6 ,   P 1 2 2 2 ;   S n o w   R . ,   2 0 0 8 ,   E M N L P   2 0 0 8   M O R R   N J   U ;   V o n   A h n   L . ,   2 0 0 6 ,   I E E E   C O M P U T ,   V 2 9 ,   P 9 2 ;   v o n   A h n   L ,   2 0 0 3 ,   L E C T   N O T E S   C O M P U T   S C ,   V 2 6 5 6 ,   P 2 9 4 ;   v o n   A h n   L ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 1 ,   P 1 4 6 5 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 0 3 7 9 	 1 0 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 2 4 7 0 3 - 3 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 1 	 6 9 8 4 	 	 	 	 	 	 2 4 0 	 2 5 4 	 	 	 	 1 5 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B A C 3 8 	 W O S : 0 0 0 3 0 3 7 9 2 6 0 0 0 2 7 	 	 
 J 	 K r y k e w y c z ,   G R ;   P o l l a r d ,   C ;   C a n z o n e r i ,   N ;   H e ,   E 	 	 	 	 K r y k e w y c z ,   G r e g o r y   R . ;   P o l l a r d ,   C h r i s t o p h e r ;   C a n z o n e r i ,   N i c h o l a s ;   H e ,   E l i z a b e t h 	 	 	 W e b - B a s e d   " C r o w d s o u r c i n g "   A p p r o a c h   t o   I m p r o v e   A r e a w i d e   " B i k e a b i l i t y "   S c o r i n g 	 T R A N S P O R T A T I O N   R E S E A R C H   R E C O R D 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 V a r i o u s   e s t a b l i s h e d   m e t h o d s   a r e   a v a i l a b l e   f o r   e s t i m a t i n g   t h e   c o m f o r t   o r   c o m p a t i b i l i t y   o f   r o a d w a y s   f o r   b i c y c l i n g .   M a k i n g   f i e l d   m e a s u r e m e n t s   t o   c r e a t e   a   c o m p l e t e   a r e a w i d e   b i c y c l e   c o m f o r t   ( o r   b i k e a b i l i t y )   m a p   f o r   e v e r y   r o a d w a y   i n   a   l a r g e   g e o g r a p h i c   a r e a   c a n   b e   p r o h i b i t i v e l y   l a b o r - i n t e n s i v e ,   h o w e v e r ,   a n d   f o r   t h i s   r e a s o n   m a n y   l a r g e - s c a l e   a p p l i c a t i o n s   r e l y   h e a v i l y   o n   a v a i l a b l e   g e o g r a p h i c   i n f o r m a t i o n   s y s t e m   d a t a .   T h i s   i n   t u r n   c a n   l i m i t   a c c u r a c y   a n d   c r e d i b i l i t y .   T h i s   p r o j e c t   e m p l o y e d   a   w e b - b a s e d   " c r o w d s o u r c i n g "   a p p r o a c h   i n   w h i c h   l a r g e - s c a l e   p u b l i c   a n d   s t a k e h o l d e r   p a r t i c i p a t i o n   w a s   u s e d   t o   i m p r o v e   t h e   q u a l i t y   o f   a n   i n i t i a l   b i k e a b i l i t y   d a t a   s e t .   T h i s   a p p r o a c h   a l l o w e d   p l a n n e r s   t o   d r a w   o n   t h e   e x p e r t i s e   o f   l o c a l   r e s i d e n t s   a n d   b i c y c l i s t s   t o   i n c r e a s e   t h e   a c c u r a c y   o f   r a t i n g s   f o r   s p e c i f i c   l o c a t i o n s   a n d   a l o n g   s p e c i f i c   r o a d w a y s   a s   w e l l   a s   t o   c o l l e c t   l o c a t i o n - b a s e d   c o m m e n t s   f o r   a   n e w   b i k e   m a s t e r   p l a n .   T h i s   p a p e r   d e t a i l s   t h e   p r o c e s s   p u r s u e d ,   t h e   l e v e l   o f   p a r t i c i p a t i o n   g e n e r a t e d ,   a n d   p r o j e c t   s u c c e s s   i n   e n h a n c i n g   t h e   q u a l i t y   o f   t h e   " b i k e a b i l i t y "   d a t a   s e t .   T h e   p a p e r   a l s o   i n c l u d e s   a   h a n d f u l   o f   l e s s o n s   l e a r n e d   f o r   p l a n n e r s   c o n s i d e r i n g   s i m i l a r   p r o j e c t   a p p l i c a t i o n s   o f   w e b - b a s e d   p u b l i c   o u t r e a c h . 	 [ K r y k e w y c z ,   G r e g o r y   R . ;   P o l l a r d ,   C h r i s t o p h e r ;   H e ,   E l i z a b e t h ]   D e l a w a r e   V a l l e y   R e g   P l a n n i n g   C o m m i s s ,   P h i l a d e l p h i a ,   P A   1 9 1 0 6   U S A ;   [ C a n z o n e r i ,   N i c h o l a s ]   A l g o r i t h m i c s ,   P h i l a d e l p h i a ,   P A   1 9 1 0 4   U S A 	 K r y k e w y c z ,   G R   ( r e p r i n t   a u t h o r ) ,   D e l a w a r e   V a l l e y   R e g   P l a n n i n g   C o m m i s s ,   1 9 0   N   I n d e p e n d e n c e   M a l l   W , 8 t h   F l o o r ,   P h i l a d e l p h i a ,   P A   1 9 1 0 6   U S A . 	 g k r y k e w y c z @ d v r p c . o r g 	 	 	 	 	 B r a b h a m   D .   C . ,   2 0 1 0 ,   8 9   A N N   M   T R A N S P   R E S ;   D o w l i n g   R . ,   2 0 0 8 ,   6 1 6   N C H R P   T R A N S P   R E S ;   H a r k e y   D .   L . ,   1 9 9 8 ,   F H W A R D 9 8 0 7 2 ;   L a n d i s   B .   W . ,   1 9 9 7 ,   T R A N S P O R T   R E S   R E C ,   V 1 5 7 8 ,   P 1 1 9 ,   D O I   1 0 . 3 1 4 1 / 1 5 7 8 - 1 5 	 4 	 3 	 3 	 N A T L   A C A D   S C I E N C E S 	 W A S H I N G T O N 	 2 1 0 1   C O N S T I T U T I O N   A V E   N W ,   W A S H I N G T O N ,   D C   2 0 4 1 8   U S A 	 0 3 6 1 - 1 9 8 1 	 	 	 T R A N S P O R T   R E S   R E C 	 T r a n s p .   R e s .   R e c o r d 	 	 2 0 1 1 	 	 2 2 4 5 	 	 	 	 	 1 	 7 	 	 1 0 . 3 1 4 1 / 2 2 4 5 - 0 1 	 	 7 	 E n g i n e e r i n g ,   C i v i l ;   T r a n s p o r t a t i o n ;   T r a n s p o r t a t i o n   S c i e n c e   &   T e c h n o l o g y 	 E n g i n e e r i n g ;   T r a n s p o r t a t i o n 	 8 9 1 I N 	 W O S : 0 0 0 3 0 0 2 1 0 5 0 0 0 0 1 	 	 
 J 	 S t e i n f e l d ,   A ;   Z i m m e r m a n ,   J ;   T o m a s i c ,   A ;   Y o o ,   D ;   A z i z ,   R D 	 	 	 	 S t e i n f e l d ,   A a r o n ;   Z i m m e r m a n ,   J o h n ;   T o m a s i c ,   A n t h o n y ;   Y o o ,   D a i s y ;   A z i z ,   R a f a e   D a r 	 	 	 M o b i l e   T r a n s i t   I n f o r m a t i o n   f r o m   U n i v e r s a l   D e s i g n   a n d   C r o w d s o u r c i n g 	 T R A N S P O R T A T I O N   R E S E A R C H   R E C O R D 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 E x t e n s i v e   i n t e r v i e w s   w i t h   r i d e r s   o f   t h e   P i t t s b u r g h ,   P e n n s y l v a n i a ,   b u s   s y s t e m   r e v e a l e d   t h a t ,   a s   t h e   t o p   p r i o r i t y ,   r i d e r s   w a n t e d   t o   k n o w   t h e   a c t u a l   a r r i v a l   t i m e   o f   b u s e s .   F o l l o w i n g   a   u n i v e r s a l   d e s i g n   a p p r o a c h ,   a   s y s t e m   c a l l e d   T i r a m i s u   w a s   c r e a t e d   t o   f o s t e r   a   g r e a t e r   s e n s e   o f   c o m m u n i t y   b e t w e e n   r i d e r s   a n d   t r a n s i t   b u s   s e r v i c e   p r o v i d e r s .   T h e   d e s i g n   f o c u s e d   o n   a c q u i s i t i o n   o f   c r o w d s o u r c e d   i n f o r m a t i o n   f o r   b u s   l o c a t i o n   a n d   b u s   f u l l n e s s .   O n   t h e   b a s i s   o f   t h a t   i n p u t ,   t h e   s y s t e m   p r e d i c t e d   t h e   a r r i v a l   t i m e   o f   b u s e s   a n d   p r o v i d e d   a   c o n v e n i e n t   p l a t f o r m   f o r   r e p o r t i n g   p r o b l e m s   a n d   p o s i t i v e   e x p e r i e n c e s   w i t h i n   t h e   t r a n s i t   s y s t e m .   T h e   i n t e n t i o n   w a s   t o   c r e a t e   a   c o m m u n i t y   o f   r i d e r s   t h a t   m a t e r i a l l y   p a r t i c i p a t e d   i n   t h e   d e l i v e r y   o f   t h e   t r a n s i t   s e r v i c e .   T i r a m i s u   a l s o   s u p p o r t e d   s p e c i f i c   i n f o r m a t i o n   a n d   r e p o r t i n g   n e e d s   f o r   r i d e r s   w i t h   d i s a b i l i t i e s   a n d   t h e r e b y   p r o v i d e d   g r e a t e r   i n d e p e n d e n t   m o b i l i t y   a r o u n d   t h e   c o m m u n i t y .   A n   e a r l y   f i e l d   t r i a l   o f   T i r a m i s u   s u g g e s t e d   t h a t   t h e   a p p r o a c h   w a s   b o t h   f e a s i b l e   a n d   p o t e n t i a l l y   v i a b l e . 	 [ S t e i n f e l d ,   A a r o n ;   Z i m m e r m a n ,   J o h n ;   T o m a s i c ,   A n t h o n y ;   Y o o ,   D a i s y ;   A z i z ,   R a f a e   D a r ]   C a r n e g i e   M e l l o n   U n i v ,   S c h   C o m p   S c i ,   P i t t s b u r g h ,   P A   1 5 2 1 3   U S A 	 S t e i n f e l d ,   A   ( r e p r i n t   a u t h o r ) ,   C a r n e g i e   M e l l o n   U n i v ,   S c h   C o m p   S c i ,   5 0 0 0   F o r b e s   A v e ,   P i t t s b u r g h ,   P A   1 5 2 1 3   U S A . 	 s t e i n f e l d @ c m u . e d u 	 	 	 U . S .   D e p a r t m e n t   o f   E d u c a t i o n   t h r o u g h   t h e   N a t i o n a l   I n s t i t u t e   o n   D i s a b i l i t y   a n d   R e h a b i l i t a t i o n   R e s e a r c h ;   T r a f f i c 2 1   a t   C a r n e g i e   M e l l o n   U n i v e r s i t y ;   H i l l m a n   F o u n d a t i o n 	 T h e   a u t h o r s   t h a n k   c o l l e a g u e s   i n   t h e   l o c a l   P i t t s b u r g h   a r e a   w h o   f a c i l i t a t e d   p a r t i c i p a n t   r e c r u i t m e n t .   T h e   a u t h o r s   a l s o   t h a n k   M a r y n e l   V a z q u e z   f o r   h e r   a s s i s t a n c e   w i t h   r e p o r t i n g   q u a l i t y   d a t a ,   c o l l e a g u e s   a t   t h e   P o r t   A u t h o r i t y   o f   A l l e g h e n y   C o u n t y   f o r   t h e i r   a s s i s t a n c e   w i t h   d a t a   r e l a t e d   t o   t h e   G - 2 0   S u m m i t ,   a n d   T w i t t e r   C o u n t e r   f o r   i t s   a s s i s t a n c e   w i t h   d a t a   d u r i n g   t h e   s n o w s t o r m s .   T h e   R e h a b i l i t a t i o n   E n g i n e e r i n g   R e s e a r c h   C e n t e r   o n   A c c e s s i b l e   P u b l i c   T r a n s p o r t a t i o n   i s   f u n d e d   b y   a   g r a n t   f r o m   t h e   U . S .   D e p a r t m e n t   o f   E d u c a t i o n   t h r o u g h   t h e   N a t i o n a l   I n s t i t u t e   o n   D i s a b i l i t y   a n d   R e h a b i l i t a t i o n   R e s e a r c h .   A d d i t i o n a l   f u n d i n g   w a s   p r o v i d e d   b y   T r a f f i c 2 1   a t   C a r n e g i e   M e l l o n   U n i v e r s i t y ,   a   p r o g r a m   d e v e l o p e d   w i t h   t h e   s u p p o r t   o f   t h e   H i l l m a n   F o u n d a t i o n . 	 A y o o b   E . ,   2 0 1 0 ,   P   3   I N T   C   A P P L   H U M   F ;   B a r b e a u   S J ,   2 0 1 0 ,   T R A N S P   R E S   R E C O R D ,   P 1 6 8 ,   D O I   1 0 . 3 1 4 1 / 2 1 4 3 - 2 1 ;   B i a g i o n i   J ,   2 0 0 9 ,   S E N S Y S   0 9 :   P R O C E E D I N G S   O F   T H E   7 T H   A C M   C O N F E R E N C E   O N   E M B E D D E D   N E T W O R K E D   S E N S O R   S Y S T E M S ,   P 3 2 9 ;   B r a b h a m   D .   C . ,   2 0 1 0 ,   8 9   A N N   M   T R A N S P   R E S ;   C a r n e g i e   M e l l o n   U n i v e r s i t y ,   N E E D   R I D ;   C a s e y   C . ,   2 0 0 3 ,   M E T R O   M A G A Z I N E       A P R ;   C r a n d a l l   W . ,   2 0 0 1 ,   C L I N   E X P T   O P T O M E T R Y ,   V 8 4 ,   P 1 2 0 ;   D ' S o u z a   C ,   2 0 1 0 ,   T R A N S P   R E S   R E C O R D ,   P 6 6 ,   D O I   1 0 . 3 1 4 1 / 2 1 4 5 - 0 8 ;   F e r r i s   B ,   2 0 1 0 ,   I E E E   P E R V A S   C O M P U T ,   V 9 ,   P 1 3 ,   D O I   1 0 . 1 1 0 9 / M P R V . 2 0 0 9 . 8 7 ;   F E R R I S   B ,   2 0 1 0 ,   P   C H I   2 0 1 0 ,   P 1 8 0 7 ,   D O I   1 0 . 1 1 4 5 / 1 7 5 3 3 2 6 . 1 7 5 3 5 9 7 ;   F r e e d   M . ,   2 0 0 8 ,   P   2 3   A A A I   C   A R T   I N T ;   H u m a n w a r e ,   T A L K   G P S ;   I a n n u z i e l l o   A .   S . ,   2 0 0 1 ,   T C R P   S Y N T H E S I S   T R A N S ;   L i   C . ,   2 0 0 6 ,   M O B I L E H C I ,   P 9 7 ;   M a s o o d   M . ,   2 0 0 3 ,   A U S T R   U S   I N T   C   N E W   Y ,   P 1 1 ;   N a t i o n a l   C o u n c i l   o n   D i s a b i l i t y ,   2 0 0 5 ,   C U R R   S T A T   T R A N S P   P E O ;   N e i g h b o r h o o d   P a r k s   C o u n c i l ,   2 0 0 7 ,   P A R K S C   O R G   A N N   R E P ;   N u a n c e ,   N U A N C   T A L K S ;   P a u l o s   E ,   2 0 0 8 ,   C O M M U N I T Y   I N T E G R A T I O ;   R e n   Y . ,   2 0 0 7 ,   O R G A N   S T U D ,   V 2 8 ,   P 3 7 9 ;   R e p e n n i n g   A . ,   2 0 0 6 ,   I N T   W O R K   C   A D V   V I S   I ,   P 1 2 7 ;   S c h w a r t z e l   E . ,   2 0 1 0 ,   P I T T S B U R G H   P O S T   0 2 1 1 ;   S t e i n f e l d   A . ,   2 0 0 7 ,   P   N I S T   P E R F   M E T R   I N T ;   S t e i n f e l d   A . ,   2 0 1 0 ,   J   T E C H N O L O G Y   D I S A B I L ,   V 2 2 ,   P 7 3 ;   S t e i n f e l d   A . ,   2 0 1 0 ,   8 9   A N N   M   T R A N S P   R E S ;   T u r n e r   D S ,   2 0 1 0 ,   T R A N S P   R E S   R E C O R D ,   P 1 5 9 ,   D O I   1 0 . 3 1 4 1 / 2 1 9 6 - 1 7 ;   T w i t t e r C o u n t e r ,   E F F   A S H C L   A I R L   T W I T T ;   W i n t e r s   P .   L . ,   2 0 1 0 ,   T R A N S I T   I D E A   P R O J E C T ;   Y o o   D . ,   2 0 1 0 ,   I N T   C   H U M   F A C T   C O M P ,   P 1 7 9 7 ;   Z i m m e r m a n   J . ,   2 0 1 1 ,   P   2 9   I N T   C   H U M   F A C T ;   Z m u d   M . ,   2 0 1 0 ,   8 9   A N N   M   T R A N S P   R E S 	 3 1 	 1 	 1 	 N A T L   A C A D   S C I E N C E S 	 W A S H I N G T O N 	 2 1 0 1   C O N S T I T U T I O N   A V E   N W ,   W A S H I N G T O N ,   D C   2 0 4 1 8   U S A 	 0 3 6 1 - 1 9 8 1 	 	 	 T R A N S P O R T   R E S   R E C 	 T r a n s p .   R e s .   R e c o r d 	 	 2 0 1 1 	 	 2 2 1 7 	 	 	 	 	 9 5 	 1 0 2 	 	 1 0 . 3 1 4 1 / 2 2 1 7 - 1 2 	 	 8 	 E n g i n e e r i n g ,   C i v i l ;   T r a n s p o r t a t i o n ;   T r a n s p o r t a t i o n   S c i e n c e   &   T e c h n o l o g y 	 E n g i n e e r i n g ;   T r a n s p o r t a t i o n 	 8 7 8 F T 	 W O S : 0 0 0 2 9 9 2 4 1 6 0 0 0 1 3 	 	 
 J 	 F a l c i o n i ,   J G 	 	 	 	 F a l c i o n i ,   J o h n   G . 	 	 	 P R O J E C T   C R O W D S O U R C I N G 	 M E C H A N I C A L   E N G I N E E R I N G 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 	 	 	 	 	 f a l c i o n i j @ a s m e . o r g 	 	 	 	 	 	 0 	 0 	 0 	 A S M E - A M E R   S O C   M E C H A N I C A L   E N G 	 N E W   Y O R K 	 T H R E E   P A R K   A V E ,   N E W   Y O R K ,   N Y   1 0 0 1 6 - 5 9 9 0   U S A 	 0 0 2 5 - 6 5 0 1 	 	 	 M E C H   E N G 	 M e c h .   E n g . 	 D E C 	 2 0 1 0 	 1 3 2 	 1 2 	 	 	 	 	 6 	 6 	 	 	 	 1 	 E n g i n e e r i n g ,   M e c h a n i c a l 	 E n g i n e e r i n g 	 6 8 6 D C 	 W O S : 0 0 0 2 8 4 6 7 6 0 0 0 0 0 1 	 	 
 J 	 S k o p i k ,   F ;   S c h a l l ,   D ;   D u s t d a r ,   S 	 	 	 	 S k o p i k ,   F l o r i a n ;   S c h a l l ,   D a n i e l ;   D u s t d a r ,   S c h a h r a m 	 	 	 M o d e l i n g   a n d   m i n i n g   o f   d y n a m i c   t r u s t   i n   c o m p l e x   s e r v i c e - o r i e n t e d   s y s t e m s 	 I N F O R M A T I O N   S Y S T E M S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C o l l a b o r a t i v e   e n v i r o n m e n t ;   S e r v i c e - o r i e n t a t i o n ;   S o c i a l   t r u s t ;   I n t e r a c t i o n   p a t t e r n s ;   F l e x i b l e   c o m p o s i t i o n ;   C r o w d s o u r c i n g 	 S O C I A L   N E T W O R K S ;   V I R T U A L   T E A M S ;   A D   H O C ;   P A T T E R N S ;   B U S I N E S S ;   W E B ;   S I M I L A R I T Y ;   D I S T R U S T 	 T h e   g l o b a l   s c a l e   a n d   d i s t r i b u t i o n   o f   c o m p a n i e s   h a v e   c h a n g e d   t h e   e c o n o m y   a n d   d y n a m i c s   o f   b u s i n e s s e s .   W e b - b a s e d   c o l l a b o r a t i o n s   a n d   c r o s s - o r g a n i z a t i o n a l   p r o c e s s e s   t y p i c a l l y   r e q u i r e   d y n a m i c   a n d   c o n t e x t - b a s e d   i n t e r a c t i o n s   b e t w e e n   p e o p l e   a n d   s e r v i c e s .   H o w e v e r ,   f i n d i n g   t h e   r i g h t   p a r t n e r   t o   w o r k   o n   j o i n t   t a s k s   o r   t o   s o l v e   e m e r g i n g   p r o b l e m s   i n   s u c h   s c e n a r i o s   i s   c h a l l e n g i n g   d u e   t o   s c a l e   a n d   t e m p o r a r y   n a t u r e   o f   c o l l a b o r a t i o n s .   F u r t h e r m o r e ,   a c t o r   c o m p e t e n c i e s   e v o l v e   o v e r   t i m e ,   t h u s   r e q u i r i n g   d y n a m i c   a p p r o a c h e s   f o r   t h e i r   m a n a g e m e n t .   W e b   s e r v i c e s   a n d   S O A   a r e   t h e   i d e a l   t e c h n i c a l   f r a m e w o r k   t o   a u t o m a t e   i n t e r a c t i o n s   s p a n n i n g   p e o p l e   a n d   s e r v i c e s .   T o   s u p p o r t   s u c h   c o m p l e x   i n t e r a c t i o n   s c e n a r i o s ,   w e   d i s c u s s   m i x e d   s e r v i c e - o r i e n t e d   s y s t e m s   t h a t   a r e   c o m p o s e d   o f   b o t h   h u m a n s   a n d   s o f t w a r e   s e r v i c e s ,   i n t e r a c t i n g   t o   p e r f o r m   c e r t a i n   a c t i v i t i e s .   A s   a n   e x a m p l e ,   c o n s i d e r   a   p r o f e s s i o n a l   o n l i n e   s u p p o r t   c o m m u n i t y   c o n s i s t i n g   o f   i n t e r a c t i o n s   b e t w e e n   h u m a n   p a r t i c i p a n t s   a n d   s o f t w a r e - b a s e d   s e r v i c e s .   W e   a r g u e   t h a t   t r u s t   b e t w e e n   m e m b e r s   i s   e s s e n t i a l   f o r   s u c c e s s f u l   c o l l a b o r a t i o n s .   U n l i k e   a   s e c u r i t y   p e r s p e c t i v e ,   w e   f o c u s   o n   t h e   n o t i o n   o f   s o c i a l   t r u s t   i n   c o l l a b o r a t i v e   n e t w o r k s .   W e   s h o w   a n   i n t e r p r e t a t i v e   r u l e - b a s e d   a p p r o a c h   t o   e n a b l e   h u m a n s   a n d   s e r v i c e s   t o   e s t a b l i s h   t r u s t   b a s e d   o n   i n t e r a c t i o n s   a n d   e x p e r i e n c e s ,   c o n s i d e r i n g   t h e i r   c o n t e x t   a n d   s u b j e c t i v e   p e r c e p t i o n s .   ( C )   2 0 1 0   E l s e v i e r   B . V .   A l l   r i g h t s   r e s e r v e d . 	 [ S k o p i k ,   F l o r i a n ;   S c h a l l ,   D a n i e l ;   D u s t d a r ,   S c h a h r a m ]   V i e n n a   U n i v   T e c h n o l ,   D i s t r i b u t e d   S y s t   G r p ,   A - 1 0 4 0   V i e n n a ,   A u s t r i a 	 S k o p i k ,   F   ( r e p r i n t   a u t h o r ) ,   V i e n n a   U n i v   T e c h n o l ,   D i s t r i b u t e d   S y s t   G r p ,   A r g e n t i n i e r s t r   8 - 1 8 4 - 1 ,   A - 1 0 4 0   V i e n n a ,   A u s t r i a . 	 s k o p i k @ i n f o s y s . t u w i e n . a c . a t ;   s c h a l l @ i n f o s y s . t u w i e n . a c . a t ;   d u s t d a r @ i n f o s y s . t u w i e n . a c . a t 	 	 	 E u r o p e a n   U n i o n   [ F P 7 - 2 1 6 2 5 6 ] 	 T h i s   w o r k   i s   s u p p o r t e d   b y   t h e   E u r o p e a n   U n i o n   t h r o u g h   t h e   F P 7 - 2 1 6 2 5 6   P r o j e c t   C O I N . 	 A B D U L R A H M A N   A ,   2 0 0 0 ,   H A W   I N T   C   S Y S T   S C I   H ;   A g r a w a l   A . ,   2 0 0 7 ,   W S   B P E L   E X T E N S I O N   P E ;   A m e n d   M . ,   2 0 0 7 ,   W E B   S E R V I C E S   H U M A N   T ;   [ A n o n y m o u s ] ,   2 0 0 5 ,   A R C H   B L U E P R   A U T   C O M P ;   A r t z   D ,   2 0 0 7 ,   J   W E B   S E M A N T ,   V 5 ,   P 5 8 ,   D O I   1 0 . 1 0 1 6 / j . w e b s e m . 2 0 0 7 . 0 3 . 0 0 2 ;   B a l d a u f   M ,   2 0 0 7 ,   I N T   J   A D   H O C   U B I Q   C O ,   V 2 ,   P 2 6 3 ,   D O I   1 0 . 1 5 0 4 / I J A H U C . 2 0 0 7 . 0 1 4 0 7 0 ;   B a l t h a z a r d   P . ,   2 0 0 4 ,   D a t a   B a s e   f o r   A d v a n c e s   i n   I n f o r m a t i o n   S y s t e m s ,   V 3 5 ;   B r e s l i n   J . ,   2 0 0 9 ,   S O C I A L   S E M A N T I C   W E B ,   V 4 8 ,   P 2 5 1 ;   C a m a r i n h a - M a t o s   L .   M . ,   2 0 0 6 ,   P R O L A M A T ,   P 2 6 ;   C O N N E R   W ,   2 0 0 9 ,   I N T   W O R L D   W I D   W E B   C ;   D u s t d a r   S ,   2 0 0 4 ,   D I S T R I B   P A R A L L E L   D A T ,   V 1 5 ,   P 4 5 ,   D O I   1 0 . 1 0 2 3 / B : D A P D . 0 0 0 0 0 0 9 4 3 1 . 2 0 2 5 0 . 5 6 ;   D u s t d a r   S ,   2 0 0 7 ,   D A T A   K N O W L   E N G ,   V 6 2 ,   P 1 3 8 ,   D O I   1 0 . 1 0 1 6 / j . d a t a k . 2 0 0 6 . 0 7 . 0 1 0 ;   D w y e r   C . ,   2 0 0 7 ,   A M   C   I N F   S Y S T   A M C I S ;   G o l b e c k   J ,   2 0 0 9 ,   A C M   T   W E B ,   V 3 ,   D O I   1 0 . 1 1 4 5 / 1 5 9 4 1 7 3 . 1 5 9 4 1 7 4 ;   G r i f f i t h s   N ,   2 0 0 6 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 1 4 9 ,   P 3 6 0 ;   G u h a   R . V . ,   2 0 0 4 ,   I N T   W O R L D   W I D   W E B   C ,   P 4 0 3 ;   G y n g y i   Z . ,   2 0 0 4 ,   I N T   C   V E R   L A R G   D A T   B ,   P 5 7 6 ;   H A R R I S O N   B L ,   2 0 0 5 ,   I N T   C   S U P P   G R O U P   W O R ,   P 2 3 6 ;   H u y n h   T D ,   2 0 0 6 ,   A U T O N   A G E N T   M U L T I - A G ,   V 1 3 ,   P 1 1 9 ,   D O I   1 0 . 1 0 0 7 / s 1 0 4 5 8 - 0 0 5 - 6 8 2 5 - 4 ;   J O S A N G   A ,   2 0 0 2 ,   B L E D   E L   C O M M   C ;   J o s a n g   A ,   2 0 0 7 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 3 ,   P 6 1 8 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 5 . 0 5 . 0 1 9 ;   K E R S C H B A U M   F ,   2 0 0 6 ,   I N T   C   T R U S T   M A N   I T R U ,   P 1 9 3 ;   K o v a c   D ,   2 0 0 9 ,   J   S Y S T   A R C H I T E C T ,   V 5 5 ,   P 2 5 5 ,   D O I   1 0 . 1 0 1 6 / j . s y s a r c . 2 0 0 9 . 0 1 . 0 0 2 ;   L e e k w i j c k   W . V . ,   1 9 9 9 ,   F U Z Z Y   S E T S   S Y S T E M S ,   V 1 0 8 ,   P 1 5 9 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 5 - 0 1 1 4 ( 9 7 ) 0 0 3 3 7 - 0 ;   L o k e   S W ,   2 0 0 6 ,   I E E E   P E R V A S   C O M P U T ,   V 5 ,   P 4 8 ,   D O I   1 0 . 1 1 0 9 / M P R V . 2 0 0 6 . 2 7 ;   M a l i k   Z ,   2 0 0 9 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 3 ,   P 4 0 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 0 9 . 1 7 ;   M a r s h   S . P . ,   1 9 9 4 ,   T H E S I S   U   S T I R L I N G ;   M a s s a   P . ,   2 0 0 4 ,   C O O P I S   D O A   O D B A S E ,   P 4 9 2 ;   M a t s u o   Y . ,   2 0 0 9 ,   I N T   W O R L D   W I D   W E B   C ,   P 7 5 1 ;   M a x i m i l i e n   E . M . ,   2 0 0 4 ,   I C S O C   0 4 ,   P 2 1 2 ;   M e t z g e r   M .   J . ,   2 0 0 4 ,   J   C O M P U T E R   M E D I A T E D ,   V 9 ;   M o o d y   P ,   2 0 0 6 ,   I B M   S Y S T   J ,   V 4 5 ,   P 6 8 3 ;   M o r a n   T P ,   2 0 0 5 ,   C O M M U N   A C M ,   V 4 8 ,   P 6 7 ,   D O I   1 0 . 1 1 4 5 / 1 1 0 1 7 7 9 . 1 1 0 1 8 1 1 ;   M u i   L . ,   2 0 0 2 ,   H I C S S   0 2 ,   P 1 8 8 ;   N o w a k   M A ,   1 9 9 8 ,   N A T U R E ,   V 3 9 3 ,   P 5 7 3 ,   D O I   1 0 . 1 0 3 8 / 3 1 2 2 5 ;   O r g u n   M A ,   2 0 0 6 ,   I R I   2 0 0 6 :   P r o c e e d i n g s   o f   t h e   2 0 0 6   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n f o r m a t i o n   R e u s e   a n d   I n t e g r a t i o n ,   P 1 0 5 ;   P a n t e l i   N ,   2 0 0 5 ,   I E E E   T   P R O F   C O M M U N ,   V 4 8 ,   P 1 9 1 ,   D O I   1 0 . 1 1 0 9 / T P C . 2 0 0 5 . 8 4 9 6 5 1 ;   P a t e l   J ,   2 0 0 5 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 4 7 7 ,   P 1 9 3 ;   R e k a   A ,   2 0 0 2 ,   R E V   M O D   P H Y S ,   V 7 4 ,   P 4 7 ,   D O I   D O I   1 0 . 1 1 0 3 / R E V M 0 D P H Y S . 7 4 . 4 7 . [ ;   S a b a t e r   J . ,   2 0 0 2 ,   S I G E C O M   E X C H ,   V 3 ,   P 4 4 ;   S A B A T E R   J ,   2 0 0 2 ,   I N T   J   C   A U T   A G   M U L T ,   P 4 7 5 ;   S a l e h i e   M ,   2 0 0 9 ,   A C M   T   A U T O N   A D A P   S Y S ,   V 4 ,   D O I   1 0 . 1 1 4 5 / 1 5 1 6 5 3 3 . 1 5 1 6 5 3 8 ;   S C H A L L   D ,   2 0 0 8 ,   E U R   C   S O F T W   E N G   A D V ,   P 2 8 5 ;   S c h a l l   D . ,   2 0 0 9 ,   T H E S I S   V I E N N A   U   T E C H ;   S c h a l l   D ,   2 0 0 8 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 2 ,   P 6 2 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 0 8 . 6 6 ;   S h e r c h a n   W . ,   2 0 0 6 ,   A p p l i e d   C o m p u t i n g   2 0 0 6 .   2 1 s t   A n n u a l   A C M   S y m p o s i u m   o n   A p p l i e d   C o m p u t i n g ,   D O I   1 0 . 1 1 4 5 / 1 1 4 1 2 7 7 . 1 1 4 1 7 2 2 ;   S k o p i k   F . ,   2 0 1 0 ,   A C M   S   A P P L   C O M P   S A C ,   P 8 0 1 ;   S K O P I K   F ,   2 0 0 9 ,   E U R   C   S O F T W   E N G   A D V ,   P 7 2 ;   S K O P I K   F ,   2 0 0 9 ,   I N T   C   W E B   I N F   S Y S T   E ,   P 2 7 5 ;   S K O P I K   F ,   2 0 0 9 ,   I N T   C   W E B   I N F   S Y S T   T ,   P 4 7 1 ;   S l o m a n   M . ,   2 0 0 0 ,   I E E E   C O M M U N I C A T I O N S ,   P 3 ;   S R I V A T S A   M ,   2 0 0 5 ,   I N T   W O R L D   W I D   W E B   C ,   P 4 2 2 ;   T h e o d o r a k o p o u l o s   G ,   2 0 0 6 ,   I E E E   J   S E L   A R E A   C O M M ,   V 2 4 ,   P 3 1 8 ,   D O I   [ 1 0 . 1 1 0 9 / J S A C . 2 0 0 5 . 8 6 1 3 9 0 ,   1 0 . 1 1 0 9 / J S A C . 2 0 0 5 . 0 8 6 1 3 9 0 ] ;   v a n   d e r   A a l s t   W M P ,   2 0 0 4 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 0 8 0 ,   P 2 4 4 ;   W A N G   Y ,   2 0 0 7 ,   I N T   J O I N T   C   A R T   I N T ,   P 1 5 5 1 ;   Z A D E H   L A ,   1 9 6 5 ,   I N F O R M   C O N T R O L ,   V 8 ,   P 3 3 8 ,   D O I   1 0 . 1 0 1 6 / S 0 0 1 9 - 9 9 5 8 ( 6 5 ) 9 0 2 4 1 - X ;   Z i e g l e r   C N ,   2 0 0 7 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 3 ,   P 4 6 0 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 6 . 1 1 . 0 0 3 ;   Z i e g l e r   C N ,   2 0 0 5 ,   I N F O R M   S Y S T   F R O N T ,   V 7 ,   P 3 3 7 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 9 6 - 0 0 5 - 4 8 0 7 - 3 ;   Z i m m e r m a n n   H .   J . ,   1 9 9 6 ,   F U Z Z Y   S E T   T H E O R Y   I T S ;   Z u o   Y . ,   2 0 0 5 ,   A C M   S   A P P L   C O M P ,   P 1 5 8 2 	 6 0 	 2 6 	 2 8 	 P E R G A M O N - E L S E V I E R   S C I E N C E   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   E N G L A N D 	 0 3 0 6 - 4 3 7 9 	 	 	 I N F O R M   S Y S T 	 I n f .   S y s t . 	 N O V 	 2 0 1 0 	 3 5 	 7 	 	 	 	 	 7 3 5 	 7 5 7 	 	 1 0 . 1 0 1 6 / j . i s . 2 0 1 0 . 0 3 . 0 0 1 	 	 2 3 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 6 2 6 N D 	 W O S : 0 0 0 2 7 9 9 7 1 8 0 0 0 0 2 	 	 
 J 	 H e i p k e ,   C 	 	 	 	 H e i p k e ,   C h r i s t i a n 	 	 	 C r o w d s o u r c i n g   g e o s p a t i a l   d a t a 	 I S P R S   J O U R N A L   O F   P H O T O G R A M M E T R Y   A N D   R E M O T E   S E N S I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 M a p p i n g ;   W e b   2 . 0 ;   G e o - r e f e r e n c i n g ;   U s e r - g e n e r a t e d   c o n t e n t ;   C r o w d s o u r c i n g 	 	 I n   t h i s   p a p e r   w e   r e v i e w   r e c e n t   d e v e l o p m e n t s   o f   c r o w d s o u r c i n g   g e o s p a t i a l   d a t a .   W h i l e   t r a d i t i o n a l   m a p p i n g   i s   n e a r l y   e x c l u s i v e l y   c o o r d i n a t e d   a n d   o f t e n   a l s o   c a r r i e d   o u t   b y   l a r g e   o r g a n i s a t i o n s ,   c r o w d s o u r c i n g   g e o s p a t i a l   d a t a   r e f e r s   t o   g e n e r a t i n g   a   m a p   u s i n g   i n f o r m a l   s o c i a l   n e t w o r k s   a n d   w e b   2 . 0   t e c h n o l o g y .   K e y   d i f f e r e n c e s   a r e   t h e   f a c t   t h a t   u s e r s   l a c k i n g   f o r m a l   t r a i n i n g   i n   m a p   m a k i n g   c r e a t e   t h e   g e o s p a t i a l   d a t a   t h e m s e l v e s   r a t h e r   t h a n   r e l y i n g   o n   p r o f e s s i o n a l   s e r v i c e s ;   t h a t   p o t e n t i a l l y   v e r y   l a r g e   u s e r   g r o u p s   c o l l a b o r a t e   v o l u n t a r i l y   a n d   o f t e n   w i t h o u t   f i n a n c i a l   c o m p e n s a t i o n   w i t h   t h e   r e s u l t   t h a t   a t   a   v e r y   l o w   m o n e t a r y   c o s t   o p e n   d a t a s e t s   b e c o m e   a v a i l a b l e   a n d   t h a t   m a p p i n g   a n d   c h a n g e   d e t e c t i o n   o c c u r   i n   r e a l   t i m e .   T h i s   s i t u a t i o n   i s   s i m i l a r   t o   t h a t   f o u n d   i n   t h e   O p e n   S o u r c e   s o f t w a r e   e n v i r o n m e n t .   W e   s h o r t l y   e x p l a i n   t h e   b a s i c   t e c h n o l o g y   n e e d e d   f o r   c r o w d s o u r c i n g   g e o s p a t i a l   d a t a ,   d i s c u s s   t h e   u n d e r l y i n g   c o n c e p t s   i n c l u d i n g   q u a l i t y   i s s u e s   a n d   g i v e   s o m e   e x a m p l e s   f o r   t h i s   n o v e l   w a y   o f   g e n e r a t i n g   g e o s p a t i a l   d a t a .   W e   a l s o   p o i n t   a t   a p p l i c a t i o n s   w h e r e   a l t e r n a t i v e s   d o   n o t   e x i s t   s u c h   a s   l i f e   t r a f f i c   i n f o r m a t i o n   s y s t e m s .   F i n a l l y   w e   e x p l o r e   t h e   f u t u r e   o f   c r o w d s o u r c i n g   g e o s p a t i a l   d a t a   a n d   g i v e   s o m e   c o n c l u d i n g   r e m a r k s .   ( C )   2 0 1 0   I n t e r n a t i o n a l   S o c i e t y   f o r   P h o t o g r a m m e t r y   a n d   R e m o t e   S e n s i n g ,   I n c .   ( I S P R S ) .   P u b l i s h e d   b y   E l s e v i e r   B . V .   A l l   r i g h t s   r e s e r v e d . 	 L e i b n i z   U n i v   H a n n o v e r ,   I n s t   P h o t o g r a m m e t r i e   &   G e o I n f o m a t ,   D - 3 0 1 6 7   H a n n o v e r ,   G e r m a n y 	 H e i p k e ,   C   ( r e p r i n t   a u t h o r ) ,   L e i b n i z   U n i v   H a n n o v e r ,   I n s t   P h o t o g r a m m e t r i e   &   G e o I n f o m a t ,   N i e n b u r g e r   S t   1 ,   D - 3 0 1 6 7   H a n n o v e r ,   G e r m a n y . 	 h e i p k e @ i p i . u n i - h a n n o v e r . d e 	 	 	 	 	 A g a r w a l   S . ,   2 0 0 9 ,   P   I N T   C   C O M P   V I S   I C C ;   A T K I N S O N   I ,   2 0 0 4 ,   P a t e n t   N o .   1 3 4 8 2 0 8 ;   B I S H O P   C M ,   2 0 0 6 ,   P A T T E R N   R E C O G N ,   P 7 3 9 ;   B r a s s e l   K . ,   1 9 9 5 ,   E L E M E N T S   S P A T I A L   D A T ,   P 8 1 ;   B R E N N E R   C ,   2 0 0 8 ,   E U R O S D R   O F F I C I A L   P U B ,   V 5 4 ;   C a o   L . ,   2 0 0 9 ,   P   1 7   A C M   S I G S P A T I A L ;   F O R S Y T H   D ,   2 0 0 3 ,   C O M P U T E R   V I S I O N   M O D E ,   P 6 9 3 ;   F r i t z   S ,   2 0 0 9 ,   R E M O T E   S E N S - B A S E L ,   V 1 ,   P 3 4 5 ,   D O I   1 0 . 3 3 9 0 / r s 1 0 3 0 3 4 5 ;   G e r k e   M ,   2 0 0 8 ,   I N T   J   G E O G R   I N F   S C I ,   V 2 2 ,   P 8 7 1 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 5 8 8 1 0 7 0 1 7 0 3 2 5 8 ;   G o o d c h i l d   M .   F . ,   2 0 0 8 ,   P   C   A U   F R A N K S   6 0   B I R ;   G o o d c h i l d   M . F . ,   2 0 0 7 ,   G E O J O U R N A L ,   V 6 9 ,   P 2 1 1 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 7 - 9 1 1 1 - Y ;   G o o d c h i l d   M F ,   1 9 9 7 ,   I N T   J   G E O G R   I N F   S C I ,   V 1 1 ,   P 2 9 9 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 5 8 8 1 9 7 2 4 2 4 1 9 ;   G O S S E L N   G V ,   2 0 0 5 ,   I S P R S   B O O K   S E R I E S ,   P 6 9 ;   G U E L A T   J C ,   2 0 1 0 ,   E U R O S D R   O F F I C I A L   P U B ,   V 5 7 ;   H A C K L A Y   M ,   2 0 0 8 ,   E N V   P L A N N   B   I N   P R E S S ;   H A C K L A Y   M ,   2 0 0 9 ,   D I G I T A L   D I V I D E   O P E N S ;   H A C K L A Y   M ,   2 0 0 9 ,   O P E N S T R E E T M A P   O R D N A N ;   H A V E R C R O F T   M ,   2 0 1 0 ,   E U R O S D R   O F F I C I A L   P U B ,   V 5 7 ;   H e i p k e   C ,   2 0 0 4 ,   P H O T O G R A M M   E N G   R E M   S ,   V 7 0 ,   P 1 8 5 ;   H E I P K E   C ,   1 9 9 8 ,   P H O T O G R A M M E T R I E   F E R N ,   V 2 ,   P 8 1 ;   H E I P K E   C ,   2 0 0 8 ,   E U R O S D R   O F F I C I A L   P U B ,   V 5 4 ;   H u d s o n - S m i t h   A ,   2 0 0 9 ,   S O C   S C I   C O M P U T   R E V ,   V 2 7 ,   P 5 2 4 ,   D O I   1 0 . 1 1 7 7 / 0 8 9 4 4 3 9 3 0 9 3 3 2 2 9 9 ;   J O O S   G ,   2 0 0 0 ,   S C H R I F T E N R E I H E   S T U D I ;   K o u n a d i   O ,   2 0 0 9 ,   T H E S I S   U   C O L L   L O N D O N ;   K U N I A V S K Y   M ,   2 0 0 9 ,   S M A R T   T H I N G S   O U T L I N E ;   L E B E R L   F ,   2 0 1 0 ,   G I S   D E V ,   V 1 4 ,   P 2 2 ;   L e y m a n n   F . ,   2 0 0 9 ,   P H O T O G R A M M E T R I C   W E E K ,   P 3 ;   M A T Y A S   S ,   2 0 0 7 ,   P   1 0   A G I L E   I N T   C   G E O ;   M A U E   P ,   2 0 0 8 ,   1 1   A G I L E   I N T   C   G E O G R ;   M A Y E R   H ,   2 0 0 8 ,   R E M O T E   S E N S I N G   S P A T I ,   V 3 7 ,   P 6 3 3 ;   N i e l s e n   J . ,   2 0 0 6 ,   P A R T I C I P A T I O N   I N E Q U A ;   O ' R e i l l y   T . ,   2 0 0 9 ,   W E B   S Q U A R E D   W E B   2   0 ;   O ' R e i l l y   T . ,   2 0 0 5 ,   W H A T   I S   W E B   2   0   D E S I ;   P o s e r   K ,   2 0 0 9 ,   1 2   A G I L E   I N T   C   G E O G R ;   R A M M   F ,   2 0 0 8 ,   P   F O S S G I S   2 0 0 8   F R E I B ;   R a n a   S . ,   2 0 0 9 ,   J   L O C A T I O N   B A S E D   S E R ,   V 3 ,   P 7 5 ;   R A Y M O N D   E S ,   2 0 0 2 ,   C A T H E D R A L   B A Z A A R   V E R ;   S A Y D A   F ,   2 0 0 5 ,   8   A G I L E   I N T   C   G E O G R ;   S C H M I T Z   S ,   2 0 0 9 ,   I N D I A N   C A R T O G R A P H E R ,   V 2 8 ,   P 1 ;   S T E F A N I D I S   A ,   2 0 0 4 ,   G E O S E N S O R   N E T W O R K S ,   P 2 9 6 ;   S T R E I L E I N   A ,   2 0 1 0 ,   E U R O S D R   O F F I C I A L   P U B ,   V 5 7 ;   T U R N E R   A ,   2 0 0 6 ,   I N T R O   N E O G E O G R A P H Y ,   P 5 4 ;   V I G L I N O   J M ,   2 0 1 0 ,   E U R O S D R   O F F I C I A L   P U B ,   V 5 7 ;   W a l d   D .   J . ,   1 9 9 9 ,   S E I S M O L   R E S   L E T T ,   V 7 0 ,   P 6 8 0 ,   D O I   D O I   1 0 . 1 7 8 5 / G S S R L . 7 0 . 6 . 6 8 0 ;   W o l f   B M ,   2 0 0 7 ,   M A C H   V I S I O N   A P P L ,   V 1 8 ,   P 3 1 7 ,   D O I   1 0 . 1 0 0 7 / s 0 0 1 3 8 - 0 0 6 - 0 0 6 4 - 9 	 4 5 	 2 4 	 2 7 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 0 9 2 4 - 2 7 1 6 	 	 	 I S P R S   J   P H O T O G R A M M 	 I S P R S - J .   P h o t o g r a m m .   R e m o t e   S e n s . 	 N O V 	 2 0 1 0 	 6 5 	 6 	 	 	 	 	 5 5 0 	 5 5 7 	 	 1 0 . 1 0 1 6 / j . i s p r s j p r s . 2 0 1 0 . 0 6 . 0 0 5 	 	 8 	 G e o g r a p h y ,   P h y s i c a l ;   G e o s c i e n c e s ,   M u l t i d i s c i p l i n a r y ;   R e m o t e   S e n s i n g ;   I m a g i n g   S c i e n c e   &   P h o t o g r a p h i c   T e c h n o l o g y 	 P h y s i c a l   G e o g r a p h y ;   G e o l o g y ;   R e m o t e   S e n s i n g ;   I m a g i n g   S c i e n c e   &   P h o t o g r a p h i c   T e c h n o l o g y 	 6 8 9 J H 	 W O S : 0 0 0 2 8 4 9 2 3 4 0 0 0 0 7 	 	 
 J 	 [ A n o n y m o u s ] 	 	 	 	 [ A n o n y m o u s ] 	 	 	 C r o w d s o u r c i n g   C h a l l e n g e   F l o w   R e s t r i c t o r   D e s i g n 	 J O U R N A L   A M E R I C A N   W A T E R   W O R K S   A S S O C I A T I O N 	 	 	 E n g l i s h 	 N e w s   I t e m 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 0 	 0 	 0 	 A M E R   W A T E R   W O R K S   A S S O C 	 D E N V E R 	 6 6 6 6   W   Q U I N C Y   A V E ,   D E N V E R ,   C O   8 0 2 3 5   U S A 	 0 0 0 3 - 1 5 0 X 	 	 	 J   A M   W A T E R   W O R K S   A S S 	 J .   A m .   W a t e r   W o r k   A s s o c . 	 N O V 	 2 0 1 0 	 1 0 2 	 1 1 	 	 	 	 	 8 9 	 8 9 	 	 	 	 1 	 E n g i n e e r i n g ,   C i v i l ;   W a t e r   R e s o u r c e s 	 E n g i n e e r i n g ;   W a t e r   R e s o u r c e s 	 6 8 7 B Y 	 W O S : 0 0 0 2 8 4 7 5 0 0 0 0 0 1 9 	 	 
 J 	 G a r c i a - D e - T o r r e s ,   E 	 	 	 	 G a r c i a - D e - T o r r e s ,   E l v i r a 	 	 	 U s e r   g e n e r a t e d   c o n t e n t :   a   s t a t e   o f   t h e   s i t u a t i o n 	 P R O F E S I O N A L   D E   L A   I N F O R M A C I O N 	 	 	 S p a n i s h 	 A r t i c l e 	 	 	 	 	 	 U s e r   g e n e r a t e d   c o n t e n t ;   U G C ;   C i t i z e n   j o u r n a l i s m ;   O n l i n e   j o u r n a l i s m ;   R e s e a r c h ;   P a r t i c i p a t o r y   j o u r n a l i s m ;   W e b   2 . 0 	 C I T I Z E N   J O U R N A L I S M ;   O N L I N E   N E W S ;   W E B   S I T E S ;   I N T E R A C T I V I T Y ;   C R E D I B I L I T Y ;   I N T E R N E T ;   F O R U M S ;   M E D I A 	 T h e   c o n c e p t u a l   r e l a t i o n s h i p s   b e t w e e n   w h a t   h a s   b e e n   c a l l e d   c i t i z e n   j o u r n a l i s m ,   p a r t i c i p a t o r y   j o u r n a l i s m   a n d   c r o w d s o u r c i n g   j o u r n a l i s m   i n   t h e   c o n t e x t   o f   t h e   e v o l u t i o n   o f   u s e r - g e n e r a t e d   c o n t e n t   ( U G C )   i n   t h e   m e d i a   a r e   e x a m i n e d .   T h e   r e s e a r c h   o n   u s e r   p a r t i c i p a t i o n   i n   t h e   m e d i a ,   s i n c e   t h e   f i r s t   s t u d i e s   o f   i n t e r a c t i v i t y   t o   t h e   m o s t   r e c e n t   w o r k   a d d r e s s i n g   s p e c i f i c   i s s u e s   s u c h   a s   q u a l i t y   o r   c o n t r o l ,   i s   a l s o   r e v i e w e d . 	 U n i v   C a r d e n a l   H e r r e r a ,   V a l e n c i a   4 6 1 1 5 ,   S p a i n 	 G a r c i a - D e - T o r r e s ,   E   ( r e p r i n t   a u t h o r ) ,   U n i v   C a r d e n a l   H e r r e r a ,   L u i s   V i v e s   1 ,   V a l e n c i a   4 6 1 1 5 ,   S p a i n . 	 e g a r c i a @ u c h . c e u . e s 	 	 	 	 	 A b d u l - M a g e e d   M u h a m m a d   M . ,   2 0 0 8 ,   T R I P L E C ,   V 6 ,   P 5 9 ;   A c o s t a - V a l e n c i a   G l a d y s   L . ,   2 0 0 8 ,   1 0   C   R E D C   C O N   H I P   D E ;   A L L A N   S . ,   2 0 0 9 ,   C I T I Z E N   J O U R N A L I S M   G ;   B A K K E R   P ,   2 0 0 9 ,   F U T   J O U R N   C   C A R D ;   B e r g e r   J . A . ,   2 0 0 9 ,   S O C I A L   T R A N S M I S S I O N ;   B E R G L A N D   R ,   2 0 1 0 ,   1 0   I N T   O N L   J O U R N   S   U ;   B L O O D   R ,   2 0 0 2 ,   W E   V E   G O T   B L O G ;   B o c z k o w s k i   P J ,   2 0 0 4 ,   I N S I D E   T E C H N O L ,   P 1 ;   B O W M A N   S ,   2 0 0 2 ,   W E   M E D I A   A U D I E N C E S   A ;   B R A D S H A W   P ,   2 0 0 7 ,   F U T   N E W S P   C   C A R D ;   C a b a l l e r o   U . ,   2 0 0 0 ,   R E V   U   G U A D A L A J A R A ;   C A B A L L E R O   U ,   1 9 9 8 ,   R E V   M E X I C A N A   C O M U N I C ;   C A L M O N A L V E S   R ,   2 0 0 8 ,   1   C   I N T   C I B   O P ;   C E A   M N ,   2 0 0 9 ,   R E V   L A T I N A   C O M U N I C A C ;   C h u n g   D e b o r a h   S . ,   2 0 0 9 ,   N E W S P A P E R   R E S   J ,   V 3 0 ,   P 7 2 ;   C O R R E D O I R A   L ,   2 0 0 8 ,   I N F O R M   A E D E   P R E N S A   D ;   D e u z e   M . ,   2 0 0 7 ,   J O U R N A L I S M   P R A C T I C E ,   V 1 ,   P 3 2 2 ,   D O I   D O I   1 0 . 1 0 8 0 / 1 7 5 1 2 7 8 0 7 0 1 5 0 4 8 6 4 ;   D E U Z E   M ,   2 0 0 6 ,   I N F O R M   S O C ,   V 2 ,   P 6 3 ;   D I A Z N O C I   J ,   2 0 1 0 ,   1 0   I N T   O N L   J O U R N   S   U ;   D o m i n g o   D . ,   2 0 0 8 ,   J O U R N A L I S M   P R A C T I C E ,   V 2 ,   P 3 2 6 ,   D O I   D O I   1 0 . 1 0 8 0 / 1 7 5 1 2 7 8 0 8 0 2 2 8 1 0 6 5 ;   D o m i n g o   D ,   2 0 0 8 ,   J   C O M P U T - M E D I A T   C O M M ,   V 1 3 ,   P 6 8 0 ,   D O I   1 0 . 1 1 1 1 / j . 1 0 8 3 - 6 1 0 1 . 2 0 0 8 . 0 0 4 1 5 . x ;   F O L A Y A N   O O ,   2 0 0 4 ,   T H E S I S   R H O D E S   U ;   F O N T   J L ,   1 9 9 9 ,   P R E N S A   L A T I N O A M E R I C A ;   F o r t u n a t i   L e o p o l d i n a ,   2 0 0 5 ,   I N F O R M   L I N E ,   V 1 ,   P 4 1 7 ;   F O S T E R   S ,   2 0 0 8 ,   F I J I A N   S T U D I E S   J   C O N ,   V 6 ,   P 1 1 2 ;   F R A N C O   G ,   S I T U A C I O N   P E R I O D I S M O ;   F R A N C O   G ,   2 0 0 4 ,   S A L A   P R E N S A ,   V 6 ;   G A R C I A   E P ,   2 0 0 7 ,   Z E R   E N G L I S H   E D I T I O N ,   V 1 ,   P 7 ;   G A R C I A D E T O R R E S   E ,   2 0 0 8 ,   H E R R A M I E N T A S   2   0   D I A ;   G A R C I A D E T O R R E S   E ,   2 0 0 7 ,   P R E S E N T E   F U T U R O   C O M U ;   G A R C I A D E T O R R E S   E ,   2 0 0 9 ,   E S T U D I O S   P E R I O D I S T I C ,   V 1 4 ,   P 2 8 7 ;   G A R C I A D E T O R R E S   E ,   2 0 0 9 ,   1 0   I N T   S   O N L   J O U R N   U ;   G A R C I A D E T O R R E S E ,   2 0 0 8 ,   9   C   L A T   I N V   C O M   A L   I ;   G A R C I A O R O S A   B ,   2 0 0 4 ,   E S T U D I O S   M E N S A J E   P E R ,   P 1 1 3 ;   G e r p o t t   T J ,   2 0 0 4 ,   J   M E D I A   E C O N ,   V 1 7 ,   P 2 4 1 ,   D O I   1 0 . 1 2 0 7 / s 1 5 3 2 7 7 3 6 m e 1 7 0 4 _ 1 ;   G i l l m o r   D a n ,   2 0 0 4 ,   W E   M E D I A   G R A S S R O O T S ;   G r a h a m   G ,   2 0 0 9 ,   L   N   I N S T   C O M P   S C I   S O ,   V 1 6 ,   P 2 2 9 ;   G u n t e r   B ,   2 0 0 9 ,   A S L I B   P R O C ,   V 6 1 ,   P 1 8 5 ,   D O I   1 0 . 1 1 0 8 / 0 0 0 1 2 5 3 0 9 1 0 9 4 6 9 2 9 ;   H A N E E F A   M ,   2 0 1 0 ,   J   L I B   I N F O R M   T E C H N O L ,   V 3 0 ,   P 1 7 ;   H a r r i s o n   J ,   2 0 1 0 ,   J O U R N A L I S M   S T U D ,   V 1 1 ,   P 2 4 3 ,   D O I   1 0 . 1 0 8 0 / 1 4 6 1 6 7 0 0 9 0 3 2 9 0 5 9 3 ;   H a s h i m   L . ,   2 0 0 7 ,   1 8   A U S T R   C   I N F   S Y S T ;   H e r m i d a   A . ,   2 0 0 9 ,   J O U R N A L I S M   P R A C T I C E ,   V 3 ,   P 1 ;   H e r m i d a   A ,   2 0 0 8 ,   J O U R N A L I S M   P R A C T I C E ,   V 2 ,   P 3 4 3 ,   D O I   D O I   1 0 . 1 0 8 0 / 1 7 5 1 2 7 8 0 8 0 2 0 5 4 5 3 8 ;   I G A R Z A   R ,   2 0 0 9 ,   B U R B U J A S   O C I O   N U E V A S ,   P 1 7 7 ;   I G A R Z A   R ,   2 0 0 9 ,   P E R I O D I S M O   P A R T I C I P A ,   P 1 6 5 ;   I S L A S   O ,   2 0 0 5 ,   C O M U N I C A C I O N   M E X I C O ;   J o h n s o n   K A ,   2 0 0 9 ,   J O U R N A L I S M   M A S S   C O M M ,   V 8 6 ,   P 3 3 2 ;   J O H N S O N   K A ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T E R ,   V 4 6 6 3 ,   P 5 8 0 ;   K e n n e y   K ,   2 0 0 0 ,   1   M O N D A Y ,   V 5 ;   K E S H V A N I   N ,   2 0 0 0 ,   T R E N D S   O N L I N E   N E W S R O ;   K E Y S E R   J ,   2 0 0 8 ,   T E C H N   E D   E T H   C ;   K o v a c h   B . ,   1 9 9 9 ,   W A R P   S P E E D   A M   A G E   M I ;   L a c y   S t e p h e n ,   2 0 1 0 ,   N E W S P A P E R   R E S   J ,   V 3 1 ,   P 3 4 ;   L A R R A N A G A   J ,   2 0 0 9 ,   E S T U D I O S   M E N S A J E   P E R ,   P 6 1 ;   L A T H A M   R P ,   2 0 0 8 ,   I N T E L L E C T U A L   P R O P E R T ,   V 2 0 ,   P 1 ;   L E E   E ,   2 0 0 9 ,   J   I N T E R N E T   L A W ,   V 1 3 ,   P 1 ;   L E R M A N O R I E G A   C A ,   2 0 0 4 ,   T H E S I S   U   C O M P L U T E N S E ;   L E R M A N O R I E G A   C A ,   2 0 0 9 ,   R E V   L A T I N A   C O M U N I C A C ,   P 7 8 7 ;   L e w i s   S C ,   2 0 1 0 ,   J O U R N A L I S M   P R A C T I C E ,   V 4 ,   P 1 6 3 ,   D O I   D O I   1 0 . 1 0 8 0 / 1 4 6 1 6 7 0 0 9 0 3 1 5 6 9 1 9 ;   L i g h t   A . ,   1 9 9 9 ,   J   C O M P U T E R   M E D I A T E D ,   V 4 ;   L L A N O   S ,   2 0 0 5 ,   P A L A B R A   C L A V E ;   L O P E Z A G U I R R E   J L ,   2 0 0 9 ,   E S T U D I O   S E R V I C I O S   E ;   M a c G r e g o r   P ,   2 0 0 7 ,   J O U R N A L I S M   S T U D ,   V 8 ,   P 2 8 0 ,   D O I   D O I   1 0 . 1 0 8 0 / 1 4 6 1 6 7 0 0 6 0 1 1 4 8 8 7 9 ;   M a c S i t h i g h   D . ,   2 0 0 8 ,   I N F O R M   C O M M U N I C A T I O N ,   V 1 7 ,   P 7 9 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 0 0 8 3 0 8 0 2 2 0 4 1 8 7 ;   M A L E T Z K E   G ,   1 9 6 3 ,   S I C O L O G I A   C O M U N I C A C I ;   M a r k o v i t s   S ,   2 0 0 8 ,   V I C T O R I A N   S T U D ,   V 5 0 ,   P 5 5 9 ,   D O I   1 0 . 2 9 7 9 / V I C . 2 0 0 8 . 5 0 . 4 . 5 5 9 ;   M A R T I N E Z M A R T I N E . S ,   2 0 0 8 ,   D O X A   C O M U N I C A C I O N ,   P 1 5 7 ;   M a s s e y   B L ,   1 9 9 9 ,   G A Z E T T E ,   V 6 1 ,   P 5 2 3 ;   M E S O A Y E R D I   K ,   2 0 0 9 ,   E S T U D I O S   P E R I O D I S T I C ,   V 1 4 ,   P 2 5 3 ;   M i l s t e i n   L .   C . ,   2 0 0 7 ,   J   I N T E R N E T   L A W ,   V 1 1 ,   P 3 ;   M O N T A G N A N I   M L ,   2 0 0 9 ,   C A R D O Z O   A R T S   E N T E R T A ,   V 2 6 ,   P 7 1 9 ;   M o r r i s   M ,   1 9 9 6 ,   J   C O M M U N ,   V 4 6 ,   P 3 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 0 - 2 4 6 6 . 1 9 9 6 . t b 0 1 4 6 0 . x ;   M u t h u k u m a r a s w a m y   K ,   2 0 1 0 ,   J O U R N A L I S M   P R A C T I C E ,   V 4 ,   P 4 8 ;   N A V A R R O Z A M O R A   L ,   2 0 0 3 ,   R A Z O N   P A L A B R A ;   N A V A R R O Z A M O R A   L ,   2 0 0 9 ,   C O M U N I C A R ,   V 1 7 ,   P 3 5 ;   N a v a r r o - Z a m o r a   L i z z y ,   2 0 0 4 ,   E S T U D I O S   M E N S A J E   P E R ,   P 1 5 9 ;   N e u b e r g e r   C h r i s t o p h ,   1 9 9 8 ,   J   C O M P U T E R   M E D I A T E D ,   V 4 ;   N E W H A G E N   J E ,   1 9 9 6 ,   F U T U R E   J O R N A L I S M   D I S ;   N e w h a g e n   J E ,   1 9 9 6 ,   J   C O M M U N ,   V 4 6 ,   P 4 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 0 - 2 4 6 6 . 1 9 9 6 . t b 0 1 4 5 8 . x ;   N I E T O   A ,   2 0 0 8 ,   C O M U N I C A C I O N   S O C ,   V 2 1 ,   P 7 ;   N O G U E R A   J .   M . ,   2 0 1 0 ,   R E V   L A T I N A   C O M U N I C A C ,   P 1 7 6 ;   O b l a k   T ,   2 0 0 5 ,   G A Z E T T E ,   V 6 7 ,   P 8 7 ;   O r n e b r i n g   H ,   2 0 0 8 ,   J O U R N A L I S M   S T U D ,   V 9 ,   P 7 7 1 ,   D O I   1 0 . 1 0 8 0 / 1 4 6 1 6 7 0 0 8 0 2 2 0 7 7 8 9 ;   O u t i n g   S . ,   2 0 0 5 ,   1 1   L A Y E R S   C I T I Z E N   J O ;   P a t e r s o n   C ,   2 0 0 8 ,   M A K I N G   O N L I N E   N E W S   E ;   P A U L U S S E N   S ,   2 0 0 2 ,   N E W   M E D   O L D   M E D   C O S T ;   P a u l u s s e n   S t e v e ,   2 0 0 8 ,   W E S T M I N S T E R   P A P E R S   C ,   V 5 ,   P 2 4 ;   P a u l u s s e n   S t e v e ,   2 0 0 7 ,   O B S E R V A T O R I O ,   V 1 ,   P 1 3 1 ;   * P E J ,   2 0 0 9 ,   O N L   C O M M   J O U R N   S I T   P ;   * P E W   R E S   I ,   2 0 1 0 ,   U N D   P A R T   N E W S   C O N S   I ;   P i c a r d   R G . ,   2 0 0 9 ,   B L O G S   T W E E T S   S O C I A L ;   P I N T O   T ,   2 0 1 0 ,   C O M M U N I C A T I O N S   L A W Y E ,   V 2 7 ,   P 5 ;   K o v a c i c   M P ,   2 0 0 8 ,   J O U R N A L I S M   S T U D ,   V 9 ,   P 8 7 4 ,   D O I   1 0 . 1 0 8 0 / 1 4 6 1 6 7 0 0 8 0 2 2 2 7 8 6 0 ;   Q u a n d t   T ,   2 0 0 8 ,   J O U R N A L I S M   S T U D ,   V 9 ,   P 7 1 7 ,   D O I   1 0 . 1 0 8 0 / 1 4 6 1 6 7 0 0 8 0 2 2 0 7 6 6 4 ;   Q U I R O G A   E ,   2 0 0 8 ,   1 0   C   R E D C   S A L T ;   R A H M A N   M ,   2 0 0 8 ,   P A K I S T A N   J   S O C I A L   S C ,   V 5 ,   P 6 2 0 ;   R E A R D O N   K K ,   1 9 9 6 ,   I N T E G R A T E D   A P P R O A C H ,   P 3 9 9 ;   R e b i l l a r d   F ,   2 0 1 0 ,   M E D I A   C U L T   S O C ,   V 3 2 ,   P 3 2 3 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 3 4 4 3 7 0 9 3 5 6 1 4 2 ;   R E S T R E P O   M T ,   1 9 9 1 ,   E T I C A   P E R I O D I S T A S ;   R o b i n s o n   S u e ,   2 0 1 0 ,   C O N V E R G E N C E ,   V 1 6 ,   P 1 2 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 9 3 4 7 7 1 9 ;   R o j a n o   M i l a d y s ,   2 0 0 6 ,   D I E Z   A N O S   P E R I O D I S M O ;   R O J A S O R D U N A   O ,   2 0 0 5 ,   B L O G S   C O N V E R S A C I O N   I ;   R O J O V I L L A D A   P A ,   2 0 0 8 ,   C O M U N I C A C I O N ,   V 1 ,   P 1 5 9 ;   R O S T   A ,   2 0 0 6 ,   I N T E R A C T I V I D A D   P E R I O ;   R O S T   A ,   2 0 0 5 ,   R E L A C I O N   L E C T O R E S   P A ;   R O S T   A ,   2 0 1 0 ,   P E R I O D I S M O   D I G I T A L   P ,   P 9 6 ;   R O S T   A ,   2 0 0 7 ,   Z E R ,   V 2 2 ,   P 2 6 9 ;   R O S T   A ,   2 0 0 8 ,   P E R I O D I S M O   D I G I T A L   A ,   P 9 7 ;   S c h u l t z   T ,   2 0 0 0 ,   M E D I A   C U L T   S O C ,   V 2 2 ,   P 2 0 5 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 3 4 4 3 0 0 0 2 2 0 0 2 0 0 5 ;   S c h u l t z   T ,   1 9 9 9 ,   J   C O M P U T E R   M E D I A T E D ,   V 5 ;   S e c k o   D M ,   2 0 0 9 ,   J   M E D I A   P R A C T I C E ,   V 1 0 ,   P 2 5 9 ;   S i n g e r   J ,   2 0 1 0 ,   J O U R N A L I S M   P R A C T I C E ,   V 4 ,   P 1 2 7 ;   S I N G E R   J B ,   2 0 0 7 ,   J O U R N A L I S M   S T U D ,   V 8 ,   P 7 9 ,   D O I   D O I   1 0 . 1 0 8 0 / 1 4 6 1 6 7 0 0 6 0 1 0 5 6 8 6 6 ;   S I N G E R   J B ,   2 0 0 9 ,   J   M A S S   M E D I A   E T H I C S ,   P 3 ;   S p y r i d o u   P L ,   2 0 0 8 ,   1   M O N D A Y ,   V 1 3 ;   S t a s s e n   W . ,   2 0 1 0 ,   G L O B A L   M E D I A   J   A F R I C ,   V 4 ,   P 1 ;   T h e   B i v i n g s   G r o u p ,   2 0 0 8 ,   U S   I N T   A M   L A R G   N E W S P ;   T h u r m a n   N ,   2 0 0 8 ,   N E W   M E D I A   S O C ,   V 1 0 ,   P 1 3 9 ,   D O I   1 0 . 1 1 7 7 / 1 4 6 1 4 4 4 8 0 7 0 8 5 3 2 5 ;   T H U R M A N   N ,   2 0 0 5 ,   P R I N T   J O U R N A L I S M   C R I ;   T H U R M A N   N ,   2 0 1 0 ,   W E B   J O U R N A L I S M   N E W   F ;   T o m a i u o l o   N i c h o l a s ,   2 0 0 9 ,   S e a r c h e r ,   V 1 7 ;   V u j n o v i c   M ,   2 0 1 0 ,   J O U R N A L I S M   P R A C T I C E ,   V 4 ,   P 2 8 5 ;   W u n s c h - V i n c e n t   S . ,   2 0 0 7 ,   P A R T I C I P A T I V E   W E B   U S ;   X I A O   L ,   2 0 0 6 ,   A S I A N   J   C O M M U N ,   V 1 6 ,   P 4 0 ,   D O I   1 0 . 1 0 8 0 / 0 1 2 9 2 9 8 0 5 0 0 4 6 7 5 1 7 ;   X U   X G ,   2 0 1 1 ,   E J O U R N A L I S T ,   V 1 8 ,   P 3 5 ;   Y E R Z E R S K A   L ,   2 0 0 8 ,   R E V   L A T I N A   C O M U N I C A C ,   V 6 3 ,   P 7 1 ;   Y E R Z E R S K A   L ,   2 0 0 8 ,   C I B E R P E R I O D I S M O   P E R U ;   Z a m i t h   F . ,   2 0 0 8 ,   9   I N T   S   O N L   J O U R N   U ;   Z a m i t h   F . ,   2 0 0 8 ,   C I B E R J O R N A L I S M O   P O T E ;   Z E N G   Q ,   2 0 0 6 ,   I N T E R N E T   N E W S P A P E R S ;   Z e t a - d e - P o z o   R o s a ,   2 0 0 2 ,   S A L A   P R E N S A ;   Z U N I G A   D ,   2 0 0 9 ,   S I G N O   P E N S A M I E N T O ,   V 2 0 ,   P 3 3 0 	 1 3 2 	 2 	 2 	 E P I 	 B A R C E L O N A 	 A P A R T A D O   3 2   2 8 0 ,   B A R C E L O N A ,   0 8 0 8 0 ,   S P A I N 	 1 3 8 6 - 6 7 1 0 	 	 	 P R O F   I N F O R M 	 P r o f .   I n f . 	 N O V - D E C 	 2 0 1 0 	 1 9 	 6 	 	 	 	 	 5 8 5 	 5 9 4 	 	 1 0 . 3 1 4 5 / e p i . 2 0 1 0 . n o v . 0 4 	 	 1 0 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 6 9 5 M D 	 W O S : 0 0 0 2 8 5 3 7 3 7 0 0 0 0 4 	 	 
 J 	 N e w s a m ,   S 	 	 	 	 N e w s a m ,   S h a w n 	 	 	 C r o w d s o u r c i n g   W h a t   I s   W h e r e :   C o m m u n i t y - C o n t r i b u t e d   P h o t o s   a s   V o l u n t e e r e d   G e o g r a p h i c   I n f o r m a t i o n 	 I E E E   M U L T I M E D I A 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 	 U n i v   C a l i f   M e r c e d ,   M e r c e d ,   C A   U S A 	 N e w s a m ,   S   ( r e p r i n t   a u t h o r ) ,   U n i v   C a l i f   M e r c e d ,   M e r c e d ,   C A   U S A . 	 s n e w s a m @ u c m e r c e d . e d u 	 	 	 	 	 A h e r n   S . ,   2 0 0 7 ,   P   1 5   I N T   C   M U L T ,   P 6 3 1 ,   D O I   1 0 . 1 1 4 5 / 1 2 9 1 2 3 3 . 1 2 9 1 3 8 4 ;   C a o   L . ,   2 0 0 9 ,   P   1 7   A C M   I N T   C   M U L T ,   P 1 2 5 ,   D O I   1 0 . 1 1 4 5 / 1 6 3 1 2 7 2 . 1 6 3 1 2 9 2 ;   C A O   L ,   2 0 0 8 ,   P   I E E E   I N T   C   C O M P   V I ,   P 1 ;   C h e n   W . - C . ,   2 0 0 9 ,   P   1 7   A C M   I N T   C   M U L T ,   P 7 8 9 ,   D O I   1 0 . 1 1 4 5 / 1 6 3 1 2 7 2 . 1 6 3 1 4 1 5 ;   C r a n d a l l   D . ,   2 0 0 9 ,   P   1 8   I N T   C   W O R L D   W I D ,   P 7 6 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 5 2 6 7 0 9 . 1 5 2 6 8 1 2 ;   C r i s t a n i   M . ,   2 0 0 8 ,   P   I E E E   I N T   C   C O M P   V I ,   P 1 ;   D i v v a l a   S K ,   2 0 0 9 ,   P R O C   C V P R   I E E E ,   P 1 2 7 1 ;   G a l l a g h e r   A ,   2 0 0 9 ,   P   I E E E   I N T   C   C O M P   V I ,   P 5 5 ;   G o o d c h i l d   M . F . ,   2 0 0 7 ,   G E O J O U R N A L ,   V 6 9 ,   P 2 1 1 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 7 - 9 1 1 1 - Y ;   H a y s   J . ,   2 0 0 8 ,   P   I E E E   C   C O M P   V I S   P A ,   P 1 ;   J a c o b s   N . ,   2 0 0 7 ,   P   I E E E   1 1   I N T   C   C O M P ,   P 1 ;   J o s h i   D . ,   2 0 0 8 ,   P   I N T   C   C O N T   B A S   I M ,   P 3 7 ,   D O I   1 0 . 1 1 4 5 / 1 3 8 6 3 5 2 . 1 3 8 6 3 6 1 ;   K e n n e d y   L . ,   2 0 0 8 ,   P   1 7   I N T   C   W O R L D   W I D ,   P 2 9 7 ,   D O I   1 0 . 1 1 4 5 / 1 3 6 7 4 9 7 . 1 3 6 7 5 3 9 ;   L e u n g   D . ,   2 0 1 0 ,   P   I E E E   I N T   C   C O M P   V I ,   P 1 ;   M o x l e y   E . ,   2 0 0 8 ,   P   1   A C M   I N T   C   M U L T   I ,   P 2 4 ,   D O I   1 0 . 1 1 4 5 / 1 4 6 0 0 9 6 . 1 4 6 0 1 0 2 ;   N a a m a n   M ,   2 0 0 5 ,   P r o c e e d i n g s   o f   t h e   5 t h   A C M / I E E E   J o i n t   C o n f e r e n c e   o n   D i g i t a l   L i b r a r i e s ,   P r o c e e d i n g s ,   P 1 7 8 ,   D O I   1 0 . 1 1 4 5 / 1 0 6 5 3 8 5 . 1 0 6 5 4 3 0 ;   Q u a c k   T . ,   2 0 0 8 ,   P   I N T   C   C O N T   B A S   I M ,   P 4 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 8 6 3 5 2 . 1 3 8 6 3 6 3 ;   R A T T E N B U R Y   T ,   2 0 0 9 ,   A C M   T   W E B ,   V 3 ,   p N I L 4 ;   Y A N A I   K ,   2 0 0 9 ,   P   A C M   I N T   C   I M   V I D   R ,   P 1 ;   Y u   J . ,   2 0 0 8 ,   P   I N T   C   C O N T   B A S   I M ,   P 1 6 9 ,   D O I   1 0 . 1 1 4 5 / 1 3 8 6 3 5 2 . 1 3 8 6 3 7 9 ;   Z h e n g   Y T ,   2 0 0 9 ,   P R O C   C V P R   I E E E ,   P 1 0 8 5 	 2 1 	 4 	 4 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 3 1 4   U S A 	 1 0 7 0 - 9 8 6 X 	 	 	 I E E E   M U L T I M E D I A 	 I E E E   M u l t i m e d i a 	 O C T - D E C 	 2 0 1 0 	 1 7 	 4 	 	 	 	 	 3 6 	 4 5 	 	 1 0 . 1 1 0 9 / M M U L . 2 0 1 0 . 7 9 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 6 7 8 Y T 	 W O S : 0 0 0 2 8 4 1 2 0 3 0 0 0 0 6 	 	 
 J 	 C h o f f n e s ,   D R ;   B u s t a m a n t e ,   F E ;   G e ,   Z H 	 	 	 	 C h o f f n e s ,   D a v i d   R . ;   B u s t a m a n t e ,   F a b i a n   E . ;   G e ,   Z i h u i 	 	 	 C r o w d s o u r c i n g   S e r v i c e - L e v e l   N e t w o r k   E v e n t   M o n i t o r i n g 	 A C M   S I G C O M M   C O M P U T E R   C O M M U N I C A T I O N   R E V I E W 	 	 	 E n g l i s h 	 A r t i c l e ;   P r o c e e d i n g s   P a p e r 	 A C M   S I G C O M M   C o n f e r e n c e   2 0 1 0 	 A U G   3 0 - S E P   0 3 ,   2 0 1 0 	 N e w   D e l h i ,   I N D I A 	 A s s o c   C o m p   M a c h i n e r y   ( A C M ) 	 	 M e a s u r e m e n t ;   P e r f o r m a n c e ;   R e l i a b i l i t y ;   S e r v i c e - L e v e l   N e t w o r k   E v e n t s ;   C r o w d s o u r c i n g ;   A n o m a l y   D e t e c t i o n ;   P 2 P 	 	 T h e   u s e r   e x p e r i e n c e   f o r   n e t w o r k e d   a p p l i c a t i o n s   i s   b e c o m i n g   a   k e y   b e n c h m a r k   f o r   c u s t o m e r s   a n d   n e t w o r k   p r o v i d e r s .   P e r c e i v e d   u s e r   e x p e r i e n c e   i s   l a r g e l y   d e t e r m i n e d   b y   t h e   f r e q u e n c y ,   d u r a t i o n   a n d   s e v e r i t y   o f   n e t w o r k   e v e n t s   t h a t   i m p a c t   a   s e r v i c e .   W h i l e   t o d a y ' s   n e t w o r k s   i m p l e m e n t   s o p h i s t i c a t e d   i n f r a s t r u c t u r e   t h a t   i s s u e s   a l a r m s   f o r   m o s t   f a i l u r e s ,   t h e r e   r e m a i n s   a   c l a s s   o f   s i l e n t   o u t a g e s   ( e .   g . ,   c a u s e d   b y   c o n f i g u r a t i o n   e r r o r s )   t h a t   a r e   n o t   d e t e c t e d .   F u r t h e r ,   e x i s t i n g   a l a r m s   p r o v i d e   l i t t l e   i n f o r m a t i o n   t o   h e l p   o p e r a t o r s   u n d e r s t a n d   t h e   i m p a c t   o f   n e t w o r k   e v e n t s   o n   s e r v i c e s .   A t t e m p t s   t o   a d d r e s s   t h i s   t h r o u g h   i n f r a s t r u c t u r e   t h a t   m o n i t o r s   e n d - t o - e n d   p e r f o r m a n c e   f o r   c u s t o m e r s   h a v e   b e e n   h a m p e r e d   b y   t h e   c o s t   o f   d e p l o y m e n t   a n d   b y   t h e   v o l u m e   o f   d a t a   g e n e r a t e d   b y   t h e s e   s o l u t i o n s .   W e   p r e s e n t   a n   a l t e r n a t i v e   a p p r o a c h   t h a t   p u s h e s   m o n i t o r i n g   t o   a p p l i c a t i o n s   o n   e n d   s y s t e m s   a n d   u s e s   t h e i r   c o l l e c t i v e   v i e w   t o   d e t e c t   n e t w o r k   e v e n t s   a n d   t h e i r   i m p a c t   o n   s e r v i c e s   -   a n   a p p r o a c h   w e   c a l l   C r o w d s o u r c i n g   E v e n t   M o n i t o r i n g   ( C E M ) .   T h i s   p a p e r   p r e s e n t s   a   g e n e r a l   f r a m e w o r k   f o r   C E M   s y s t e m s   a n d   d e m o n s t r a t e s   i t s   e f f e c t i v e n e s s   f o r   a   P 2 P   a p p l i c a t i o n   u s i n g   a   l a r g e   d a t a s e t   g a t h e r e d   f r o m   B i t T o r r e n t   u s e r s   a n d   c o n f i r m e d   n e t w o r k   e v e n t s   f r o m   t w o   I S P s .   W e   d i s c u s s   h o w   w e   d e s i g n e d   a n d   d e p l o y e d   a   p r o t o t y p e   C E M   i m p l e m e n t a t i o n   a s   a n   e x t e n s i o n   t o   B i t T o r r e n t .   T h i s   s y s t e m   p e r f o r m s   o n l i n e   s e r v i c e - l e v e l   n e t w o r k   e v e n t   d e t e c t i o n   t h r o u g h   p a s s i v e   m o n i t o r i n g   a n d   c o r r e l a t i o n   o f   p e r f o r m a n c e   i n   e n d - u s e r s '   a p p l i c a t i o n s . 	 [ C h o f f n e s ,   D a v i d   R . ;   B u s t a m a n t e ,   F a b i a n   E . ]   N o r t h w e s t e r n   U n i v ,   E v a n s t o n ,   I L   6 0 2 0 8   U S A ;   [ G e ,   Z i h u i ]   A T & T   L a b s   R e s ,   M u r r a y   H i l l ,   N J   U S A 	 C h o f f n e s ,   D R   ( r e p r i n t   a u t h o r ) ,   N o r t h w e s t e r n   U n i v ,   E v a n s t o n ,   I L   6 0 2 0 8   U S A . 	 d r c h o f f n e s @ e e c s . n o r t h w e s t e r n . e d u ;   f a b i a n b @ e e c s . n o r t h w e s t e r n . e d u ;   g e z i h u i @ r e s e a r c h . a t t . c o m 	 B u s t a m a n t e ,   F a b i a n / B - 7 1 1 2 - 2 0 0 9 ;   B u s t a m a n t e ,   F a b i a n / E - 8 8 8 8 - 2 0 1 3 	 	 	 	 A n d e r s e n   D ,   2 0 0 1 ,   P   A C M   S O S P ;   C a s a d o   M . ,   2 0 0 5 ,   P   H O T N E T S ;   C A S T R O   M ,   2 0 0 2 ,   P   U S E N I X   O S D I ;   C h e n   K . ,   2 0 0 9 ,   P   A C M   C O N E X T ;   C H E N   X ,   2 0 0 8 ,   P   U S E N I X   O S D I ;   C H O F F N E S   D ,   2 0 1 0 ,   C O M P U T   C O M M U N   R E V ,   V 4 0 ,   P 2 ;   C h o f f n e s   D . R . ,   2 0 0 8 ,   P   A C M   S I G C O M M ;   C O O K E   E ,   2 0 0 6 ,   P   U S E N I X   A T C ;   D A S H   D ,   2 0 0 6 ,   P   A A A I ;   D I S C H I N G E R   M . ,   2 0 1 0 ,   P   U S E N I X   N S D I ;   F e a m s t e r   N . ,   2 0 0 3 ,   P   A C M   S I G M E T R I C S ;   I A N N A C C O N E   G ,   2 0 0 2 ,   P   A C M   I M W ;   I S D A L   T ,   2 0 0 7 ,   P   P A M ;   K a n d u l a   S . ,   2 0 0 9 ,   P   A C M   S I G C O M M ;   K a t z - B a s s e t t   E . ,   2 0 0 8 ,   P   U S E N I X   N S D I ;   L a b o v i t z   C . ,   1 9 9 8 ,   C S E T R 3 8 2 9 8   U   M I C H ;   L a k h i n a   A . ,   2 0 0 4 ,   P   A C M   S I G C O M M ;   M a d h y a s t h a   H . ,   2 0 0 6 ,   P   U S E N I X   O S D I ;   M a h a j a n   R . ,   2 0 0 2 ,   P   A C M   S I G C O M M ;   M A H A J A N   R ,   2 0 0 8 ,   P   U S E N I X   N S D I ;   M a h i m k a r   A . ,   2 0 0 9 ,   P   A C M   S I G C O M M ;   M a y m o u n k o v   P . ,   2 0 0 2 ,   P   I P T P S ;   M I L L E R   G D ,   1 9 6 8 ,   C O M M U N   A C M ,   V 1 1 ,   P 9 ;   P A D M A N A B H A N   V N ,   2 0 0 5 ,   P   I P T P S ;   R A B I N O V I C H   M ,   2 0 0 6 ,   P   I E E E   I N F O C O M ;   R I N G B E R G   H ,   2 0 0 8 ,   C O M P U T   C O M M U N   R E V ,   V 3 8 ,   P 1 ;   R O U G H A N   M ,   2 0 0 4 ,   P   A C M   S I G C O M M   W O R K S H ;   S C H U L Z E   H ,   2 0 0 9 ,   I N T E R N E T   S T U D Y   2 0 0 8 ;   S H A V I T T   Y ,   2 0 0 5 ,   C O M P U T   C O M M U N   R E V ,   V 3 5 ,   P 5 ;   S i m p s o n   J r   C .   R . ,   2 0 0 4 ,   P   P A M ;   V O N A H N   L ,   2 0 0 9 ,   P   D A C ;   W u   J . ,   2 0 0 5 ,   P   U S E N I X   N S D I ;   Z h a n g   M . ,   2 0 0 4 ,   P   U S E N I X   O S D I ;   Z H A N G   Y ,   2 0 0 8 ,   P   U S E N I X   N S D I 	 3 4 	 5 	 5 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 2   P E N N   P L A Z A ,   S T E   7 0 1 ,   N E W   Y O R K ,   N Y   1 0 1 2 1 - 0 7 0 1   U S A 	 0 1 4 6 - 4 8 3 3 	 1 9 4 3 - 5 8 1 9 	 	 A C M   S I G C O M M   C O M P   C O M 	 A C M   S I G C O M M   C o m p .   C o m m u n .   R e v . 	 O C T 	 2 0 1 0 	 4 0 	 4 	 	 	 	 	 3 8 7 	 3 9 8 	 	 1 0 . 1 1 4 5 / 1 8 5 1 2 7 5 . 1 8 5 1 2 2 8 	 	 1 2 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 6 8 8 U Q 	 W O S : 0 0 0 2 8 4 8 7 9 8 0 0 0 3 4 	 	 
 J 	 F r i e n d ,   S 	 	 	 	 F r i e n d ,   S t e p h e n 	 	 	 C r o w d s o u r c i n g   D r u g   D i s c o v e r y 	 S C I E N T I S T 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 	 	 	 [ F r i e n d ,   S t e p h e n ]   M e r c k   &   C o   I n c ,   M o l   P r o f i l i n g   &   C a n c   R e s ,   W h i t e h o u s e   S t n ,   N J   U S A 	 	 	 	 	 	 	 	 0 	 1 	 1 	 S C I E N T I S T   I N C 	 P H I L A D E L P H I A 	 4 0 0   M A R K E T   S T ,   S T E   1 2 5 0 ,   P H I L A D E L P H I A ,   P A   1 9 1 0 6   U S A 	 0 8 9 0 - 3 6 7 0 	 	 	 S C I E N T I S T 	 S c i e n t i s t 	 S E P 	 2 0 1 0 	 2 4 	 9 	 	 	 	 	 3 2 	 3 2 	 	 	 	 1 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e ;   M u l t i d i s c i p l i n a r y   S c i e n c e s 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e ;   S c i e n c e   &   T e c h n o l o g y   -   O t h e r   T o p i c s 	 6 4 4 P J 	 W O S : 0 0 0 2 8 1 3 9 1 6 0 0 0 1 7 	 	 
 J 	 W i l l i a m s ,   A J 	 	 	 	 W i l l i a m s ,   A n t o n y   J . 	 	 	 H o w   c o m m u n i t y   c r o w d s o u r c i n g   a n d   s o c i a l   n e t w o r k i n g   i s   h e l p i n g   t o   b u i l d   a   q u a l i t y   o n l i n e   r e s o u r c e   f o r   c h e m i s t s 	 A B S T R A C T S   O F   P A P E R S   O F   T H E   A M E R I C A N   C H E M I C A L   S O C I E T Y 	 	 	 E n g l i s h 	 M e e t i n g   A b s t r a c t 	 	 	 	 	 	 	 	 	 [ W i l l i a m s ,   A n t o n y   J . ]   R o y a l   S o c   C h e m ,   W a k e   F o r e s t ,   N C   U S A 	 	 	 	 	 	 	 	 0 	 0 	 0 	 A M E R   C H E M I C A L   S O C 	 W A S H I N G T O N 	 1 1 5 5   1 6 T H   S T ,   N W ,   W A S H I N G T O N ,   D C   2 0 0 3 6   U S A 	 0 0 6 5 - 7 7 2 7 	 	 	 A B S T R   P A P   A M   C H E M   S 	 A b s t r .   P a p .   A m .   C h e m .   S o c . 	 A U G   2 2 	 2 0 1 0 	 2 4 0 	 	 	 	 	 1 5 - C H E D 	 	 	 	 	 	 1 	 C h e m i s t r y ,   M u l t i d i s c i p l i n a r y 	 C h e m i s t r y 	 V 2 0 U K 	 W O S : 0 0 0 2 0 8 1 6 4 7 0 1 1 7 7 	 	 
 J 	 C o r n e y ,   J R ;   T o r r e s - S a n c h e z ,   C ;   J a g a d e e s a n ,   A P ;   Y a n ,   X T ;   R e g l i ,   W C ;   M e d e l l i n ,   H 	 	 	 	 C o r n e y ,   J .   R . ;   T o r r e s - S a n c h e z ,   C . ;   J a g a d e e s a n ,   A .   P . ;   Y a n ,   X .   T . ;   R e g l i ,   W .   C . ;   M e d e l l i n ,   H . 	 	 	 P u t t i n g   t h e   c r o w d   t o   w o r k   i n   a   k n o w l e d g e - b a s e d   f a c t o r y 	 A D V A N C E D   E N G I N E E R I N G   I N F O R M A T I C S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   M a c h i n e   l e a r n i n g ;   G e o m e t r i c   r e a s o n i n g ;   C a n o n i c a l   v i e w s ;   S h a p e   s i m i l a r i t y ;   2 D   n e s t i n g 	 D E S I G N ;   M O D E L S ;   P A R T S ;   R E U S E 	 A l t h o u g h   r e s e a r c h e r s   h a v e   d e v e l o p e d   n u m e r o u s   c o m p u t a t i o n a l   a p p r o a c h e s   t o   r e a s o n i n g   a n d   k n o w l e d g e   r e p r e s e n t a t i o n ,   t h e i r   i m p l e m e n t a t i o n s   a r e   a l w a y s   l i m i t e d   t o   s p e c i f i c   a p p l i c a t i o n s   ( e . g   a s s e m b l y   p l a n n i n g ,   f a u l t   d i a g n o s i s   o r   p r o d u c t i o n   s c h e d u l i n g )   f o r   w h i c h   b e s p o k e   k n o w l e d g e   b a s e s   o r   a l g o r i t h m s   h a v e   b e e n   c r e a t e d   H o w e v e r ,   " c l o u d   c o m p u t i n g "   h a s   m a d e   i r r e l e v a n t   b o t h   t h e   p h y s i c a l   l o c a t i o n   a n d   i n t e r n a l   p r o c e s s e s   u s e d   b y   m a c h i n e   i n t e l l i g e n c e   I n   o t h e r   w o r d s ,   t h e   I n t e r n e t   e n c o u r a g e s   f u n c t i o n a l   p r o c e s s e s   t o   b e   t r e a t e d   a s   ' b l a c k   b o x e s '   w i t h   w h i c h   u s e r s   n e e d   o n l y   b e   c o n c e r n e d   w i t h   p o s i n g   t h e   r i g h t   q u e s t i o n   a n d   i n t e r p r e t i n g   t h e   r e s p o n s e   T h e   s y s t e m   a s k i n g   t h e   q u e s t i o n s   d o e s   n o t   n e e d   t o   k n o w   h o w   a n s w e r s   a r e   g e n e r a t e d ,   o n l y   t h a t   t h e y   a r e   a v a i l a b l e   i n   a n   a p p r o p r i a t e   t i m e   f r a m e   T h i s   p a p e r   p r o p o s e s   t h a t   C r o w d s o u r c i n g   c o u l d   p r o v i d e   o n - l i n e ,   ' b l a c k - b o x ' ,   r e a s o n i n g   c a p a b i l i t i e s   t h a t   c o u l d   f a r   e x c e e d   t h e   c a p a b i l i t i e s   o f   c u r r e n t   A l   t e c h n o l o g i e s   ( r e   g e n e t i c   a l g o r i t h m s ,   n e u r a l - n e t s ,   c a s e - b a s e d   r e a s o n i n g )   i n   t e r m s   o f   f l e x i b i l i t y   a n d   s c o p e .   T h i s   p a p e r   d e s c r i b e s   h o w   C r o w d s o u r c i n g   h a s   b e e n   d e p l o y e d   i n   t h r e e   d i f f e r e n t   r e a s o n i n g   s c e n a r i o s   t o   c a r r y   o u t   i n d u s t r i a l   t a s k s   t h a t   i n v o l v e   s i g n i f i c a n t   a m o u n t s   o f   t a c i t   ( e . g   u n f o r m a l i s e d )   k n o w l e d g e .   T h e   f i r s t   s t u d y   r e p o r t s   t h e   a p p l i c a t i o n   o f   C r o w d s o u r c i n g   t o   i d e n t i f y   c a n o n i c a l   v i e w   o f   3 D   C A D   m o d e l s .   T h e   q u a l i t a t i v e   r e s u l t s   s u g g e s t   t h a t   t h e   a n o n y m o u s ,   I n t e r n e t ,   w o r k f o r c e   h a v e   a   g o o d   c o m p r e h e n s i o n   o f   3 D   g e o m e t r y   H a v i n g   e s t a b l i s h e d   t h i s   b a s i c   c o m p e t e n c e   t h e   s e c o n d   e x p e r i m e n t   a s s e s s e s   t h e   C r o w d ' s   a b i l i t y   t o   j u d g e   t h e   s i m i l a r i t y   o f   3 D   c o m p o n e n t s   C o m p a r i s o n   o f   t h e   r e s u l t s   w i t h   p u b l i s h e d   b e n c h m a r k s   s h o w s   a   h i g h   d e g r e e   o f   c o r r e s p o n d e n c e   L a s t l y   t h e   p e r f o r m a n c e   o f   t h e   I n t e r n e t   l a b o u r e r s   i s   q u a n t i f i e d   i n   a   2 D   n e s t i n g   t a s k ,   w h e r e   t h e i r   p e r f o r m a n c e   i s   f o u n d   t o   b e   s u p e r i o r   t o   r e p o r t e d   c o m p u t a t i o n a l   a l g o r i t h m s   I n   a l l   t h e s e   c a s e s   r e s u l t s   w e r e   r e t u r n e d   w i t h i n   a   c o u p l e   o f   h o u r s   a n d   t h e   p a p e r   c o n c l u d e s   t h a t   t h e r e   i s   p o t e n t i a l   f o r   b r o a d   a p p l i c a t i o n   o f   C r o w d s o u r c i n g   t o   g e o m e t r i c   p r o b l e m   s o l v i n g   i n   C A D / C A M .   ( C )   2 0 1 0   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ C o r n e y ,   J .   R . ;   T o r r e s - S a n c h e z ,   C . ;   J a g a d e e s a n ,   A .   P . ;   Y a n ,   X .   T . ]   U n i v   S t r a t h c l y d e ,   D e p t   D e s i g n   M f g   &   E n g n   M a n a g e m e n t ,   G l a s g o w   G 1   1 X J ,   L a n a r k ,   S c o t l a n d ;   [ R e g l i ,   W .   C . ]   D r e x e l   U n i v ,   D e p t   C o m p   S c i ,   P h i l a d e l p h i a ,   P A   1 9 1 0 4   U S A ;   [ M e d e l l i n ,   H . ]   U n i v   A u t o n o m a   S a n   L u i s   P o t o s i ,   A r e a   M e c a n   &   E l e c t ,   S a n   L u i s   P o t o s i ,   M e x i c o 	 C o r n e y ,   J R   ( r e p r i n t   a u t h o r ) ,   U n i v   S t r a t h c l y d e ,   D e p t   D e s i g n   M f g   &   E n g n   M a n a g e m e n t ,   7 5   M o n t r o s e   S t ,   G l a s g o w   G 1   1 X J ,   L a n a r k ,   S c o t l a n d . 	 	 z o n g ,   f i c o / H - 4 6 7 7 - 2 0 1 1 ;   T o r r e s - S a n c h e z ,   C a r m e n / A - 8 2 1 3 - 2 0 1 0 	 	 	 	 A L B A N O   A ,   1 9 8 0 ,   I E E E   T   S Y S T   M A N   C Y B ,   V 1 0 ,   P 2 4 2 ,   D O I   1 0 . 1 1 0 9 / T S M C . 1 9 8 0 . 4 3 0 8 4 8 3 ;   A l o n s o   O ,   2 0 0 9 ,   P R O C E E D I N G S   3 2 N D   A N N U A L   I N T E R N A T I O N A L   A C M   S I G I R   C O N F E R E N C E   O N   R E S E A R C H   A N D   D E V E L O P M E N T   I N   I N F O R M A T I O N   R E T R I E V A L ,   P 7 6 0 ,   D O I   1 0 . 1 1 4 5 / 1 5 7 1 9 4 1 . 1 5 7 2 1 1 5 ;   A l v a   U ,   2 0 0 1 ,   R O B O T   C I M - I N T   M A N U F ,   V 1 7 ,   P 3 3 ,   D O I   1 0 . 1 0 1 6 / S 0 7 3 6 - 5 8 4 5 ( 0 0 ) 0 0 0 3 5 - 1 ;   B r a b h a m   D .   C . ,   2 0 0 8 ,   1   M O N D A Y ,   V 1 3 ;   C a l l i s o n - B u r c h   C . ,   2 0 0 9 ,   P   2 0 0 9   C   E M P   M E T H   N A ,   P 2 8 6 ;   C h a n   S C F ,   1 9 9 8 ,   C O M P U T   N E T W O R K S   I S D N ,   V 3 0 ,   P 1 8 5 3 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 9 - 7 5 5 2 ( 9 8 ) 0 0 2 1 3 - X ;   C o r n e y   J o n a t h a n   R . ,   2 0 1 0 ,   I N T   J   I N N O V A T I O N   S U S ,   V 4 ,   P 2 9 4 ;   D u f f y   A H B ,   1 9 9 7 ,   I E E E   I N T E L L   S Y S T   A P P ,   V 1 2 ,   P 7 1 ,   D O I   1 0 . 1 1 0 9 / 6 4 . 5 9 0 0 7 9 ;   G o l o v i n s k i y   A . ,   2 0 0 6 ,   A C M   T   G R A P H I C ,   P 1 0 2 5 ,   D O I   1 0 . 1 1 4 5 / 1 1 7 9 3 5 2 . 1 1 4 1 9 8 8 ;   H o w e   J . ,   2 0 1 3 ,   R I S E   C R O W D S O U R C I N G ;   J A G A D E E S A N   A P ,   2 0 1 0 ,   P   E U R O G R A P H I C S   W O R K S ;   J A G A D E E S A N   P ,   2 0 0 9 ,   I N T   C   P R O D   L I F   M A N   B ;   J A G A D E E S A N   P ,   2 0 0 9 ,   2 0 0 9   S I A M   A C M   J O I N T ;   J a y a n t i   S ,   2 0 0 6 ,   C O M P U T   A I D E D   D E S I G N ,   V 3 8 ,   P 9 3 9 ,   D O I   1 0 . 1 0 1 6 / j . c a d . 2 0 0 6 . 0 6 . 0 0 7 ;   K i t t u r   A . ,   2 0 0 8 ,   P   2 6   A N N   S I G C H I   C   H U ;   K O S T A K O S   V ,   2 0 0 9 ,   I N T   S   S O C   I N T   N E T W   S ;   M I G U E L   G A ,   2 0 0 6 ,   E U R   J   O P E R   R E S ,   V 1 7 1 ,   P 8 1 1 ;   M u l a   J ,   2 0 0 6 ,   I N T   J   P R O D   E C O N ,   V 1 0 3 ,   P 2 7 1 ,   D O I   1 0 . 1 0 1 6 / j . i j p e . 2 0 0 5 . 0 9 . 0 0 1 ;   P u c h i n g e r   J ,   2 0 0 7 ,   E U R   J   O P E R   R E S ,   V 1 8 3 ,   P 1 3 0 4 ,   D O I   1 0 . 1 0 1 6 / j . e j o r . 2 0 0 5 . 1 1 . 0 6 4 ;   R e a   H J ,   2 0 0 6 ,   I N T   J   A D V   M A N U F   T E C H ,   V 3 0 ,   P 9 5 2 ,   D O I   1 0 . 1 0 0 7 / s 0 0 1 7 0 - 0 0 5 - 0 0 6 8 - z ;   S U N G   R ,   J   E N G   D E S I G N ;   T a n g e l d e r   J H ,   2 0 0 8 ,   M U L T I M E D   T O O L S   A P P L ,   V 3 9 ,   P 4 4 1 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 4 2 - 0 0 7 - 0 1 8 1 - 0 ;   W a n g   J L ,   2 0 0 8 ,   A D V   E N G   I N F O R M ,   V 2 2 ,   P 3 8 5 ,   D O I   1 0 . 1 0 1 6 / j . a e i . 2 0 0 8 . 0 4 . 0 0 1 ;   X i e   S Q ,   2 0 0 7 ,   I N T   J   C O M P U T   I N T E G   M ,   V 2 0 ,   P 7 4 1 ,   D O I   1 0 . 1 0 8 0 / 0 9 5 1 1 9 2 0 6 0 0 9 9 6 4 0 1 	 2 4 	 5 	 5 	 E L S E V I E R   S C I   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   O X O N ,   E N G L A N D 	 1 4 7 4 - 0 3 4 6 	 	 	 A D V   E N G   I N F O R M 	 A d v .   E n g .   I n f o r m . 	 A U G 	 2 0 1 0 	 2 4 	 3 	 	 	 	 	 2 4 3 	 2 5 0 	 	 1 0 . 1 0 1 6 / j . a e i . 2 0 1 0 . 0 5 . 0 1 1 	 	 8 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   E n g i n e e r i n g ,   M u l t i d i s c i p l i n a r y 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 6 3 3 N X 	 W O S : 0 0 0 2 8 0 5 1 0 9 0 0 0 0 2 	 	 
 J 	 P e r o n a ,   P 	 	 	 	 P e r o n a ,   P i e t r o 	 	 	 V i s i o n   o f   a   V i s i p e d i a 	 P R O C E E D I N G S   O F   T H E   I E E E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   i m a g e   u n d e r s t a n d i n g ;   m a c h i n e   l e a r n i n g ;   m a c h i n e   v i s i o n ;   V i s i p e d i a ;   v i s u a l   r e c o g n i t i o n ;   W i k i p e d i a 	 R E C O G N I T I O N ;   D A T A B A S E ;   O B J E C T S ;   I M A G E S ;   S C E N E 	 T h e   w e b   i s   n o t   p e r f e c t :   w h i l e   t e x t   i s   e a s i l y   s e a r c h e d   a n d   o r g a n i z e d ,   p i c t u r e s   ( t h e   v a s t   m a j o r i t y   o f   t h e   b i t s   t h a t   o n e   c a n   f i n d   o n l i n e )   a r e   n o t .   I n   o r d e r   t o   s e e   h o w   o n e   c o u l d   i m p r o v e   t h e   w e b   a n d   m a k e   p i c t u r e s   f i r s t - c l a s s   c i t i z e n s   o f   t h e   w e b ,   I   e x p l o r e   t h e   i d e a   o f   V i s i p e d i a ,   a   v i s u a l   i n t e r f a c e   f o r   W i k i p e d i a   t h a t   i s   a b l e   t o   a n s w e r   v i s u a l   q u e r i e s   a n d   e n a b l e s   e x p e r t s   t o   c o n t r i b u t e   a n d   o r g a n i z e   v i s u a l   k n o w l e d g e .   F i v e   d i s t i n c t   g r o u p s   o f   h u m a n s   w o u l d   i n t e r a c t   t h r o u g h   V i s i p e d i a :   u s e r s ,   e x p e r t s ,   e d i t o r s ,   v i s u a l   w o r k e r s ,   a n d   m a c h i n e   v i s i o n   s c i e n t i s t s .   T h e   l a t t e r   w o u l d   g r a d u a l l y   b u i l d   a u t o m a t a   a b l e   t o   i n t e r p r e t   i m a g e s .   I   e x p l o r e   s o m e   o f   t h e   t e c h n i c a l   c h a l l e n g e s   i n v o l v e d   i n   m a k i n g   V i s i p e d i a   h a p p e n .   I   a r g u e   t h a t   V i s i p e d i a   w i l l   l i k e l y   g r o w   o r g a n i c a l l y ,   c o m b i n i n g   s t a t e - o f - t h e - a r t   m a c h i n e   v i s i o n   w i t h   h u m a n   l a b o r . 	 C A L T E C H ,   P a s a d e n a ,   C A   9 1 1 2 5   U S A 	 P e r o n a ,   P   ( r e p r i n t   a u t h o r ) ,   C A L T E C H ,   P a s a d e n a ,   C A   9 1 1 2 5   U S A . 	 p e r o n a @ c a l t e c h . e d u 	 	 	 C a l i f o r n i a   I n s t i t u t e   o f   T e c h n o l o g y   ( C a l t e c h ) ;   O f f i c e   o f   N a v a l   R e s e a r c h   ( O N R )   U n i v e r s i t y   R e s e a r c h   I n i t i a t i v e   ( M U R I )   [ N 0 0 0 1 4 - 0 6 - 1 - 0 7 3 4 ] 	 T h i s   w o r k   w a s   s u p p o r t e d   b y   t h e   C a l i f o r n i a   I n s t i t u t e   o f   T e c h n o l o g y   ( C a l t e c h )   a n d   b y   t h e   O f f i c e   o f   N a v a l   R e s e a r c h   ( O N R )   U n i v e r s i t y   R e s e a r c h   I n i t i a t i v e   ( M U R I )   u n d e r   G r a n t   N 0 0 0 1 4 - 0 6 - 1 - 0 7 3 4 . 	 B a r n a r d   K ,   2 0 0 3 ,   J   M A C H   L E A R N   R E S ,   V 3 ,   P 1 1 0 7 ,   D O I   1 0 . 1 1 6 2 / 1 5 3 2 4 4 3 0 3 3 2 2 5 3 3 2 1 4 ;   B A R R O N   J L ,   1 9 9 4 ,   I N T   J   C O M P U T   V I S I O N ,   V 1 2 ,   P 4 3 ,   D O I   1 0 . 1 0 0 7 / B F 0 1 4 2 0 9 8 4 ;   B E L H U M E U R   P N ,   2 0 0 8 ,   P   E U R   C   C O M P   V I S ,   P 1 1 6 ;   B l a n c h a r d   G ,   2 0 0 5 ,   A N N   S T A T ,   V 3 3 ,   P 1 1 5 5 ,   D O I   1 0 . 1 2 1 4 / 0 0 9 0 5 3 6 0 5 0 0 0 0 0 0 1 7 4 ;   B r a d s k i   G . ,   2 0 0 8 ,   L E A R N I N G   O P E N C V   C O M P ;   B u s h   V ,   1 9 4 5 ,   A T L A N T I C   M O N T H L Y ,   V 1 7 6 ,   P 1 0 1 ;   D a l a l   N ,   2 0 0 5 ,   P R O C   C V P R   I E E E ,   P 8 8 6 ;   D a n k e r t   H ,   2 0 0 9 ,   N A T   M E T H O D S ,   V 6 ,   P 2 9 7 ,   D O I   [ 1 0 . 1 0 3 8 / n m e t h . 1 3 1 0 ,   1 0 . 1 0 3 8 / N M E T H . 1 3 1 0 ] ;   D e n g   J ,   2 0 0 9 ,   P R O C   C V P R   I E E E ,   P 2 4 8 ;   D o l l a r   P ,   2 0 0 9 ,   P R O C   C V P R   I E E E ,   P 3 0 4 ;   F a r h a d i   A ,   2 0 0 9 ,   P R O C   C V P R   I E E E ,   P 1 7 7 8 ;   F e i - F e i   L ,   2 0 0 7 ,   J   V I S I O N ,   V 7 ,   D O I   1 0 . 1 1 6 7 / 7 . 1 . 1 0 ;   F e i - F e i   L ,   2 0 0 5 ,   P R O C   C V P R   I E E E ,   P 5 2 4 ;   F e i - F e i   L i ,   2 0 0 6 ,   I E E E   T r a n s   P a t t e r n   A n a l   M a c h   I n t e l l ,   V 2 8 ,   P 5 9 4 ;   F e r g u s   R . ,   2 0 0 5 ,   P r o c e e d i n g s .   T e n t h   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m p u t e r   V i s i o n ;   G O M E S   R ,   2 0 0 8 ,   P   I E E E   C O M P   S O C   C   C O ,   D O I   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 0 8 . 4 5 8 7 3 7 0 ;   G R I F F I N   G ,   2 0 0 7 ,   C N S T R 2 0 0 7 0 0 1 ;   G R I F F I N   G ,   2 0 0 8 ,   P   I E E E   C O M P   S O C   C   C O ,   D O I   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 0 8 . 4 5 8 7 4 1 0 ;   G u p t a   S . ,   2 0 0 8 ,   P   E U R   C   M A C H   L E A R N   P ,   P 4 5 7 ;   H a n   F ,   2 0 0 9 ,   I E E E   T   P A T T E R N   A N A L ,   V 3 1 ,   P 5 9 ,   D O I   [ 1 0 . 1 1 0 9 / T P A M I . 2 0 0 8 . 6 5 ,   1 0 . 1 1 0 9 / T P A M I . 2 0 0 8 . 5 5 ] ;   H o i e m   D ,   2 0 0 8 ,   I N T   J   C O M P U T   V I S I O N ,   V 8 0 ,   P 3 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 6 3 - 0 0 8 - 0 1 3 7 - 5 ;   H O L U B   A D ,   2 0 0 8 ,   P   I E E E   C   C O M P   V I S   P A ,   D O I   D O I   1 0 . 1 1 0 9 / C V P R W . 2 0 0 8 . 4 5 6 3 0 6 8 ;   I k i z l e r   N ,   2 0 0 8 ,   I N T   J   C O M P U T   V I S I O N ,   V 8 0 ,   P 3 3 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 6 3 - 0 0 8 - 0 1 4 2 - 8 ;   J a i n   P . ,   2 0 0 8 ,   P   N E U R   I N F   P R O C   S Y S T ,   P 7 6 1 ;   K A P O O R   A ,   2 0 0 7 ,   P   I N T   C   C O M P   V I S   O C T ,   D O I   D O I   1 0 . 1 1 0 9 / I C C V . 2 0 0 7 . 4 4 0 8 8 4 4 ;   L a m p e r t   C H ,   2 0 0 9 ,   P R O C   C V P R   I E E E ,   P 9 5 1 ;   L I   L J ,   2 0 0 7 ,   P   I E E E   C O M P   V I S   P A T T ,   D O I   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 0 7 . 3 8 3 0 4 8 ;   L O N G U E T H I G G I N S   H C ,   1 9 8 1 ,   N A T U R E ,   V 2 9 3 ,   P 1 3 3 ,   D O I   1 0 . 1 0 3 8 / 2 9 3 1 3 3 a 0 ;   L o w e   D G ,   2 0 0 4 ,   I N T   J   C O M P U T   V I S I O N ,   V 6 0 ,   P 9 1 ,   D O I   1 0 . 1 0 2 3 / B : V I S I . 0 0 0 0 0 2 9 6 6 4 . 9 9 6 1 5 . 9 4 ;   M A L I S I E W I C Z   T . ,   2 0 0 9 ,   P   N E U R   I N F   P R O C   S Y S T ;   M a r r   D . ,   1 9 8 2 ,   V I S I O N ;   N I L S B A C K   M E ,   2 0 0 8 ,   P   I N D   C   C O M P   V I S   G R A ,   P 7 2 2 ;   R e n   X F ,   2 0 0 8 ,   I N T   J   C O M P U T   V I S I O N ,   V 7 7 ,   P 4 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 6 3 - 0 0 7 - 0 0 9 2 - 6 ;   R o t h e r   C ,   2 0 0 4 ,   A C M   T   G R A P H I C ,   V 2 3 ,   P 3 0 9 ,   D O I   1 0 . 1 1 4 5 / 1 0 1 5 7 0 6 . 1 0 1 5 7 2 0 ;   R u s s e l l   B C ,   2 0 0 8 ,   I N T   J   C O M P U T   V I S I O N ,   V 7 7 ,   P 1 5 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 6 3 - 0 0 7 - 0 0 9 0 - 8 ;   S c h a r s t e i n   D . ,   2 0 0 2 ,   I N T   J   C O M P U T   V I S I O N ,   V 1 - 3 ,   P 7 ;   S i v i c   J ,   2 0 0 6 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 1 7 0 ,   P 1 2 7 ;   S O R O K I N   A ,   2 0 0 8 ,   P   I E E E   C   C O M P   V I S   P A ,   D O I   D O I   1 0 . 1 1 0 9 / C V P R W . 2 0 0 8 . 4 5 6 2 9 5 3 ;   S P A I N   M ,   2 0 0 8 ,   P   E U R   C   C O M P   V I S ,   P 5 2 3 ;   T u   Z W ,   2 0 0 5 ,   I N T   J   C O M P U T   V I S I O N ,   V 6 3 ,   P 1 1 3 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 6 3 - 0 0 5 - 6 6 4 2 - x ;   V a r m a   M ,   2 0 0 5 ,   I N T   J   C O M P U T   V I S I O N ,   V 6 2 ,   P 6 1 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 6 3 - 0 0 5 - 4 6 3 5 - 4 ;   V E D A L D I   A ,   V L F E A T   O P E N   S O U R C E   C ;   V i j a y a n a r a s i m h a n   S . ,   2 0 0 8 ,   A D V   N E U R A L   I N F O R M   P R ;   V i j a y a n a r a s i m h a n   S ,   2 0 0 9 ,   P R O C   C V P R   I E E E ,   P 2 2 6 2 ;   V i o l a   P ,   2 0 0 4 ,   I N T   J   C O M P U T   V I S I O N ,   V 5 7 ,   P 1 3 7 ,   D O I   1 0 . 1 0 2 3 / B : V I S I . 0 0 0 0 0 1 3 0 8 7 . 4 9 2 6 0 . f b ;   v o n   A h n   L . ,   2 0 0 6 ,   I E E E   C O M P U T E R   M A G A Z I ,   V 3 9 ,   P 9 6 ;   W e b e r   M ,   2 0 0 0 ,   P   E U R   C   C O M P   V I S ,   P 1 8 ;   W E L I N D E R   P ,   2 0 1 0 ,   P   W O R K S H   A D V   C O M P   V I ,   P 1 ;   W i n c h e s t e r   S i m o n ,   1 9 9 8 ,   P R O F E S S O R   M A D M A N   T A L 	 4 9 	 4 	 4 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 0 0 1 8 - 9 2 1 9 	 	 	 P   I E E E 	 P r o c .   I E E E 	 A U G 	 2 0 1 0 	 9 8 	 8 	 	 	 S I 	 	 1 5 2 6 	 1 5 3 4 	 	 1 0 . 1 1 0 9 / J P R O C . 2 0 1 0 . 2 0 4 9 6 2 1 	 	 9 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 E n g i n e e r i n g 	 6 7 0 I A 	 W O S : 0 0 0 2 8 3 4 1 3 4 0 0 0 1 2 	 	 
 J 	 B e r n s t e i n ,   M S ;   T a n ,   D ;   S m i t h ,   G ;   C z e r w i n s k i ,   M ;   H o r v i t z ,   E 	 	 	 	 B e r n s t e i n ,   M i c h a e l   S . ;   T a n ,   D e s n e y ;   S m i t h ,   G r e g ;   C z e r w i n s k i ,   M a r y ;   H o r v i t z ,   E r i c 	 	 	 P e r s o n a l i z a t i o n   v i a   F r i e n d s o u r c i n g 	 A C M   T R A N S A C T I O N S   O N   C O M P U T E R - H U M A N   I N T E R A C T I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 S o c i a l   c o m p u t i n g ;   s o c i a l   t a g g i n g ;   h u m a n   c o m p u t a t i o n ;   f r i e n d s o u r c i n g 	 C O M P U T E R - M E D I A T E D   C O M M U N I C A T I O N 	 W h e n   i n f o r m a t i o n   i s   k n o w n   o n l y   t o   f r i e n d s   i n   a   s o c i a l   n e t w o r k ,   t r a d i t i o n a l   c r o w d s o u r c i n g   m e c h a n i s m s   s t r u g g l e   t o   m o t i v a t e   a   l a r g e   e n o u g h   u s e r   p o p u l a t i o n   a n d   t o   e n s u r e   a c c u r a c y   o f   t h e   c o l l e c t e d   i n f o r m a t i o n .   W e   t h u s   i n t r o d u c e   f r i e n d s o u r c i n g ,   a   f o r m   o f   c r o w d s o u r c i n g   a i m e d   a t   c o l l e c t i n g   a c c u r a t e   i n f o r m a t i o n   a v a i l a b l e   o n l y   t o   a   s m a l l ,   s o c i a l l y - c o n n e c t e d   g r o u p   o f   i n d i v i d u a l s .   O u r   a p p r o a c h   t o   f r i e n d s o u r c i n g   i s   t o   d e s i g n   s o c i a l l y   e n j o y a b l e   i n t e r a c t i o n s   t h a t   p r o d u c e   t h e   d e s i r e d   i n f o r m a t i o n   a s   a   s i d e   e f f e c t .   W e   f o c u s   o u r   a n a l y s i s   a r o u n d   C o l l a b i o ,   a   n o v e l   s o c i a l   t a g g i n g   g a m e   t h a t   w e   d e v e l o p e d   t o   e n c o u r a g e   f r i e n d s   t o   t a g   o n e   a n o t h e r   w i t h i n   a n   o n l i n e   s o c i a l   n e t w o r k .   C o l l a b i o   e n c o u r a g e s   f r i e n d s ,   f a m i l y ,   a n d   c o l l e a g u e s   t o   g e n e r a t e   u s e f u l   i n f o r m a t i o n   a b o u t   e a c h   o t h e r .   W e   d e s c r i b e   t h e   d e s i g n   s p a c e   o f   i n c e n t i v e s   i n   s o c i a l   t a g g i n g   g a m e s   a n d   e v a l u a t e   o u r   c h o i c e s   b y   a   c o m b i n a t i o n   o f   u s a g e   l o g   a n a l y s i s   a n d   s u r v e y   d a t a .   D a t a   a c q u i r e d   v i a   C o l l a b i o   i s   t y p i c a l l y   a c c u r a t e   a n d   a u g m e n t s   t a g s   t h a t   c o u l d   h a v e   b e e n   f o u n d   o n   F a c e b o o k   o r   t h e   W e b .   T o   c o m p l e t e   t h e   a r c   f r o m   d a t a   c o l l e c t i o n   t o   a p p l i c a t i o n ,   w e   p r o d u c e   a   t r i o   o f   p r o t o t y p e   a p p l i c a t i o n s   t o   d e m o n s t r a t e   h o w   C o l l a b i o   t a g s   c o u l d   b e   u t i l i z e d :   a n   a g g r e g a t e   t a g   c l o u d   v i s u a l i z a t i o n ,   a   p e r s o n a l i z e d   R S S   f e e d ,   a n d   a   q u e s t i o n   a n d   a n s w e r   s y s t e m .   T h e   s o c i a l   d a t a   p o w e r i n g   t h e s e   a p p l i c a t i o n s   e n a b l e s   t h e m   t o   a d d r e s s   n e e d s   p r e v i o u s l y   d i f f i c u l t   t o   s u p p o r t ,   s u c h   a s   q u e s t i o n   a n s w e r i n g   f o r   t o p i c s   c o m p r e h e n s i b l e   o n l y   t o   a   f e w   o f   a   u s e r ' s   f r i e n d s . 	 [ B e r n s t e i n ,   M i c h a e l   S . ]   M I T ,   C o m p   S c i   &   A r t i f i c i a l   I n t e l l i g e n c e   L a b ,   C a m b r i d g e ,   M A   0 2 1 3 9   U S A ;   [ T a n ,   D e s n e y ;   S m i t h ,   G r e g ;   C z e r w i n s k i ,   M a r y ;   H o r v i t z ,   E r i c ]   M i c r o s o f t   R e s ,   R e d m o n d ,   W A   9 8 0 5 2   U S A 	 B e r n s t e i n ,   M S   ( r e p r i n t   a u t h o r ) ,   M I T ,   C o m p   S c i   &   A r t i f i c i a l   I n t e l l i g e n c e   L a b ,   3 2   V a s s a r   S t ,   C a m b r i d g e ,   M A   0 2 1 3 9   U S A . 	 m b e r n s t @ c s a i l . m i t . e d u ;   d e s n e y @ m i c r o s o f t . c o m ;   g r e g s m i @ m i c r o s o f t . c o m ;   m a r y c z @ m i c r o s o f t . c o m ;   h o r v i t z @ m i c r o s o f t . c o m 	 	 	 M i c r o s o f t   R e s e a r c h ;   N a t i o n a l   S c i e n c e   F o u n d a t i o n ;   X e r o x ;   M I T 	 T h e   a u t h o r s   a r e   g r a t e f u l   f o r   f u n d i n g   f r o m   M i c r o s o f t   R e s e a r c h ,   t h e   N a t i o n a l   S c i e n c e   F o u n d a t i o n ,   a n d   X e r o x . W e   t h a n k   t h e   M i c r o s o f t   R e s e a r c h   V I B E   a n d   A S I   g r o u p s ,   a s   w e l l   a s   t h e   2 0 0 8   M i c r o s o f t   R e s e a r c h   i n t e r n s ,   f o r   h e l p i n g   u s   i m p r o v e   a n d   s p r e a d   C o l l a b i o .   M a n y   t h a n k s   a l s o   t o   R o b   M i l l e r   a n d   D a v i d   K a r g e r   a t   M I T   f o r   t h e i r   f e e d b a c k   a n d   s u p p o r t . 	 A c k e r m a n   M S ,   1 9 9 0 ,   P   A C M   C   O F F   I N F   S Y S T ,   P 3 1 ,   D O I   1 0 . 1 1 4 5 / 9 1 4 7 4 . 9 1 4 8 5 ;   B e e n e n   G . ,   2 0 0 4 ,   P   2 0 0 4   A C M   C   C O M P   S U ,   P 2 1 2 ,   D O I   1 0 . 1 1 4 5 / 1 0 3 1 6 0 7 . 1 0 3 1 6 4 2 ;   B E R N S T E I N   M ,   2 0 0 9 ,   P   A N N   A C M   S   U S   I N T   S ,   P 1 7 7 ;   B E R N S T E I N   M ,   2 0 1 0 ,   P   C   H U M   F A C T   C O M P   S Y ;   B I L L S U S   D ,   2 0 0 0 ,   P   C   I N T   U S   I N T ,   P 3 3 ,   D O I   1 0 . 1 1 4 5 / 3 2 5 7 3 7 . 3 2 5 7 6 8 ;   B r u s i l o v s k y   P . ,   2 0 0 7 ,   A D A P T I V E   W E B ;   B r y a n t   S .   L . ,   2 0 0 5 ,   P   2 0 0 5   I N T   A C M   S I G G R ,   P 1 ,   D O I   1 0 . 1 1 4 5 / 1 0 9 9 2 0 3 . 1 0 9 9 2 0 5 ;   C A B R E R A R I O S   M ,   2 0 0 2 ,   P O L Y M   C O M P O S I T E ,   V 2 3 ,   P 5 ;   C h a   M e e y o u n g ,   2 0 0 7 ,   P   7   A C M   S I G C O M M   C   I N ,   P 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 2 9 8 3 0 6 . 1 2 9 8 3 0 9 ;   C r e s s   U ,   2 0 0 6 ,   C O M M U N   R E S ,   V 3 3 ,   P 3 7 0 ,   D O I   1 0 . 1 1 7 7 / 0 0 9 3 6 5 0 2 0 6 2 9 1 4 8 1 ;   D I M I C C O   J M ,   2 0 0 7 ,   P   2 0 0 7   I N T   A C M   C   S U P ,   P 3 8 3 ,   D O I   1 0 . 1 1 4 5 / 1 3 1 6 6 2 4 . 1 3 1 6 6 8 2 ;   F A R R E L L   S ,   2 0 0 7 ,   P   2 0   A N N   A C M   S   U S   I N ,   P 9 1 ,   D O I   1 0 . 1 1 4 5 / 1 2 9 4 2 1 1 . 1 2 9 4 2 2 8 ;   G I L B E R T   E ,   2 0 0 9 ,   P   2 7   I N T   C   H U M   F A C T ,   P 2 1 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 5 1 8 7 0 1 . 1 5 1 8 7 3 6 ;   G o l d e r   S .   A . ,   2 0 0 5 ,   S T R U C T U R E   C O L L A B O R A T ;   G o s l i n g   S . ,   2 0 0 7 ,   P   I N T   C   W E B L   S O C   M E D ;   G O U L D N E R   A W ,   1 9 6 0 ,   A M   S O C I O L   R E V ,   V 2 5 ,   P 1 6 1 ,   D O I   1 0 . 2 3 0 7 / 2 0 9 2 6 2 3 ;   G R A N O V E T T E R   M ,   1 9 7 8 ,   A M   J   S O C I O L ,   V 8 3 ,   P 1 4 2 0 ,   D O I   1 0 . 1 0 8 6 / 2 2 6 7 0 7 ;   G u t w i n   C . ,   2 0 0 2 ,   C o m p u t e r   S u p p o r t e d   C o o p e r a t i v e   W o r k :   T h e   J o u r n a l   o f   C o l l a b o r a t i v e   C o m p u t i n g ,   V 1 1 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 2 1 2 7 1 5 1 7 8 4 4 ;   H a r p e r   F M ,   2 0 0 7 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 7 4 4 ,   P 1 4 8 ;   H O F F M A N N   R ,   2 0 0 9 ,   P   C   H U M   F A C T   C O M P   S Y ,   P 1 8 4 9 ,   D O I   1 0 . 1 1 4 5 / 1 5 1 8 7 0 1 . 1 5 1 8 9 8 6 ;   H o n g   L . ,   2 0 0 9 ,   P   C H I   2 0 0 9   H U M   F A C T ,   P 1 7 9 1 ,   D O I   1 0 . 1 1 4 5 / 1 5 1 8 7 0 1 . 1 5 1 8 9 7 6 ;   K a m m e r e r   Y . ,   2 0 0 9 ,   P   C H I   0 9 ,   P 6 2 5 ,   D O I   1 0 . 1 1 4 5 / 1 5 1 8 7 0 1 . 1 5 1 8 7 9 7 ;   K A R A U   S J ,   1 9 9 3 ,   J   P E R S   S O C   P S Y C H O L ,   V 6 5 ,   P 6 8 1 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 2 - 3 5 1 4 . 6 5 . 4 . 6 8 1 ;   K e r r   N .   L . ,   1 9 9 9 ,   R E S O L V I N G   S O C I A L   D I L ,   P 1 0 3 ;   K I E S L E R   S ,   1 9 8 4 ,   A M   P S Y C H O L ,   V 3 9 ,   P 1 1 2 3 ,   D O I   1 0 . 1 0 3 7 / / 0 0 0 3 - 0 6 6 X . 3 9 . 1 0 . 1 1 2 3 ;   K i t t u r   A ,   2 0 0 7 ,   P   S I G C H I   C   H U M   F A C T ,   P 4 5 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 2 4 0 6 2 4 . 1 2 4 0 6 9 8 ;   L A M P E   C ,   2 0 0 7 ,   P   S I G C H I   C   H U M   F A C T ,   P 4 3 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 2 4 0 6 2 4 . 1 2 4 0 6 9 5 ;   L a t a n e   B . ,   1 9 7 0 ,   U N R E S P O N S I V E   B Y S T A N D ;   L A T A N E   B ,   1 9 7 9 ,   J   P E R S   S O C   P S Y C H O L ,   V 3 7 ,   P 8 2 2 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 2 - 3 5 1 4 . 3 7 . 6 . 8 2 2 ;   M a r k e y   P M ,   2 0 0 0 ,   C O M P U T   H U M   B E H A V ,   V 1 6 ,   P 1 8 3 ,   D O I   1 0 . 1 0 1 6 / S 0 7 4 7 - 5 6 3 2 ( 9 9 ) 0 0 0 5 6 - 4 ;   M a r l o w   C . ,   2 0 0 6 ,   P   1 7   C   H Y P   H Y P ,   P 3 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 1 4 9 9 4 1 . 1 1 4 9 9 4 9 ;   M i l l e n   D .   R . ,   2 0 0 6 ,   P   S I G C H I   C   H U M   F A C T ,   P 1 1 1 ,   D O I   1 0 . 1 1 4 5 / 1 1 2 4 7 7 2 . 1 1 2 4 7 9 2 ;   M u l l e r   M i c h a e l   J . ,   2 0 0 7 ,   P   2 0 0 7   I N T   A C M   C   S U P ,   P 3 8 7 ,   D O I   1 0 . 1 1 4 5 / 1 3 1 6 6 2 4 . 1 3 1 6 6 8 3 ;   M U L L E R   M J ,   2 0 0 7 ,   P   I N T   A C M   C   S U P P   G R O ,   P 3 4 1 ,   D O I   1 0 . 1 1 4 5 / 1 3 1 6 6 2 4 . 1 3 1 6 6 7 6 ;   R a s h i d   A . M . ,   2 0 0 6 ,   P   S I G C H I   C   H U M   F A C T ,   P 9 5 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 1 2 4 7 7 2 . 1 1 2 4 9 1 5 ;   R E N   Y ,   2 0 0 9 ,   O R G N I Z   S T U D ,   V 2 8 ,   P 3 7 7 ;   R e s n i c k   P ,   2 0 0 2 ,   A D V   A P P   M - E ,   V 1 1 ,   P 1 2 7 ;   S T E C H E R   K ,   2 0 0 8 ,   P   I N T   C   W E B L   S O C   M E D ;   S u r o w i e c k i   J a m e s ,   2 0 0 5 ,   W I S D O M   C R O W D S ;   T O O M I M   M ,   2 0 0 8 ,   P   C   H U M   F A C T   C O M P   S Y ,   P 1 9 3 ,   D O I   1 0 . 1 1 4 5 / 1 3 5 7 0 5 4 . 1 3 5 7 0 8 6 ;   V a z i r e   S ,   2 0 0 4 ,   J   P E R S   S O C   P S Y C H O L ,   V 8 7 ,   P 1 2 3 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 8 7 . 1 . 1 2 3 ;   V i e g a s   F B ,   2 0 0 7 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 3 ,   P 1 1 2 1 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 0 7 . 7 0 5 7 7 ;   V i g   J . ,   2 0 0 9 ,   P   1 3   I N T   C   I N T   U S   I N ,   P 4 7 ;   v o n   A h n   L . ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 3 1 9 ,   D O I   1 0 . 1 1 4 5 / 9 8 5 6 9 2 . 9 8 5 7 3 3 ;   v o n   A h n   L ,   2 0 0 6 ,   C O M P U T E R ,   V 3 9 ,   P 9 2 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 6 . 1 9 6 	 4 5 	 0 	 0 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 2   P E N N   P L A Z A ,   S T E   7 0 1 ,   N E W   Y O R K ,   N Y   1 0 1 2 1 - 0 7 0 1   U S A 	 1 0 7 3 - 0 5 1 6 	 	 	 A C M   T   C O M P U T - H U M   I N T 	 A C M   T r a n s .   C o m p u t . - H u m .   I n t e r a c t . 	 M A Y 	 2 0 1 0 	 1 7 	 2 	 	 	 	 	 	 	 6 	 1 0 . 1 1 4 5 / 1 7 4 6 2 5 9 . 1 7 4 6 2 6 0 	 	 2 8 	 C o m p u t e r   S c i e n c e ,   C y b e r n e t i c s ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 6 1 8 O H 	 W O S : 0 0 0 2 7 9 3 6 4 9 0 0 0 0 1 	 	 
 J 	 P r a i n s a c k ,   B ;   W o l i n s k y ,   H 	 	 	 	 P r a i n s a c k ,   B a r b a r a ;   W o l i n s k y ,   H o w a r d 	 	 	 D i r e c t - t o - c o n s u m e r   g e n o m e   t e s t i n g :   o p p o r t u n i t i e s   f o r   p h a r m a c o g e n o m i c s   r e s e a r c h ? 	 P H A R M A C O G E N O M I C S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c r o w d s o u r c i n g ;   e t h i c s ;   p e r s o n a l   g e n o m i c s ;   p h a r m a c o g e n o m i c s   t e s t i n g 	 P E R S O N A L I Z E D   M E D I C I N E ;   H Y P E R S E N S I T I V I T Y ;   A B A C A V I R ;   H L A - B - A S T E R I S K - 5 7 0 1 	 T h i s   c o m m e n t a r y   e x a m i n e s   t h e   r o l e   t h a t   c o m m e r c i a l   p r o v i d e r s   o f   S N P - b a s e d   g e n o m e - w i d e   p e r s o n a l i z e d   r i s k   p r o f i l e s   p l a y   i n   f a c i l i t a t i n g   p h a r m a c o g e n o m i c s   r e s e a r c h .   W e   f i r s t   t a k e   a   l o o k   a t   h o w   p e r s o n a l   g e n o m i c s   s e r v i c e s ,   e x e m p l i f i e d   b y   t h e   c o m p a n y   2 3 a n d M e ,   c o m m u n i c a t e   i n f o r m a t i o n   o n   d r u g   r e s p o n s e   t o   c u s t o m e r s .   W e   t h e n   d i s c u s s   t h e   m o s t   i m p o r t a n t   b e n e f i t s   a n d   i s s u e s   w e   s e e   a r i s i n g   w i t h   t h e   i d e a   o f   ' c r o w d s o u r c i n g '   p h a r m a c o g e n o m i c s   r e s e a r c h   v i a   c o m m e r c i a l   g e n o m e - s c a n   p r o v i d e r s .   W e   c o n c l u d e   w i t h   a   b r i e f   v i s i o n   f o r   t h e   f u t u r e . 	 [ P r a i n s a c k ,   B a r b a r a ]   K i n g s   C o l l   L o n d o n ,   C t r   B i o m e d   &   S o c   C B A S ,   L o n d o n   W C 2 R   2 L S ,   E n g l a n d ;   [ W o l i n s k y ,   H o w a r d ]   N o r t h w e s t e r n   U n i v ,   M e d i l l   S c h   J o u r n a l i s m ,   C h i c a g o ,   I L   6 0 6 0 3   U S A 	 P r a i n s a c k ,   B   ( r e p r i n t   a u t h o r ) ,   K i n g s   C o l l   L o n d o n ,   C t r   B i o m e d   &   S o c   C B A S ,   S t r a n d   C a m p u s ,   L o n d o n   W C 2 R   2 L S ,   E n g l a n d . 	 b a r b a r a . p r a i n s a c k @ k c l . a c . u k 	 	 	 	 	 A L L I S O N   M ,   2 0 1 0 ,   N A T   B I O T E C H N O L ,   V 2 7 ,   P 8 9 5 ;   A n g r i s t   M ,   2 0 0 9 ,   P E R S   M E D ,   V 6 ,   P 6 9 1 ,   D O I   1 0 . 2 2 1 7 / P M E . 0 9 . 4 8 ;   C o l o m b o   S ,   2 0 0 8 ,   J   I N F E C T   D I S ,   V 1 9 8 ,   P 8 6 4 ,   D O I   1 0 . 1 0 8 6 / 5 9 1 1 8 4 ;   F r u e h   F W ,   2 0 0 4 ,   P H A R M A C O G E N O M I C S ,   V 5 ,   P 5 7 1 ,   D O I   1 0 . 1 5 1 7 / 1 4 6 2 2 4 1 6 . 5 . 5 . 5 7 1 ;   G u r w i t z   D ,   2 0 0 5 ,   P H A R M A C O G E N O M I C S   J ,   V 5 ,   P 2 2 1 ,   D O I   1 0 . 1 0 3 8 / s j . t p j . 6 5 0 0 3 1 2 ;   M a l l a l   S ,   2 0 0 8 ,   N E W   E N G L   J   M E D ,   V 3 5 8 ,   P 5 6 8 ,   D O I   1 0 . 1 0 5 6 / N E J M o a 0 7 0 6 1 3 5 ;   M a r t i n   A M ,   2 0 0 4 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 1 ,   P 4 1 8 0 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 3 0 7 0 6 7 1 0 1 ;   M e t z k e r   M L ,   2 0 1 0 ,   N A T   R E V   G E N E T ,   V 1 1 ,   P 3 1 ,   D O I   1 0 . 1 0 3 8 / n r g 2 6 2 6 ;   N e e d   A C ,   2 0 0 9 ,   T R E N D S   G E N E T ,   V 2 5 ,   P 4 8 9 ,   D O I   1 0 . 1 0 1 6 / j . t i g . 2 0 0 9 . 0 9 . 0 1 2 ;   N g   P C ,   2 0 0 9 ,   N A T U R E ,   V 4 6 1 ,   P 7 2 4 ,   D O I   1 0 . 1 0 3 8 / 4 6 1 7 2 4 a ;   P r a i n s a c k   B ,   2 0 0 8 ,   N A T U R E ,   V 4 5 6 ,   P 3 4 ,   D O I   1 0 . 1 0 3 8 / 4 5 6 0 3 4 a ;   S T E I N B R O O K   M D ,   2 0 0 9 ,   N E W   E N G L   J   M E D ,   V 3 6 1 ,   P 1 3 2 1 	 1 2 	 1 2 	 1 5 	 F U T U R E   M E D I C I N E   L T D 	 L O N D O N 	 U N I T E C   H O U S E ,   3 R D   F L O O R ,   2   A L B E R T   P L A C E ,   F I N C H L E Y   C E N T R A L ,   L O N D O N ,   N 3   1 Q B ,   E N G L A N D 	 1 4 6 2 - 2 4 1 6 	 	 	 P H A R M A C O G E N O M I C S 	 P h a r m a c o g e n o m i c s 	 M A Y 	 2 0 1 0 	 1 1 	 5 	 	 	 	 	 6 5 1 	 6 5 5 	 	 1 0 . 2 2 1 7 / P G S . 1 0 . 3 3 	 	 5 	 P h a r m a c o l o g y   &   P h a r m a c y 	 P h a r m a c o l o g y   &   P h a r m a c y 	 5 9 1 O I 	 W O S : 0 0 0 2 7 7 3 1 0 2 0 0 0 1 1 	 2 0 4 1 5 5 5 5 	 
 J 	 R a y k a r ,   V C ;   Y u ,   S P ;   Z h a o ,   L H ;   V a l a d e z ,   G H ;   F l o r i n ,   C ;   B o g o n i ,   L ;   M o y ,   L 	 	 	 	 R a y k a r ,   V i k a s   C . ;   Y u ,   S h i p e n g ;   Z h a o ,   L i n d a   H . ;   V a l a d e z ,   G e r a r d o   H e r m o s i l l o ;   F l o r i n ,   C h a r l e s ;   B o g o n i ,   L u c a ;   M o y ,   L i n d a 	 	 	 L e a r n i n g   F r o m   C r o w d s 	 J O U R N A L   O F   M A C H I N E   L E A R N I N G   R E S E A R C H 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 m u l t i p l e   a n n o t a t o r s ;   m u l t i p l e   e x p e r t s ;   m u l t i p l e   t e a c h e r s ;   c r o w d s o u r c i n g 	 A L G O R I T H M ;   E R R O R 	 F o r   m a n y   s u p e r v i s e d   l e a r n i n g   t a s k s   i t   m a y   b e   i n f e a s i b l e   ( o r   v e r y   e x p e n s i v e )   t o   o b t a i n   o b j e c t i v e   a n d   r e l i a b l e   l a b e l s .   I n s t e a d ,   w e   c a n   c o l l e c t   s u b j e c t i v e   ( p o s s i b l y   n o i s y )   l a b e l s   f r o m   m u l t i p l e   e x p e r t s   o r   a n n o t a t o r s .   I n   p r a c t i c e ,   t h e r e   i s   a   s u b s t a n t i a l   a m o u n t   o f   d i s a g r e e m e n t   a m o n g   t h e   a n n o t a t o r s ,   a n d   h e n c e   i t   i s   o f   g r e a t   p r a c t i c a l   i n t e r e s t   t o   a d d r e s s   c o n v e n t i o n a l   s u p e r v i s e d   l e a r n i n g   p r o b l e m s   i n   t h i s   s c e n a r i o .   I n   t h i s   p a p e r   w e   d e s c r i b e   a   p r o b a b i l i s t i c   a p p r o a c h   f o r   s u p e r v i s e d   l e a r n i n g   w h e n   w e   h a v e   m u l t i p l e   a n n o t a t o r s   p r o v i d i n g   ( p o s s i b l y   n o i s y )   l a b e l s   b u t   n o   a b s o l u t e   g o l d   s t a n d a r d .   T h e   p r o p o s e d   a l g o r i t h m   e v a l u a t e s   t h e   d i f f e r e n t   e x p e r t s   a n d   a l s o   g i v e s   a n   e s t i m a t e   o f   t h e   a c t u a l   h i d d e n   l a b e l s .   E x p e r i m e n t a l   r e s u l t s   i n d i c a t e   t h a t   t h e   p r o p o s e d   m e t h o d   i s   s u p e r i o r   t o   t h e   c o m m o n l y   u s e d   m a j o r i t y   v o t i n g   b a s e l i n e . 	 [ R a y k a r ,   V i k a s   C . ;   Y u ,   S h i p e n g ;   V a l a d e z ,   G e r a r d o   H e r m o s i l l o ;   F l o r i n ,   C h a r l e s ;   B o g o n i ,   L u c a ]   S i e m e n s   H e a l t h c a r e ,   C A D   &   K n o w l e d g e   S o l u t   I K M   C K S ,   M a l v e r n ,   P A   1 9 3 5 5   U S A ;   [ Z h a o ,   L i n d a   H . ]   U n i v   P e n n ,   D e p t   S t a t ,   P h i l a d e l p h i a ,   P A   1 9 1 0 4   U S A ;   [ M o y ,   L i n d a ]   N Y U ,   S c h   M e d ,   D e p t   R a d i o l ,   N e w   Y o r k ,   N Y   1 0 0 1 6   U S A 	 R a y k a r ,   V C   ( r e p r i n t   a u t h o r ) ,   S i e m e n s   H e a l t h c a r e ,   C A D   &   K n o w l e d g e   S o l u t   I K M   C K S ,   M a l v e r n ,   P A   1 9 3 5 5   U S A . 	 V I K A S . R A Y K A R @ S I E M E N S . C O M ;   S H I P E N G . Y U @ S I E M E N S . C O M ;   L Z H A O @ W H A R T O N . U P E N N . E D U ;   G E R A R D O . H E R M O S I L L O V A L A D E Z @ S I E M E N S . C O M ;   C H A R L E S . F L O R I N @ S I E M E N S . C O M ;   L U C A . B O G O N I @ S I E M E N S . C O M ;   L I N D A . M O Y @ N Y U M C . O R G 	 	 	 	 	 A l b e r t   P S ,   2 0 0 4 ,   B I O M E T R I C S ,   V 6 0 ,   P 4 2 7 ,   D O I   1 0 . 1 1 1 1 / j . 0 0 0 6 - 3 4 1 X . 2 0 0 4 . 0 0 1 8 7 . x ;   B a k e r   F .   B . ,   2 0 0 4 ,   I T E M   R E S P O N S E   T H E O R Y ;   B u r l   M . ,   1 9 9 5 ,   A D V   N E U R A L   I N F O R M   P R ,   V 7 ,   P 1 0 8 5 ;   C a r p e n t e r   B . ,   2 0 0 8 ,   M U L T I L E V E L   B A Y E S I A N ;   C h o l l e t i   S .   R . ,   2 0 0 8 ,   P   2 0 0 8   2 0   I E E E   I N T   C ;   D a w i d   A P ,   1 9 7 9 ,   A P P L I E D   S T A T I S T I C S ,   V 2 8 ,   P 2 0 ,   D O I   1 0 . 2 3 0 7 / 2 3 4 6 8 0 6 ;   D E K E L   O ,   2 0 0 9 ,   I C M L   2 0 0 9 ,   P 2 3 3 ;   D E K E L   O ,   2 0 0 9 ,   C O L T   2 0 0 9 ;   D E M P S T E R   A P ,   1 9 7 7 ,   J   R O Y   S T A T   S O C   B   M E T ,   V 3 9 ,   P 1 ;   D o n m e z   P ,   2 0 0 9 ,   K D D - 0 9 :   1 5 T H   A C M   S I G K D D   C O N F E R E N C E   O N   K N O W L E D G E   D I S C O V E R Y   A N D   D A T A   M I N I N G ,   P 2 5 9 ;   F r a n k   E . ,   2 0 0 1 ,   L E C T   N O T E S   A R T I F   I N T ,   V 2 1 6 7 ,   P 1 4 5 ;   F U N G   G ,   2 0 0 9 ,   1 5   A N N   S I G K D D   I N T   C ;   H o w e   J e f f ,   2 0 0 8 ,   C R O W D   S O U R C I N G   W H Y   P ;   H u i   S   L ,   1 9 9 8 ,   S t a t   M e t h o d s   M e d   R e s ,   V 7 ,   P 3 5 4 ,   D O I   1 0 . 1 1 9 1 / 0 9 6 2 2 8 0 9 8 6 7 1 1 9 2 3 5 2 ;   H U I   S L ,   1 9 8 0 ,   B I O M E T R I C S ,   V 3 6 ,   P 1 6 7 ,   D O I   1 0 . 2 3 0 7 / 2 5 3 0 5 0 8 ;   J i n   R ,   2 0 0 3 ,   A D V   N E U R A L   I N F O R M   P R ,   V 1 5 ,   P 8 9 7 ;   K R I S H N A P U R A M   B ,   2 0 0 8 ,   I W D M   2 0 0 8 ,   P 3 5 0 ;   L U G O S I   G ,   1 9 9 2 ,   P A T T E R N   R E C O G N ,   V 2 5 ,   P 7 9 ,   D O I   1 0 . 1 0 1 6 / 0 0 3 1 - 3 2 0 3 ( 9 2 ) 9 0 0 0 8 - 7 ;   N e a l   R M ,   1 9 9 8 ,   N A T O   A D V   S C I   I   D - B E H ,   V 8 9 ,   P 3 5 5 ;   R a y k a r   V . ,   2 0 0 9 ,   I C M L   2 0 0 9 ,   P 8 8 9 ;   S h e n g   V .   S . ,   2 0 0 8 ,   P   1 4   A C M   S I G K D D   I N T ,   P 6 1 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 0 1 8 9 0 . 1 4 0 1 9 6 5 ;   S m y t h   P . ,   1 9 9 5 ,   C O M P U T A T I O N A L   L E A R N I ,   V I I I ,   P 1 6 3 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   S o r o k i n   A . ,   2 0 0 8 ,   P   1   I E E E   W O R K S H   I N T ,   P 1 ;   U E B E R S A X   J S ,   1 9 9 3 ,   B I O M E T R I C S ,   V 4 9 ,   P 8 2 3 ,   D O I   1 0 . 2 3 0 7 / 2 5 3 2 2 0 2 ;   W a r f i e l d   S K ,   2 0 0 4 ,   I E E E   T   M E D   I M A G I N G ,   V 2 3 ,   P 9 0 3 ,   D O I   1 0 . 1 1 0 9 / T M I . 2 0 0 4 . 8 2 8 3 5 4 ;   W h i t e h i l l   J . ,   2 0 0 9 ,   A D V   N E U R A L   I N F O R M   P R ,   V 2 2 ,   P 2 0 3 5 	 2 7 	 6 6 	 6 6 	 M I C R O T O M E   P U B L 	 B R O O K L I N E 	 3 1   G I B B S   S T ,   B R O O K L I N E ,   M A   0 2 4 4 6   U S A 	 1 5 3 2 - 4 4 3 5 	 	 	 J   M A C H   L E A R N   R E S 	 J .   M a c h .   L e a r n .   R e s . 	 A P R 	 2 0 1 0 	 1 1 	 	 	 	 	 	 1 2 9 7 	 1 3 2 2 	 	 	 	 2 6 	 A u t o m a t i o n   &   C o n t r o l   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e 	 A u t o m a t i o n   &   C o n t r o l   S y s t e m s ;   C o m p u t e r   S c i e n c e 	 6 5 8 V Z 	 W O S : 0 0 0 2 8 2 5 2 1 5 0 0 0 0 4 	 	 
 J 	 R o b s o n ,   N ;   R e w ,   D 	 	 	 	 R o b s o n ,   N . ;   R e w ,   D . 	 	 	 C o l l e c t i v e   w i s d o m   a n d   d e c i s i o n   m a k i n g   i n   s u r g i c a l   o n c o l o g y 	 E J S O 	 	 	 E n g l i s h 	 R e v i e w 	 	 	 	 	 	 D e l p h i   p r o c e s s ;   W i s d o m   o f   c r o w d s ;   C r o w d s o u r c i n g ;   S u r g i c a l   o n c o l o g y 	 M E T A S T A T I C   C O L O R E C T A L - C A N C E R ;   Q U A L I T Y   I N D I C A T O R S ;   D E L P H I ;   C A R E 	 A i m :   T o   d e s c r i b e   s y s t e m s   f o r   c a p t u r i n g   a n d   o p t i m i s i n g   c o l l e c t i v e   k n o w l e d g e   a n d   i n s i g h t   i n   a r e a s   o f   c o m p l e x i t y   a n d   u n c e r t a i n t y   i n   s u r g i c a l   o n c o l o g y ,   w i t h   p a r t i c u l a r   r e f e r e n c e   t o   t h e   D e l p h i   p r o c e s s   a n d   r e l a t e d   s y s t e m s .   M e t h o d s :   I n t e r n e t   s e a r c h   e n g i n e s   ( G o o g l e ,   G o o g l e   S c h o l a r )   a n d   f o u r   d a t a b a s e s   ( S C O P U S ,   P u b M e d ,   M e d l i n e   a n d   E m b a s e )   w e r e   s e a r c h e d   t o   f i n d   E n g l i s h   l a n g u a g e   a r t i c l e s   o n   t h e   u s e   o f   T h e   D e l p h i   P r o c e s s   a n d   r e l a t e d   s y s t e m s   i n   s u r g i c a l   o n c o l o g y ,   u s i n g   a   v a r i e t y   o f   s e a r c h   t e r m s .   F i n d i n g s :   T h e r e   a r e   a   n u m b e r   o f   e s t a b l i s h e d   s y s t e m s   f o r   c o - o p t i n g   g r o u p   k n o w l e d g e   a n d   f a c i l i t a t i n g   c o l l e c t i v e   d e c i s i o n - m a k i n g .   T h e s e   f i n d   a p p l i c a t i o n s   i n   c o m m e r c e ,   i n d u s t r y ,   g o v e r n m e n t   a n d   d e f e n c e .   T h e y   h a v e   a l s o   b e e n   a p p l i e d   t o   p r o b l e m s   i n   s u r g i c a l   o n c o l o g y ,   f o r   e x a m p l e   u s i n g   t h e   D e l p h i   p r o c e s s   t o   o p t i m i s e   t h e   m a n a g e m e n t   o f   c o l o r e c t a l   c a n c e r s   a n d   m e t a s t a s e s .   C o n c l u s i o n s :   C o l l e c t i v e   d e c i s i o n   m a k i n g   t o o l s   f i n d   p r a c t i c a l   a p p l i c a t i o n s   i n   t h e   a l l o c a t i o n   o f   r e s o u r c e s   a n d   i n   c l i n i c a l   d e c i s i o n   m a k i n g   i n   f i e l d s   o f   s u r g i c a l   o n c o l o g y   p r a c t i c e   w h e r e   t h e r e   i s   a   w i d e   r a n g e   o f   e v i d e n c e   a n d   e x p e r t   o p i n i o n .   S u c h   m e t h o d o l o g i e s   s e t   n e w   s t a n d a r d s   f o r   t h e   c o l l a t i n g   o f   p r o f e s s i o n a l   e x p e r t i s e   a n d   f o r   t h e   w r i t i n g   o f   " b e s t   c l i n i c a l   p r a c t i c e "   g u i d e l i n e s   i n   t h e   c a n c e r   s u b s p e c i a l i t i e s .   ( C )   2 0 1 0   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ R o b s o n ,   N . ;   R e w ,   D . ]   S o u t h a m p t o n   U n i v   H o s p ,   S o u t h a m p t o n ,   H a n t s ,   E n g l a n d 	 R e w ,   D   ( r e p r i n t   a u t h o r ) ,   S o u t h a m p t o n   U n i v   H o s p ,   S o u t h a m p t o n ,   H a n t s ,   E n g l a n d . 	 d . r e w @ s o t o n . a c . u k 	 	 	 	 	 B a r a t t i   D ,   2 0 0 8 ,   J   S U R G   O N C O L ,   V 9 8 ,   P 2 5 8 ,   D O I   1 0 . 1 0 0 2 / j s o . 2 1 0 5 6 ;   B r o o k   R   H ,   1 9 8 6 ,   I n t   J   T e c h n o l   A s s e s s   H e a l t h   C a r e ,   V 2 ,   P 5 3 ;   B r o o m f i e l d   D ,   2 0 0 1 ,   M E D   E D U C ,   V 3 5 ,   P 9 2 8 ,   D O I   1 0 . 1 0 4 6 / j . 1 3 6 5 - 2 9 2 3 . 2 0 0 1 . 0 1 0 2 2 . x ;   B u r t   C G ,   2 0 0 9 ,   D I S   C O L O N   R E C T U M ,   V 5 2 ,   P 8 9 8 ,   D O I   1 0 . 1 0 0 7 / D C R . 0 b 0 1 3 e 3 1 8 1 a 0 b 3 5 8 ;   D A L K E Y   N ,   1 9 6 3 ,   M A N A G E   S C I ,   V 9 ,   P 4 5 8 ,   D O I   1 0 . 1 2 8 7 / m n s c . 9 . 3 . 4 5 8 ;   D i x o n   E ,   2 0 0 9 ,   J   S U R G   R E S ,   V 1 5 6 ,   P 3 2 ,   D O I   1 0 . 1 0 1 6 / j . j s s . 2 0 0 9 . 0 3 . 0 8 4 ;   D o w n s   S H ,   1 9 9 8 ,   J   E P I D E M I O L   C O M M U N   H ,   V 5 2 ,   P 3 7 7 ;   F i t c h   K ,   2 0 0 1 ,   R A N D   U C L A   A P P R O P R I A T ;   H A L L   N G ,   1 9 9 2 ,   O P E R   R E S ,   V 4 0 ,   P 1 0 4 0 ,   D O I   1 0 . 1 2 8 7 / o p r e . 4 0 . 6 . 1 0 4 0 ;   H E L M E R   O ,   1 9 5 9 ,   M A N A G E   S C I ,   V 6 ,   P 2 5 ,   D O I   1 0 . 1 2 8 7 / m n s c . 6 . 1 . 2 5 ;   K a y n a k   E . ,   1 9 9 4 ,   M A R K E T I N G   I N T E L L I G E N ,   V 1 2 ,   P 1 8 ,   D O I   1 0 . 1 1 0 8 / 0 2 6 3 4 5 0 9 4 1 0 0 6 5 5 3 7 ;   K e t t i n g e r   W J ,   1 9 9 7 ,   M I S   Q U A R T ,   V 2 1 ,   P 5 5 ,   D O I   1 0 . 2 3 0 7 / 2 4 9 7 4 2 ;   L i n s t o n e   H . A . ,   1 9 7 5 ,   D E L P H I   M E T H O D   T E C H N I ;   M c G o r y   M L ,   2 0 0 6 ,   J   N A T L   C A N C E R   I ,   V 9 8 ,   P 1 6 2 3 ,   D O I   1 0 . 1 0 9 3 / j n c i / d j j 4 3 8 ;   P o s t o n   G J ,   2 0 0 5 ,   J   C L I N   O N C O L ,   V 2 3 ,   P 7 1 2 5 ,   D O I   1 0 . 1 2 0 0 / J C O . 2 0 0 5 . 0 8 . 7 2 2 ;   S H I G E K I   K ,   2 0 0 9 ,   J   S U R G   O N C O L ,   V 9 8 ,   P 2 1 7 ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   T A Y L O R   I ,   E U R O P E A N   J   I N   P R E S S ;   T A Y L O R   R E ,   1 9 8 5 ,   J   S M A L L   B U S   M A N A G E ,   P 2 3 ;   V a l e n t i n i   V ,   2 0 0 9 ,   R A D I O T H E R   O N C O L ,   V 9 2 ,   P 1 4 8 ,   D O I   1 0 . 1 0 1 6 / j . r a d o n c . 2 0 0 9 . 0 6 . 0 2 7 ;   W O U D E N B E R G   F ,   1 9 9 1 ,   T E C H N O L   F O R E C A S T   S O C ,   V 4 0 ,   P 1 3 1 ,   D O I   1 0 . 1 0 1 6 / 0 0 4 0 - 1 6 2 5 ( 9 1 ) 9 0 0 0 2 - W 	 2 1 	 5 	 5 	 E L S E V I E R   S C I   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   O X O N ,   E N G L A N D 	 0 7 4 8 - 7 9 8 3 	 	 	 E J S O - E U R   J   S U R G   O N C 	 E J S O 	 M A R 	 2 0 1 0 	 3 6 	 3 	 	 	 	 	 2 3 0 	 2 3 6 	 	 1 0 . 1 0 1 6 / j . e j s o . 2 0 1 0 . 0 1 . 0 0 2 	 	 7 	 O n c o l o g y ;   S u r g e r y 	 O n c o l o g y ;   S u r g e r y 	 5 8 3 L R 	 W O S : 0 0 0 2 7 6 6 7 8 0 0 0 0 0 3 	 2 0 1 0 6 6 2 5 	 
 J 	 C h e n ,   K T ;   C h a n g ,   C J ;   W u ,   C C ;   C h a n g ,   Y C ;   L e i ,   C L 	 	 	 	 C h e n ,   K u a n - T a ;   C h a n g ,   C h i - J u i ;   W u ,   C h e n - C h i ;   C h a n g ,   Y u - C h u n ;   L e i ,   C h i n - L a u n g 	 	 	 Q u a d r a n t   o f   e u p h o r i a :   a   c r o w d s o u r c i n g   p l a t f o r m   f o r   Q o E   a s s e s s m e n t 	 I E E E   N E T W O R K 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 Q u a l i t y   a s s e s s m e n t ;   W e b   s e r v i c e s ;   C o s t   b e n e f i t   a n a l y s i s 	 	 E x i s t i n g   q u a l i t y   o f   e x p e r i e n c e   a s s e s s m e n t   m e t h o d s ,   s u b j e c t i v e   o r   o b j e c t i v e ,   s u f f e r   f r o m   e i t h e r   o r   b o t h   p r o b l e m s   o f   i n a c c u r a t e   e x p e r i m e n t   t o o l s   a n d   e x p e n s i v e   p e r s o n n e l   c o s t .   T h e   p a n a c e a   f o r   t h e m ,   a s   w e   h a v e   c o m e   t o   r e a l i z e ,   l i e s   i n   t h e   j o i n t   a p p l i c a t i o n   o f   p a i r e d   c o m p a r i s o n   a n d   c r o w d s o u r c i n g ,   t h e   l a t t e r   b e i n g   a   W e b   2 . 0   p r a c t i c e   o f   o r g a n i z a t i o n s   a s k i n g   o r d i n a r y   u n s p e c i f i c   I n t e r n e t   u s e r s   t o   c a r r y   o u t   i n t e r n a l   t a s k s .   W e   p r e s e n t   i n   t h i s   a r t i c l e   Q u a d r a n t   o f   E u p h o r i a ,   a   u s e r - f r i e n d l y   w e b - b a s e d   p l a t f o r m   f a c i l i t a t i n g   Q o E   a s s e s s m e n t s   i n   n e t w o r k   a n d   m u l t i m e d i a   s t u d i e s ,   w h i c h   f e a t u r e s   l o w   c o s t ,   p a r t i c i p a n t   d i v e r s i t y ,   m e a n i n g f u l   a n d   i n t e r p r e t a b l e   Q o E   s c o r e s ,   s u b j e c t   c o n s i s t e n c y   a s s u r a n c e ,   a n d   a   b u r d e n l e s s   e x p e r i m e n t   p r o c e s s . 	 [ C h a n g ,   C h i - J u i ]   A c a d   S i n i c a ,   I n s t   I n f o r m a t   S c i ,   M u l t i m e d i a   N e t w o r k i n g   &   S y s t   L a b ,   T a i p e i ,   T a i w a n ;   [ C h e n ,   K u a n - T a ]   A c a d   S i n i c a ,   R e s   C t r   I n f o r m a t   T e c h n o l   I n n o v a t ,   T a i p e i ,   T a i w a n ;   [ W u ,   C h e n - C h i ;   C h a n g ,   Y u - C h u n ;   L e i ,   C h i n - L a u n g ]   N a t l   T a i w a n   U n i v ,   D e p t   E l e c t   E n g n ,   T a i p e i ,   T a i w a n 	 C h e n ,   K T   ( r e p r i n t   a u t h o r ) ,   A c a d   S i n i c a ,   I n s t   I n f o r m a t   S c i ,   M u l t i m e d i a   N e t w o r k i n g   &   S y s t   L a b ,   T a i p e i ,   T a i w a n . 	 k t c h e n @ i i s . s i n i c a . e d u . t w 	 	 	 N a t i o n a l   S c i e n c e   C o u n c i l   o f   T a i w a n   [ N S C 9 8 - 2 6 3 1 - 0 0 1 - 0 1 1 ,   N S C 9 8 - 2 6 3 1 - 0 0 1 - 0 1 3 ,   N S C 9 8 - 2 2 2 1 - E - 0 0 1 - 0 1 7 ] 	 T h i s   w o r k   w a s   s u p p o r t e d   i n   p a r t   b y   T a i w a n   E - L e a r n i n g   a n d   D i g i t a l   A r c h i v e s   P r o g r a m s   ( T E L D A P )   s p o n s o r e d   b y   t h e   N a t i o n a l   S c i e n c e   C o u n c i l   o f   T a i w a n   u n d e r   g r a n t s   N S C 9 8 - 2 6 3 1 - 0 0 1 - 0 1 1   a n d   N S C 9 8 - 2 6 3 1 - 0 0 1 - 0 1 3 .   I t   w a s   a l s o   s u p p o r t e d   i n   p a r t   b y   t h e   N a t i o n a l   S c i e n c e   C o u n c i l   o f   T a i w a n   u n d e r   t h e   g r a n t s   N S C 9 8 - 2 2 2 1 - E - 0 0 1 - 0 1 7 . 	 A l l i o   R .   J . ,   2 0 0 4 ,   S T R A T E G Y   L E A D E R S H I P ,   V 3 2 ,   P 4 ,   D O I   1 0 . 1 1 0 8 / 1 0 8 7 8 5 7 0 4 1 0 5 4 7 6 4 3 ;   [ A n o n y m o u s ] ,   2 0 0 8 ,   P 9 1 0   I T U T ;   [ A n o n y m o u s ] ,   H   2 6 4   A V C   R E F E R E N C E ;   B r a b h a m   D C ,   2 0 0 9 ,   P L A N   T H E O R ,   V 8 ,   P 2 4 2 ,   D O I   1 0 . 1 1 7 7 / 1 4 7 3 0 9 5 2 0 9 1 0 4 8 2 4 ;   C H E N   K T ,   2 0 0 9 ,   P   A C M   M U L T ;   E L L I O T T   E O ,   1 9 6 3 ,   A T & T   T E C H   J ,   V 4 2 ,   P 1 9 7 7 ;   * I T U   T ,   2 0 0 8 ,   P 1 0 G 1 0 0 A M D 2   I T U T ;   L u c e   R .   D . ,   1 9 5 9 ,   I N D I V I D U A L   C H O I C E   B E ;   R o s s i   P E ,   2 0 0 1 ,   J   A M   S T A T   A S S O C ,   V 9 6 ,   P 2 0 ,   D O I   1 0 . 1 1 9 8 / 0 1 6 2 1 4 5 0 1 7 5 0 3 3 2 6 6 8 ;   W a t s o n   A . ,   1 9 9 8 ,   P r o c e e d i n g s   A C M   M u l t i m e d i a   9 8 ,   D O I   1 0 . 1 1 4 5 / 2 9 0 7 4 7 . 2 9 0 7 5 5 	 1 0 	 1 1 	 1 1 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 0 8 9 0 - 8 0 4 4 	 	 	 I E E E   N E T W O R K 	 I E E E   N e t w . 	 M A R - A P R 	 2 0 1 0 	 2 4 	 2 	 	 	 	 	 2 8 	 3 5 	 	 1 0 . 1 1 0 9 / M N E T . 2 0 1 0 . 5 4 3 0 1 4 1 	 	 8 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 5 7 0 G Y 	 W O S : 0 0 0 2 7 5 6 6 1 7 0 0 0 0 5 	 	 
 J 	 D e l l a r o c a s ,   C 	 	 	 	 D e l l a r o c a s ,   C h r y s a n t h o s 	 	 	 O n l i n e   R e p u t a t i o n   S y s t e m s :   H o w   t o   D e s i g n   O n e   T h a t   D o e s   W h a t   Y o u   N e e d 	 M I T   S L O A N   M A N A G E M E N T   R E V I E W 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 U s e r - g e n e r a t e d   c o n t e n t   p l a t f o r m s ,   o p e n   s o u r c e   s o f t w a r e ,   c r o w d s o u r c i n g   a n d   k n o w l e d g e   m a r k e t s   -   t h e s e   a r e   a l l   p o s s i b l e   o n l y   b e c a u s e   o f   t h e   " s o c i a l   w e b , "   t h e   i n t e r l i n k e d   v i r t u a l   u n i v e r s e   t h a t   t o   s o   m a n y   e x e c u t i v e s   s e e m s   t o   o f f e r   t h e   i r r e s i s t i b l e   p r o m i s e   o f   p r o v i d i n g   s o m e t h i n g   -   i d e a s ,   w o r k ,   d e c i s i o n s   -   f o r   ( a l m o s t )   n o t h i n g ,   i f   o n l y   t h e y   c o u l d   m a n a g e   i t   r i g h t .   M a n a g i n g   i t   r i g h t   m e a n s   u n d e r s t a n d i n g   t h a t   e v e n   t h o u g h   t h e   n e w   p l a t f o r m s   a r e   a l l   a b o u t   h a r n e s s i n g   c r o w d s   a n d   c o m m u n i t i e s ,   i n   t h e   e n d   t h o s e   c r o w d s   a n d   c o m m u n i t i e s   a r e   n o t h i n g   b u t   a   s u m   o f   i n d i v i d u a l s .   A n d   y o u r   c o m p a n y ' s   s o c i a l   w e b   e f f o r t s   w i l l   s u c c e e d   o n l y   t o   t h e   e x t e n t   t h a t   y o u   a r e   a b l e   t o   a t t r a c t   g o o d   i n d i v i d u a l s ,   m o t i v a t e   t h e m   t o   p e r f o r m   g o o d   w o r k ,   a n d   e m p o w e r   t h e m   t o   g e t   t o   k n o w   a n d   t r u s t   o n e   a n o t h e r   e n o u g h   t o   c o l l a b o r a t e   t o w a r d   t h e   e n d   g o a l s   o f   t h e   c o m m u n i t y .   T h e   q u e s t i o n   i s ,   H o w   d o   y o u   d o   t h a t ?   T h e   a n s w e r :   b y   c a p i t a l i z i n g   o n   t h e   m o t i v a t i o n a l   p o w e r   o f   i n   r e p u t a t i o n   -   t h a t   i s ,   b y   d e s i g n i n g   a n d   b u i l d i n g   a n   o n l i n e   r e p u t a t i o n   s y s t e m   t h a t   t r i g g e r s   a n d   n o u r i s h e s   t h e   k i n d   o f   w e b   c o m m u n i t y   t h a t   w i l l   s e r v e   y o u r   c o m p a n y ' s   n e e d s .   U s i n g   e x a m p l e s   s u c h   a s   A m a z o n ,   e B a y ,   E p i n i o n s   a n d   Y e l p ,   t h e   a u t h o r   d e s c r i b e s   h o w   d e s i g n   c h o i c e s   o f   a   r e p u t a t i o n   s y s t e m   c a n   p r o f o u n d l y   a f f e c t   a   c o m m u n i t y ' s   c u l t u r e ,   m a k i n g   a n   o t h e r w i s e   c o l l a b o r a t i v e   a n d   c o r d i a l   c o m m u n i t y   i n t o   a   c o m p e t i t i v e   a n d   e v e n   c o m b a t i v e   s p a c e . 	 [ D e l l a r o c a s ,   C h r y s a n t h o s ]   B o s t o n   U n i v ,   S c h   M a n a g e m e n t ,   B o s t o n ,   M A   0 2 2 1 5   U S A ;   [ D e l l a r o c a s ,   C h r y s a n t h o s ]   M I T ,   C t r   C o l l e c t   I n t e l l i g e n c e ,   C a m b r i d g e ,   M A   0 2 1 3 9   U S A 	 D e l l a r o c a s ,   C   ( r e p r i n t   a u t h o r ) ,   B o s t o n   U n i v ,   S c h   M a n a g e m e n t ,   B o s t o n ,   M A   0 2 2 1 5   U S A . 	 	 	 	 	 	 	 0 	 8 	 9 	 S L O A N   M A N A G E M E N T   R E V I E W   A S S O C ,   M I T   S L O A N   S C H O O L   M A N A G E M E N T 	 C A M B R I D G E 	 7 7   M A S S A C H U S E T T S   A V E ,   E 6 0 - 1 0 0 ,   C A M B R I D G E ,   M A   0 2 1 3 9 - 4 3 0 7   U S A 	 1 5 3 2 - 9 1 9 4 	 	 	 M I T   S L O A N   M A N A G E   R E V 	 M I T   S l o a n   M a n a g e .   R e v . 	 S P R 	 2 0 1 0 	 5 1 	 3 	 	 	 	 	 3 3 	 + 	 	 	 	 6 	 B u s i n e s s ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 5 8 3 T F 	 W O S : 0 0 0 2 7 6 7 0 2 0 0 0 0 0 7 	 	 
 J 	 E k i n s ,   S ;   W i l l i a m s ,   A J 	 	 	 	 E k i n s ,   S e a n ;   W i l l i a m s ,   A n t o n y   J . 	 	 	 R e a c h i n g   O u t   t o   C o l l a b o r a t o r s :   C r o w d s o u r c i n g   f o r   P h a r m a c e u t i c a l   R e s e a r c h 	 P H A R M A C E U T I C A L   R E S E A R C H 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 	 D R U G   D I S C O V E R Y ;   T U B E R C U L O S I S ;   C H E M I S T R Y ;   T O O L S 	 	 [ E k i n s ,   S e a n ]   C o l l a b o r a t   C h e m ,   J e n k i n t o w n ,   P A   1 9 0 4 6   U S A ;   [ E k i n s ,   S e a n ]   C o l l a b o r a t   D r u g   D i s c o v e r y ,   B u r l i n g a m e ,   C A   9 4 4 0 3   U S A ;   [ E k i n s ,   S e a n ]   U n i v   M a r y l a n d ,   D e p t   P h a r m a c e u t   S c i ,   B a l t i m o r e ,   M D   2 1 2 0 1   U S A ;   [ E k i n s ,   S e a n ]   U n i v   M e d   &   D e n t   N e w   J e r s e y ,   D e p t   P h a r m a c o l ,   R o b e r t   W o o d   J o h n s o n   M e d   S c h ,   P i s c a t a w a y ,   N J   0 8 8 5 4   U S A ;   [ W i l l i a m s ,   A n t o n y   J . ]   R o y a l   S o c   C h e m ,   W a k e   F o r e s t ,   N C   2 7 5 8 7   U S A 	 E k i n s ,   S   ( r e p r i n t   a u t h o r ) ,   C o l l a b o r a t   C h e m ,   6 0 1   R u n n y m e d e   A v e ,   J e n k i n t o w n ,   P A   1 9 0 4 6   U S A . 	 e k i n s s e a n @ y a h o o . c o m 	 W i l l i a m s ,   A n t o n y / C - 3 0 8 9 - 2 0 0 9 	 W i l l i a m s ,   A n t o n y / 0 0 0 0 - 0 0 0 2 - 2 6 6 8 - 4 8 2 1 	 	 	 B a i l e y   D S ,   2 0 0 8 ,   D R U G   D I S C O V   T O D A Y ,   V 1 3 ,   P 8 6 3 ,   D O I   1 0 . 1 0 1 6 / j . d r u d i s . 2 0 0 8 . 0 7 . 0 0 3 ;   B a l g a n e s h   T S ,   2 0 0 8 ,   T R E N D S   P H A R M A C O L   S C I ,   V 2 9 ,   P 5 7 6 ,   D O I   1 0 . 1 0 1 6 / j . t i p s . 2 0 0 8 . 0 8 . 0 0 1 ;   B a r n e s   M R ,   2 0 0 9 ,   N A T   R E V   D R U G   D I S C O V ,   V 8 ,   P 7 0 1 ,   D O I   1 0 . 1 0 3 8 / n r d 2 9 4 4 ;   B I N G H A M   A ,   2 0 0 9 ,   D R U G   D I S C O V   T O D A Y ,   V 1 4 ,   P 1 7 4 9 ;   D e n g   G ,   2 0 0 8 ,   P H A R M   R E S ,   V 2 5 ,   P 1 1 0 0 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 9 5 - 0 0 7 - 9 4 9 8 - 7 ;   E k i n s   S e a n ,   2 0 0 6 ,   J o u r n a l   o f   P h a r m a c o l o g i c a l   a n d   T o x i c o l o g i c a l   M e t h o d s ,   V 5 3 ,   P 3 8 ,   D O I   1 0 . 1 0 1 6 / j . v a s c n . 2 0 0 5 . 0 5 . 0 0 5 ;   H o e h n d o r f   R ,   2 0 0 9 ,   B M C   B I O I N F O R M A T I C S ,   V 1 0 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 1 - 2 1 0 5 - 1 0 - S 5 - S 5 ;   H u n t e r   A J ,   2 0 0 8 ,   D R U G   D I S C O V   T O D A Y ,   V 1 3 ,   P 3 7 1 ,   D O I   1 0 . 1 0 1 6 / j . d r u d i s . 2 0 0 8 . 0 2 . 0 0 9 ;   L O U I S E M A Y   S ,   2 0 0 9 ,   D R U G   D I S C O V E R Y   T O U C H ,   V 6 ,   P 1 7 ;   O p r e a   T I ,   2 0 0 9 ,   N A T   C H E M   B I O L ,   V 5 ,   P 4 4 1 ,   D O I   1 0 . 1 0 3 8 / n c h e m b i o 0 7 0 9 - 4 4 1 ;   S a c c h e t t i n i   J C ,   2 0 0 8 ,   N A T   R E V   M I C R O B I O L ,   V 6 ,   P 4 1 ,   D O I   1 0 . 1 0 3 8 / n r m i c r o 1 8 1 6 ;   S o u t h a n   C ,   2 0 0 9 ,   J   C H E M I N F O R M A T I C S ,   V 1 ,   D O I   1 0 . 1 1 8 6 / 1 7 5 8 - 2 9 4 6 - 1 - 1 0 ;   T a p s c o t t   D . ,   2 0 0 6 ,   W I K I N O M I C S   M A S S   C O L L ;   v a n   V e e n   E B ,   2 0 0 8 ,   E U R   J   C A N C E R ,   V 4 4 ,   P 1 4 3 8 ,   D O I   1 0 . 1 0 1 6 / j . e j c a . 2 0 0 8 . 0 3 . 0 1 1 ;   W a n g   H X ,   2 0 0 5 ,   B M C   G E N O M I C S ,   V 6 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 1 - 2 1 6 4 - 6 - 7 1 ;   W i l l i a m s   A J ,   2 0 0 8 ,   D R U G   D I S C O V   T O D A Y ,   V 1 3 ,   P 4 9 5 ,   D O I   1 0 . 1 0 1 6 / j . d r u d i s . 2 0 0 8 . 0 3 . 0 1 7 ;   W I L L I A M S   A J ,   2 0 1 0 ,   D R U G   D I S C O V E R Y   W O R L D ,   V 1 1 ,   P 1 ;   W i l l i a m s   A J ,   2 0 0 8 ,   D R U G   D I S C O V   T O D A Y ,   V 1 3 ,   P 5 0 2 ,   D O I   1 0 . 1 0 1 6 / j . d r u d i s . 2 0 0 8 . 0 3 . 0 1 5 	 1 8 	 2 4 	 2 4 	 S P R I N G E R / P L E N U M   P U B L I S H E R S 	 N E W   Y O R K 	 2 3 3   S P R I N G   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 3   U S A 	 0 7 2 4 - 8 7 4 1 	 	 	 P H A R M   R E S - D O R D R 	 P h a r m .   R e s . 	 M A R 	 2 0 1 0 	 2 7 	 3 	 	 	 	 	 3 9 3 	 3 9 5 	 	 1 0 . 1 0 0 7 / s 1 1 0 9 5 - 0 1 0 - 0 0 5 9 - 0 	 	 3 	 C h e m i s t r y ,   M u l t i d i s c i p l i n a r y ;   P h a r m a c o l o g y   &   P h a r m a c y 	 C h e m i s t r y ;   P h a r m a c o l o g y   &   P h a r m a c y 	 5 6 3 J B 	 W O S : 0 0 0 2 7 5 1 2 3 6 0 0 0 0 1 	 2 0 1 0 7 8 7 3 	 
 B 	 S c h l i p p e ,   T ;   Z h u ,   C F ;   G e b h a r d t ,   J ;   S c h u l t z ,   T 	 	 	 I N S T   S P E E C H   C O M M U N   A S S O C 	 S c h l i p p e ,   T i m ;   Z h u ,   C h e n f e i ;   G e b h a r d t ,   J a n ;   S c h u l t z ,   T a n j a 	 	 	 T e x t   N o r m a l i z a t i o n   b a s e d   o n   S t a t i s t i c a l   M a c h i n e   T r a n s l a t i o n   a n d   I n t e r n e t   U s e r   S u p p o r t 	 1 1 T H   A N N U A L   C O N F E R E N C E   O F   T H E   I N T E R N A T I O N A L   S P E E C H   C O M M U N I C A T I O N   A S S O C I A T I O N   2 0 1 0   ( I N T E R S P E E C H   2 0 1 0 ) ,   V O L S   3   A N D   4 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 1 t h   A n n u a l   C o n f e r e n c e   o f   t h e   I n t e r n a t i o n a l - S p e e c h - C o m m u n i c a t i o n - A s s o c i a t i o n   2 0 1 0 	 S E P   2 6 - 3 0 ,   2 0 1 0 	 M a k u h a r i ,   J A P A N 	 J a p a n   W o r l d   E x p o s i t ,   C o m m e m o r a t   O r g ,   J a p a n   S o c   P r o m o t   S c i ,   T e l e c o m m u n i c a t   A d v a n c e m e n t   F d n ,   K D D I   F d n ,   M u r a t a   S c i   F d n ,   A d v   T e l e c o m m u n i c a t   T e c h n o l   R e s   F d n ,   S u p p o r t   C t r ,   C h i b a   C o n v e n t   B u r   &   I n t   C t r ,   R e n e s a s   E l e c t   C o r p ,   G o o g l e ,   M i c r o s o f t   C o r p ,   N u a n c e   C o m m u n   I n c ,   A p p e n   P t y   L t d ,   I B M   R e s ,   S o n y   C o r p ,   H i t a c h i   L t d ,   Y a h o o   J a p a n   C o r p ,   A s a h i   K a s e i   C o r p ,   K D D I   R   &   D   L a b   I n c ,   Y a m a h a   C o r p ,   T o s h i b a   C o r p ,   F u j i t s u   L t d ,   M i t s u b i s h i   E l e c t   C o r p ,   R I O N   C o   L t d ,   N E C   C o r p 	 	 t e x t   n o r m a l i z a t i o n ;   s t a t i s t i c a l   m a c h i n e   t r a n s l a t i o n ;   r a p i d   l a n g u a g e   a d a p t a t i o n ;   a u t o m a t i c   s p e e c h   r e c o g n i t i o n ;   c r o w d s o u r c i n g 	 	 I n   t h i s   p a p e r ,   w e   d e s c r i b e   a n d   c o m p a r e   s y s t e m s   f o r   t e x t   n o r m a l i z a t i o n   b a s e d   o n   s t a t i s t i c a l   m a c h i n e   t r a n s l a t i o n   ( S M T )   m e t h o d s   w h i c h   a r e   c o n s t r u c t e d   w i t h   t h e   s u p p o r t   o f   i n t e r n e t   u s e r s .   I n t e r n e t   u s e r s   n o r m a l i z e   t e x t   d i s p l a y e d   i n   a   w e b   i n t e r f a c e ,   t h e r e b y   p r o v i d i n g   a   p a r a l l e l   c o r p u s   o f   n o r m a l i z e d   a n d   n o n - n o r m a l i z e d   t e x t .   W i t h   t h i s   c o r p u s ,   S M T   m o d e l s   a r e   g e n e r a t e d   t o   t r a n s l a t e   n o n - n o r m a l i z e d   i n t o   n o r m a l i z e d   t e x t .   T o   b u i l d   t r a d i t i o n a l   l a n g u a g e - s p e c i f i c   t e x t   n o r m a l i z a t i o n   s y s t e m s ,   k n o w l e d g e   o f   l i n g u i s t i c s   a s   w e l l   a s   e s t a b l i s h e d   c o m p u t e r   s k i l l s   t o   i m p l e m e n t   t e x t   n o r m a l i z a t i o n   r u l e s   a r e   r e q u i r e d .   O u r   s y s t e m s   a r e   b u i l t   w i t h o u t   p r o f o u n d   c o m p u t e r   k n o w l e d g e   d u e   t o   t h e   s i m p l e   s e l f - e x p l a n a t o r y   u s e r   i n t e r f a c e   a n d   t h e   a u t o m a t i c   g e n e r a t i o n   o f   t h e   S M T   m o d e l s .   A d d i t i o n a l l y ,   n o   i n h o u s e   k n o w l e d g e   o f   t h e   l a n g u a g e   t o   n o r m a l i z e   i s   r e q u i r e d   d u e   t o   t h e   m u l t i l i n g u a l   e x p e r t i s e   o f   t h e   i n t e r n e t   c o m m u n i t y .   A l l   t e c h n i q u e s   a r e   a p p l i e d   o n   F r e n c h   t e x t s ,   c r a w l e d   w i t h   o u r   R a p i d   L a n g u a g e   A d a p t a t i o n   T o o l k i t   [ 1 ]   a n d   c o m p a r e d   t h r o u g h   L e v e n s h t e i n   e d i t   d i s t a n c e   [ 2 ] ,   B L E U   s c o r e   [ 3 ] ,   a n d   p e r p l e x i t y . 	 [ S c h l i p p e ,   T i m ;   Z h u ,   C h e n f e i ;   G e b h a r d t ,   J a n ;   S c h u l t z ,   T a n j a ]   K I T ,   C o g n i t   S y s t   L a b ,   K a r l s r u h e ,   G e r m a n y 	 S c h l i p p e ,   T   ( r e p r i n t   a u t h o r ) ,   K I T ,   C o g n i t   S y s t   L a b ,   K a r l s r u h e ,   G e r m a n y . 	 t i m . s c h l i p p e @ k i t . e d u ;   c h e n f e i . z h u @ s t u d e n t . k i t . e d u ;   j a n . g e b h a r d t @ s t u d e n t . k i t . e d u ;   t a n j a . s c h u l t z @ k i t . e d u 	 	 	 	 	 A d d a   G . ,   1 9 9 7 ,   P   E S C A   E U R   9 7   R H O D   G ,   P 2 7 1 1 ;   A i t i   A w ,   2 0 0 6 ,   P   C O L I N G   A C L   M A I N   C ,   P 3 3 ,   D O I   1 0 . 3 1 1 5 / 1 2 7 3 0 7 3 . 1 2 7 3 0 7 8 ;   G r a l i n s k i   F . ,   2 0 0 6 ,   W I S L   P O L   P   I N T   M U L T ;   H e n r i q u e z   C .   A . ,   2 0 0 9 ,   C A W 2   C O N T E N T   A N A L   W E ;   K o e h n   P h i l i p p ,   2 0 0 7 ,   A N N   M   A C L   D E M   S E S S   P ;   L e v e n s h t e i n   V .   I . ,   1 9 6 6 ,   S O V   P H Y S   D O K L ,   V 1 0 ,   P 7 0 7 ;   O c h   F .   J . ,   2 0 0 3 ,   C o m p u t a t i o n a l   L i n g u i s t i c s ,   V 2 9 ,   D O I   1 0 . 1 1 6 2 / 0 8 9 1 2 0 1 0 3 3 2 1 3 3 7 4 2 1 ;   P a p i n e n i   K . ,   2 0 0 2 ,   P   4 0   A C L   P H I L ;   S c h l i p p e   T . ,   2 0 0 8 ,   8   C   A S S   M A C H   T R A N S L ;   S c h l i p p e   T i m ,   2 0 1 0 ,   1 1   A N N   C   I N T   S P E E C H ;   S c h u l t z   T . ,   2 0 0 7 ,   A N T W   B E L G   P   I N T   A U G ;   S c h u l t z   T . ,   2 0 0 1 ,   P   E U R   A A L B   D E N M ,   P 2 7 2 1 ;   S i m a r d   M . ,   2 0 0 7 ,   P   2   W O R K S H   S T A T   M A C H ;   S t o l c k e   A . ,   2 0 0 2 ,   I N T   C   S P O K   L A N G   P R O C 	 1 4 	 0 	 0 	 I S C A - I N S T   S P E E C H   C O M M U N I C A T I O N   A S S O C 	 B A I X A S 	 C / O   E M M A N U E L L E   F O X O N E T ,   4   R U E   D E S   F A U V E T T E S ,   L I E U   D I T   L O U S   T O U R I L S ,   B A I X A S ,   F - 6 6 3 9 0 ,   F R A N C E 	 	 	 9 7 8 - 1 - 6 1 7 8 2 - 1 2 3 - 3 	 	 	 	 2 0 1 0 	 	 	 	 	 	 	 1 8 1 6 	 1 8 1 9 	 	 	 	 4 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 B D G 1 8 	 W O S : 0 0 0 3 1 3 0 8 6 5 0 0 0 6 6 	 	 
 B 	 S c h l i p p e ,   T ;   O c h s ,   S ;   S c h u l t z ,   T 	 	 	 I N S T   S P E E C H   C O M M U N   A S S O C 	 S c h l i p p e ,   T i m ;   O c h s ,   S e b a s t i a n ;   S c h u l t z ,   T a n j a 	 	 	 W i k t i o n a r y   a s   a   S o u r c e   f o r   A u t o m a t i c   P r o n u n c i a t i o n   E x t r a c t i o n 	 1 1 T H   A N N U A L   C O N F E R E N C E   O F   T H E   I N T E R N A T I O N A L   S P E E C H   C O M M U N I C A T I O N   A S S O C I A T I O N   2 0 1 0   ( I N T E R S P E E C H   2 0 1 0 ) ,   V O L S   3   A N D   4 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 1 t h   A n n u a l   C o n f e r e n c e   o f   t h e   I n t e r n a t i o n a l - S p e e c h - C o m m u n i c a t i o n - A s s o c i a t i o n   2 0 1 0 	 S E P   2 6 - 3 0 ,   2 0 1 0 	 M a k u h a r i ,   J A P A N 	 J a p a n   W o r l d   E x p o s i t ,   C o m m e m o r a t   O r g ,   J a p a n   S o c   P r o m o t   S c i ,   T e l e c o m m u n i c a t   A d v a n c e m e n t   F d n ,   K D D I   F d n ,   M u r a t a   S c i   F d n ,   A d v   T e l e c o m m u n i c a t   T e c h n o l   R e s   F d n ,   S u p p o r t   C t r ,   C h i b a   C o n v e n t   B u r   &   I n t   C t r ,   R e n e s a s   E l e c t   C o r p ,   G o o g l e ,   M i c r o s o f t   C o r p ,   N u a n c e   C o m m u n   I n c ,   A p p e n   P t y   L t d ,   I B M   R e s ,   S o n y   C o r p ,   H i t a c h i   L t d ,   Y a h o o   J a p a n   C o r p ,   A s a h i   K a s e i   C o r p ,   K D D I   R   &   D   L a b   I n c ,   Y a m a h a   C o r p ,   T o s h i b a   C o r p ,   F u j i t s u   L t d ,   M i t s u b i s h i   E l e c t   C o r p ,   R I O N   C o   L t d ,   N E C   C o r p 	 	 p r o n u n c i a t i o n   d i c t i o n a r y ;   r a p i d   l a n g u a g e   a d a p t a t i o n ;   a u t o m a t i c   s p e e c h   r e c o g n i t i o n ;   c r o w d s o u r c i n g 	 	 I n   t h i s   p a p e r ,   w e   a n a l y z e   w h e t h e r   d i c t i o n a r i e s   f r o m   t h e   W o r l d   W i d e   W e b   w h i c h   c o n t a i n   p h o n e t i c   n o t a t i o n s ,   m a y   s u p p o r t   t h e   r a p i d   c r e a t i o n   o f   p r o n u n c i a t i o n   d i c t i o n a r i e s   w i t h i n   t h e   s p e e c h   r e c o g n i t i o n   a n d   s p e e c h   s y n t h e s i s   s y s t e m   b u i l d i n g   p r o c e s s .   A s   a   r e p r e s e n t a t i v e   d i c t i o n a r y ,   w e   s e l e c t e d   W i k t i o n a r y   [ 1 ]   s i n c e   i t   i s   a t   h a n d   i n   m u l t i p l e   l a n g u a g e s   a n d ,   i n   a d d i t i o n   t o   t h e   d e f i n i t i o n s   o f   t h e   w o r d s ,   m a n y   p h o n e t i c   n o t a t i o n s   i n   t e r m s   o f   t h e   I n t e r n a t i o n a l   P h o n e t i c   A l p h a b e t   ( I P A )   a r e   a v a i l a b l e .   G i v e n   w o r d   l i s t s   i n   f o u r   l a n g u a g e s   E n g l i s h ,   F r e n c h ,   G e r m a n ,   a n d   S p a n i s h ,   w e   c a l c u l a t e d   t h e   p e r c e n t a g e   o f   w o r d s   w i t h   p h o n e t i c   n o t a t i o n s   i n   W i k t i o n a r y .   F u r t h e r m o r e ,   t w o   q u a l i t y   c h e c k s   w e r e   p e r f o r m e d :   F i r s t ,   w e   c o m p a r e d   p r o n u n c i a t i o n s   f r o m   W i k t i o n a r y   t o   p r o n u n c i a t i o n s   f r o m   d i c t i o n a r i e s   b a s e d   o n   t h e   G l o b a l   P h o n e   p r o j e c t ,   w h i c h   h a d   b e e n   c r e a t e d   i n   a   r u l e - b a s e d   f a s h i o n   a n d   w e r e   m a n u a l l y   c r o s s - c h e c k e d   [ 2 ] .   S e c o n d ,   w e   a n a l y z e d   t h e   i m p a c t   o f   W i k t i o n a r y   p r o n u n c i a t i o n s   o n   a u t o m a t i c   s p e e c h   r e c o g n i t i o n   ( A S R )   s y s t e m s .   F r e n c h   W i k t i o n a r y   a c h i e v e d   t h e   b e s t   p r o n u n c i a t i o n   c o v e r a g e ,   c o n t a i n i n g   9 2 . 5 8 %   p h o n e t i c   n o t a t i o n s   f o r   t h e   F r e n c h   G l o b a l   P h o n e   w o r d   l i s t   a s   w e l l   a s   7 6 . 1 2 %   a n d   3 0 . 1 6 %   f o r   c o u n t r y   a n d   i n t e r n a t i o n a l   c i t y   n a m e s .   I n   o u r   A S R   s y s t e m s   e v a l u a t i o n ,   t h e   S p a n i s h   s y s t e m   g a i n e d   t h e   m o s t   i m p r o v e m e n t   f r o m   W i k t i o n a r y   p r o n u n c i a t i o n s   w i t h   7 . 2 2 %   r e l a t i v e   w o r d   e r r o r   r a t e   r e d u c t i o n . 	 [ S c h l i p p e ,   T i m ;   O c h s ,   S e b a s t i a n ;   S c h u l t z ,   T a n j a ]   K I T ,   C o g n i t   S y s t   L a b ,   K a r l s r u h e ,   G e r m a n y 	 S c h l i p p e ,   T   ( r e p r i n t   a u t h o r ) ,   K I T ,   C o g n i t   S y s t   L a b ,   K a r l s r u h e ,   G e r m a n y . 	 t i m . s c h l i p p e @ k i t . e d u ;   s e b a s t i a n . o c h s @ s t u d e n t . k i t . e d u ;   t a n j a . s c h u l t z @ k i t . e d u 	 	 	 	 	 B e s l i n g   S . ,   1 9 9 4 ,   K O N V   V I E N N   A U S T R ;   B l a c k   A . ,   1 9 9 8 ,   P   3   E S C A   W O R K S H   S P E E ,   P 7 7 ;   B l a c k   A .   W . ,   2 0 0 8 ,   P   I C A S S P   L A S   V E G   U S ;   D a v e l   M . ,   2 0 0 4 ,   P   8   I C S L P   K O R ;   G h o s h a l   A ,   2 0 0 9 ,   I N T   C O N F   A C O U S T   S P E E ,   P 4 2 8 9 ,   D O I   1 0 . 1 1 0 9 / I C A S S P . 2 0 0 9 . 4 9 6 0 5 7 7 ;   H a n d b o o k   o f   t h e   I n t ,   1 9 9 9 ,   H D B   I N T   P H O N   A S S   G U I ;   K o m i n e k   J . ,   2 0 0 6 ,   P   H U M   L A N G   T E C H N   C   N ,   P 2 3 2 ,   D O I   1 0 . 3 1 1 5 / 1 2 2 0 8 3 5 . 1 2 2 0 8 6 5 ;   L l i t j o s   A .   F . ,   2 0 0 2 ,   P   L R E C 2 0 0 2   L A S   P A L M ;   S C H U L T Z   T . ,   2 0 0 2 ,   P   I C S L P ,   P 3 4 5 ;   S c h u l t z   T . ,   2 0 0 7 ,   P   I N T   A N T W   B E L G   A U G ;   S c h u l t z   T . ,   2 0 0 0 ,   P   I C A S S P   I N S T ;   W o l f e l   M . ,   2 0 0 7 ,   P   I N T ;   Z h u   X . ,   2 0 0 1 ,   P   I N T   C   A C   S P E E C H   S I 	 1 3 	 0 	 0 	 I S C A - I N S T   S P E E C H   C O M M U N I C A T I O N   A S S O C 	 B A I X A S 	 C / O   E M M A N U E L L E   F O X O N E T ,   4   R U E   D E S   F A U V E T T E S ,   L I E U   D I T   L O U S   T O U R I L S ,   B A I X A S ,   F - 6 6 3 9 0 ,   F R A N C E 	 	 	 9 7 8 - 1 - 6 1 7 8 2 - 1 2 3 - 3 	 	 	 	 2 0 1 0 	 	 	 	 	 	 	 2 2 9 0 	 2 2 9 3 	 	 	 	 4 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 B D G 1 8 	 W O S : 0 0 0 3 1 3 0 8 6 5 0 0 1 8 5 	 	 
 S 	 P a r r y ,   D T ;   T s a i ,   T C 	 	 	 I E E E 	 P a r r y ,   D a v i d   T . ;   T s a i ,   T s u n g - C h u n 	 	 	 C r o w d s o u r c i n g   t e c h n i q u e s   t o   c r e a t e   a   f u z z y   s u b s e t   o f   S N O M E D   C T   f o r   s e m a n t i c   t a g g i n g   o f   m e d i c a l   d o c u m e n t s 	 2 0 1 0   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   F U Z Z Y   S Y S T E M S   ( F U Z Z - I E E E   2 0 1 0 ) 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   F u z z y   S y s t e m s 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 2 0 1 0   I E E E   W o r l d   C o n g r e s s   o n   C o m p u t a t i o n a l   I n t e l l i g e n c e 	 J U L   1 8 - 2 3 ,   2 0 1 0 	 B a r c e l o n a ,   S P A I N 	 I E E E ,   I E E E   C o m p u t a t   I n t e l l i g e n c e   S o c ,   I n t   N e u r a l   N e t w o r k   S o c ,   E v o l u t   P r o g r a m   S o c ,   I E T 	 	 f u z z y   l o g i c ;   s e m a n t i c   w e b ;   o n t o l o g i e s 	 W E B 	 O n t o l o g i e s   a n d   o t h e r   s c h e m e s   a r e   u s e f u l   f o r   a l l o w i n g   s e m a n t i c   t a g g i n g   o f   d o c u m e n t s   f o r   m a n y   a p p l i c a t i o n s   o n   t h e   s e m a n t i c   w e b .   R e p r e s e n t i n g   u n c e r t a i n t y   o n   t h e   s e m a n t i c   w e b   i s   b e c o m i n g   i n c r e a s i n g l y   c o m m o n ,   u s i n g   f u z z y   o n t o l o g i e s   a n d   o t h e r   t e c h n i q u e s .   V e r y   l a r g e   o n t o l o g i e s   a n d   v o c a b u l a r i e s   h a v e   b e e n   c r e a t e d ,   h o w e v e r   u s e r s   m a y   f i n d   i t   d i f f i c u l t   t o   s e l e c t   t h e   c o r r e c t   c o n c e p t   o r   t e r m   w h e n   t h e r e   a r e   l a r g e   n u m b e r s   o f   i t e m s   t h a t   o n   f a c e   v a l u e   a p p e a r   t o   r e p r e s e n t   t h e   s a m e   i d e a .   C r e a t i n g   s u b s e t s   o f   o n t o l o g i e s   i s   a   p o p u l a r   a p p r o a c h   t o   s o l v i n g   t h i s   p r o b l e m   b u t   t h i s   m a y   n o t   f i t   w e l l   w i t h   t h e   n e e d   t o   d e a l   w i t h   c o m p l e x   d o m a i n s .   H o w e v e r   c r o w d s o u r c i n g   t e c h n i q u e s ,   w h i c h   h a r n e s s   t h e   p o w e r   o f   l a r g e   g r o u p s ,   m a y   b e   m o r e   e f f e c t i v e   t h a n   d o c u m e n t   a n a l y s i s   o r   e x p e r t   o p i n i o n .   I n   C r o w d s o u r c i n g ,   l a r g e   n u m b e r s   o f   p e o p l e   c o l l a b o r a t e   b y   p e r f o r m i n g   r e l a t i v e l y   s i m p l e   t a s k s   u s u a l l y   u s i n g   a p p l i c a t i o n s   d i s t r i b u t e d   v i a   t h e   W o r l d   W i d e   W e b .   T h i s   a p p r o a c h   i s   b e i n g   t e s t e d   i n   t h e   m e d i c a l   d o m a i n   u s i n g   a   v e r y   l a r g e   c l i n i c a l   v o c a b u l a r y ,   S N O M E D   C T . 	 [ P a r r y ,   D a v i d   T . ;   T s a i ,   T s u n g - C h u n ]   A u c k l a n d   U n i v   T e c h n o l ,   S c h   C o m p   &   M a t h   S c i ,   A u c k l a n d ,   N e w   Z e a l a n d 	 P a r r y ,   D T   ( r e p r i n t   a u t h o r ) ,   A u c k l a n d   U n i v   T e c h n o l ,   S c h   C o m p   &   M a t h   S c i ,   A u c k l a n d ,   N e w   Z e a l a n d . 	 d a v e . p a r r y @ a u t . a c . n z 	 	 	 	 	 A n d e r s o n   D P ,   2 0 0 2 ,   C O M M U N   A C M ,   V 4 5 ,   P 5 6 ,   D O I   1 0 . 1 1 4 5 / 5 8 1 5 7 1 . 5 8 1 5 7 3 ;   A n i k e t   K ,   2 0 0 8 ,   P   2 6   A N N   S I G C H I   C   H U ;   C a l e g a r i   S ,   2 0 0 6 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 0 2 7 ,   P 4 0 4 ;   C o t t e r   C M ,   2 0 0 7 ,   J   C R I T   C A R E ,   V 2 2 ,   P 5 6 ,   D O I   1 0 . 1 0 1 6 / j . j c r c . 2 0 0 7 . 0 1 . 0 0 5 ;   D o l i n   R H ,   2 0 0 1 ,   J   A M   M E D   I N F O R M   A S S N ,   V 8 ,   P 5 5 2 ;   H u b e r m a n   B A ,   2 0 0 8 ,   C O M P U T E R ,   V 4 1 ,   P 1 0 3 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 8 . 4 5 0 ;   H u f f   S M ,   1 9 9 8 ,   J   A M   M E D   I N F O R M   A S S N ,   V 5 ,   P 2 7 6 ;   K a l r a   D i p a k ,   2 0 0 5 ,   S t u d   H e a l t h   T e c h n o l   I n f o r m ,   V 1 1 5 ,   P 1 5 3 ;   M I C H A E L F   J C H ,   2 0 0 6 ,   A M I A   A N N U   S   P ,   P 1 3 1 ;   O ' r e i l l y   T . ,   2 0 0 7 ,   C O M M U N I C A T I O N S   S T R A T ,   P 1 7 ;   O b a m a   B ,   2 0 0 8 ,   N E W   E N G L   J   M E D ,   V 3 5 9 ,   P 1 5 3 7 ,   D O I   1 0 . 1 0 5 6 / N E J M p 0 8 0 7 6 7 7 ;   O ' M a l l e y   K J ,   2 0 0 5 ,   H E A L T H   S E R V   R E S ,   V 4 0 ,   P 1 6 2 0 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 7 5 - 6 7 7 3 . 2 0 0 5 . 0 0 4 4 4 . x ;   O N E I L   M ,   1 9 9 5 ,   M E T H O D   I N F O R M   M E D ,   V 3 4 ,   P 1 8 7 ;   P a t r i c k   J ,   2 0 0 8 ,   H L T H   C A R E   I N F O R M   R E V ;   R i v a d e n e i r a   A . ,   2 0 0 7 ,   P   S I G C H I   C   H U M   F A C T ;   S a n c h e z   E ,   2 0 0 6 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 0 2 7 ,   P 6 9 1 ;   S h a d b o l t   N ,   2 0 0 6 ,   I E E E   I N T E L L   S Y S T ,   V 2 1 ,   P 9 6 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 0 6 . 6 2 ;   S i n g h   P ,   2 0 0 2 ,   L E C T   N O T E S   C O M P U T   S C ,   V 2 5 1 9 ,   P 1 2 2 3 ;   S i o r p a e s   K ,   2 0 0 9 ,   W O R L D   W I D E   W E B ,   V 1 3 ,   P 3 3 ;   S p a c k m a n   K e n t   A ,   2 0 0 5 ,   A M I A   A n n u   S y m p   P r o c ,   P 7 1 4 ;   S t o i l o s   G ,   2 0 0 6 ,   I E E E   I N T E L L   S Y S T ,   V 2 1 ,   P 8 4 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 0 6 . 1 0 5 ;   T h o   Q T ,   2 0 0 6 ,   I E E E   T   K N O W L   D A T A   E N ,   V 1 8 ,   P 8 4 2 ,   D O I   1 0 . 1 1 0 9 / T K D E . 2 0 0 6 . 8 7 ;   * U S   N A T   L I B   M E D ,   2 0 0 1 ,   M E D   S U B J   H E A D ,   V 2 0 0 2 ;   v o n   A h n   L ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 1 ,   P 1 4 6 5 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 0 3 7 9 ;   * W H O ,   2 0 0 1 ,   I C D   1 0   I N T   S T A T   C L A S ,   V 2 0 0 2 ;   W i d y a n t o r o   D H ,   2 0 0 1 ,   J O I N T   9 T H   I F S A   W O R L D   C O N G R E S S   A N D   2 0 T H   N A F I P S   I N T E R N A T I O N A L   C O N F E R E N C E ,   P R O C E E D I N G S ,   V O L S .   1 - 5 ,   P 6 1 0 ;   W o l l e r s h e i m   D ,   2 0 0 2 ,   D A T   E N G   A P P L   S   2 0 0 2 ,   P 2 7 6 ;   Y a n b e   Y ,   2 0 0 7 ,   P R O C E E D I N G S   O F   T H E   7 T H   A C M / I E E   J O I N T   C O N F E R E N C E   O N   D I G I T A L   L I B R A R I E S ,   P 1 0 7 ,   D O I   1 0 . 1 1 4 5 / 1 2 5 5 1 7 5 . 1 2 5 5 1 9 8 ;   Z A D E H   L A ,   1 9 6 5 ,   I N F O R M   C O N T R O L ,   V 8 ,   P 3 3 8 ,   D O I   1 0 . 1 0 1 6 / S 0 0 1 9 - 9 9 5 8 ( 6 5 ) 9 0 2 4 1 - X ;   Z I M M E R M A N N   H ,   1 9 8 0 ,   I E E E   T   C O M M U N ,   V 2 8 ,   P 4 2 5 ,   D O I   1 0 . 1 1 0 9 / T C O M . 1 9 8 0 . 1 0 9 4 7 0 2 	 3 0 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 0 9 8 - 7 5 8 4 	 	 9 7 8 - 1 - 4 2 4 4 - 6 9 2 0 - 8 	 I E E E   I N T   C O N F   F U Z Z Y 	 	 	 2 0 1 0 	 	 	 	 	 	 	 	 	 	 	 	 8 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B T O 0 7 	 W O S : 0 0 0 2 8 7 4 5 3 6 0 1 0 3 3 	 	 
 B 	 W a l t e r ,   T P ;   B a c k ,   A 	 	 Z i m m e r m a n n ,   H D ;   W i c k r a m a s i n g h e ,   N ;   P u c i h a r ,   A ;   G r i c a r ,   J ;   B a b n i k ,   M 	 	 W a l t e r ,   T h o m a s   P . ;   B a c k ,   A n d r e a 	 	 	 C r o w d s o u r c i n g   a s   a   B u s i n e s s   M o d e l :   A n   E x p l o r a t i o n   o f   E m e r g e n t   T e x t b o o k s   H a r n e s s i n g   t h e   W i s d o m   o f   C r o w d s 	 2 3 R D   B L E D   E C O N F E R E N C E   E T R U S T :   I M P L I C A T I O N S   F O R   T H E   I N D I V I D U A L ,   E N T E R P R I S E S   A N D   S O C I E T Y 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 2 3 r d   B l e d   e C o n f e r e n c e   e T r u s t   -   I m p l i c a t i o n s   f o r   t h e   I n d i v i d u a l ,   E n t e r p r i s e s   a n d   S o c i e t y 	 J U N   2 0 - 2 3 ,   2 0 1 0 	 B l e d ,   S L O V E N I A 	 U n i v   M a r i b o r ,   E n t e r ,   G o v t   R e p u b l   S l o v e n i a ,   M i c r o s o f t ,   S R C ,   S l o v e n i a   R e s   A g c y ,   B a l k a n s ,   G o r e n j s k i   G l a s 	 	 c r o w d s o u r c i n g ;   b u s i n e s s   m o d e l   i n n o v a t i o n ;   c o l l a b o r a t i v e   w r i t i n g ;   t e x t b o o k s ;   c a s e   s t u d y   r e s e a r c h 	 	 T h e   p r o c e s s   o f   w r i t i n g   t e x t b o o k s   i s   s t i l l   v e r y   t r a d i t i o n a l   r e g a r d i n g   t h e   s t a t u s   o f   a u t h o r s h i p   a n d   e x p e r t   o p i n i o n s .   R e c e n t l y   w e   o b s e r v e   t h e   e m e r g e n c e   o f   a u t h o r s   w h o   f o l l o w   a   d i f f e r e n t   a p p r o a c h ,   t a p i n g   t h e   w i s d o m   o f   c r o w d s   a s   k e y   r e s o u r c e   o f   t h e i r   o w n   p u b l i c a t i o n s .   I n   t h i s   p a p e r ,   w e   e x p l o r e   b u s i n e s s   m o d e l   i n n o v a t i o n   w h i c h   l e v e r a g e s   v a l u e   p r o p o s i t i o n s   o f   t e x t b o o k s   b y   a p p l y i n g   c r o w d s o u r c i n g .   W e   u s e   c a s e   s t u d y   r e s e a r c h   m e t h o d s   t o   a n a l y z e   f o u r   t e x t b o o k s   w r i t t e n   c o l l a b o r a t i v e l y .   E s s e n t i a l   f i n d i n g s   i n d i c a t e   o c c u r r e n c e   o f   u s e r - c o m m u n i t i e s   f u l f i l l i n g   p e e r - r e v i e w i n g ,   e d i t i n g   o r   c o - a u t h o r i n g   d e s p i t e   a   l a c k   o f   m o n e t a r y   i n c e n t i v e s .   W e   f u r t h e r   d e t e c t   a   t e n d e n c y   t o w a r d s   w i k i   s o f t w a r e   p r o v i d i n g   a   c o m m u n i t y   h u b .   T h i s   p a p e r   e n t e r s   t h e   f i e l d   o f   p a r t i a l l y   c r o w d s o u r c e d   t e x t b o o k s   a n d   d e r i v e s   f u t u r e   q u e s t i o n s   o f   r e s e a r c h . 	 [ W a l t e r ,   T h o m a s   P . ;   B a c k ,   A n d r e a ]   U n i v   S t   G a l l e n ,   I n s t   I n f o r m a t   M a n a g e m e n t ,   S t   G a l l e n ,   S w i t z e r l a n d 	 	 t h o m a s . w a l t e r @ u n i s g . c h ;   a n d r e a . b a c k @ u n i s g . c h 	 	 	 	 	 A f u a h ,   2 0 0 1 ,   I N T E R N E T   B U S I N E S S   M O ;   A l - D e b i ,   2 0 0 8 ,   P   1 4   A M   C   I N F   S Y S T   T ,   P 1 ;   A n d e r s o n ,   2 0 0 8 ,   F R E E   F U T U R E   R A D I C A L ;   A n d e r s s o n ,   2 0 0 6 ,   2 5   I N T   C   C O N C   M O D   E R ;   [ A n o n y m o u s ] ,   2 0 0 9 ,   B O O K S E L L I N G   M A R K E T   R ;   B r a b h a m ,   2 0 0 8 ,   I N T   J   R E S   N E W   M E D I A ,   V 1 4 ,   P 7 5 ;   C a m p o n o v o   a n d   P i g n e u r ,   2 0 0 3 ,   P   5   I N T   C   E N T   I N F   S Y ,   P 1 ;   C h e s b r o u g h ,   2 0 0 6 ,   O P E N   B U S I N E S S   M O D E L S ;   C h e s b r o u g h   V a n h a v e r b e k e   &   W e s t ,   2 0 0 6 ,   O P E N   I N N O V A T I O N   R E S E ;   C l e m o n s ,   2 0 0 9 ,   J   M A N A G E M E N T   I N F O R M ,   V 2 6 ,   P 1 5 ;   C r u m l i s h ,   2 0 1 0 ,   D E S I G N I N G   S O C I A L   I N T ;   C r u m l i s h ,   2 0 0 9 ,   D E S I G N I N G   S O C I A L   I N T ;   E i s e n h a r d t ,   1 9 8 9 ,   A C A D   M A N A G E   R E V ,   V 1 4 ,   P 5 3 2 ;   G i a g l i s ,   2 0 0 3 ,   P   1 6   B L E D   E C O M M E R C E ,   P 3 2 9 ;   H i p p e l   V o n ,   1 9 8 6 ,   M A N A G E   S C I ,   V 3 2 ,   P 7 9 1 ;   H o w e ,   2 0 0 6 ,   R I S E   C R O W D S O U R C I N G ;   H o w e ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   J o h n s o n ,   2 0 0 8 ,   H A R V A R D   B U S   R E V ,   V 8 6 ,   P 5 0 ;   K a w a s a k i ,   2 0 0 6 ,   M Y   N E X T   B O O K   L E T T I N G ;   K r c m a r ,   2 0 0 8 ,   P   4 1   H A W   I N T   C   S Y S T ,   P 1 ;   L e a d b e a t e r ,   2 0 0 9 ,   L E A D B E A T E R   W E   T H I N K ;   L e a d b e a t e r ,   2 0 0 9 ,   W E L C O M E   W E   T H I N K   M A S ;   L e a d b e a t e r ,   2 0 0 8 ,   W E   T H I N K   P O W E R   M A S S ;   L e i m e i s t e r ,   2 0 0 9 ,   J   M A N A G E M E N T   I N F O R M ,   V 2 6 ,   P 1 9 7 ;   M a g r e t t a ,   2 0 0 2 ,   H A R V A R D   B U S   R E V ,   V 8 0 ,   P 8 6 ;   N i e l s e n ,   2 0 0 9 ,   N I E L S E N   B O O K S C A N   2 0 0 ;   O s t e r w a l d e r ,   2 0 0 9 ,   P U B L I S H I N G   C   G U E R I L L ;   O s t e r w a l d e r ,   2 0 0 9 ,   B U S I N E S S   M O D E L   G E N E R ;   O s t e r w a l d e r ,   2 0 0 4 ,   B U S I N E S S   M O D E L   O N T O L ;   P a t e l i ,   2 0 0 4 ,   E U R O P E A N   J   I N F O R M   S Y ,   V 1 3 ,   P 3 0 2 ;   R a j a l a ,   2 0 0 5 ,   1 8   B L E D   E C O M M E R C E   C ,   P 1 ;   R a p p a ,   2 0 0 5 ,   B U S I N E S S   M O D E L S   W E B ;   R o s e n ,   2 0 0 5 ,   A N A T O M Y   B U Z Z   C R E A T E ;   S h a h ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 5 7 ;   S h a n k a r ,   2 0 0 9 ,   Y O U   C A N   B E   P A R T   C R O W ;   S u r o w i e c k i ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   T a p s c o t t ,   2 0 1 0 ,   W I K I N O M I C S   B L O G   A N N O ;   T h e   A s s o c i a t i o n   o f   A m e r i c a n   P u b l i s h e r s ,   2 0 0 9 ,   I N D   S T A T ;   T i m m e r s   P . ,   1 9 9 8 ,   E L E C T R O N   M A R K ,   V 8 ,   P 3 ,   D O I   D O I   1 0 . 1 0 8 0 / 1 0 1 9 6 7 8 9 8 0 0 0 0 0 0 1 6 ;   T o r b a y ,   2 0 0 1 ,   T H U N D E R B I R D   I N T   B U S I ,   V 4 4 ,   P 5 ;   V a r i a n ,   1 9 9 8 ,   I N F O R M   R U L E S   S T R A T E G ;   W i l l i a m s ,   2 0 0 8 ,   W I K I N O M I C S   P L A Y B O O K ;   W i l l i a m s ,   2 0 1 0 ,   W I K I N O M I C S   P L A Y B O O K ;   W i l l i a m s ,   2 0 0 6 ,   W I K I N O M I C S   M A S S   C O L L ;   Y i n ,   2 0 0 9 ,   C A S E   S T U D Y   R E S   D E S I G 	 4 5 	 0 	 0 	 U N I V   M A R I B O R 	 K R A N J 	 F A C   O R G   S C I ,   E C E N T E R ,   K I D R I C E V A   C E S T A   5 5 A ,   K R A N J ,   4 0 0 0 ,   S L O V E N I A 	 	 	 9 7 8 - 9 6 1 - 2 3 2 - 2 3 9 - 7 	 	 	 	 2 0 1 0 	 	 	 	 	 	 	 5 5 5 	 5 6 8 	 	 	 	 1 4 	 B u s i n e s s ;   S o c i a l   I s s u e s 	 B u s i n e s s   &   E c o n o m i c s ;   S o c i a l   I s s u e s 	 B Z M 1 6 	 W O S : 0 0 0 3 0 2 0 0 0 4 0 0 0 3 9 	 	 
 B 	 R a c i n e ,   M ;   L a l a n d e ,   P ;   C o l b y ,   C ;   J o y c e ,   A 	 	 C h o v a ,   L G ;   B e l e n g u e r ,   D M ;   T o r r e s ,   I C 	 	 R a c i n e ,   M a r t i n ;   L a l a n d e ,   P h i l i p p e ;   C o l b y ,   C h a r l e s ;   J o y c e ,   A l e x a n d r e 	 	 	 M E T A C Y C L I N G ,   A N   I N T E R N A T I O N A L   C O L L A B O R A T I V E   P R O J E C T   P R O M O T I N G   S U S T A I N A B L E   D E S I G N 	 4 T H   I N T E R N A T I O N A L   T E C H N O L O G Y ,   E D U C A T I O N   A N D   D E V E L O P M E N T   C O N F E R E N C E   ( I N T E D   2 0 1 0 ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 4 t h   I n t e r n a t i o n a l   T e c h n o l o g y ,   E d u c a t i o n   a n d   D e v e l o p m e n t   C o n f e r e n c e   ( I N T E D ) 	 M A R   0 8 - 1 0 ,   2 0 1 0 	 V a l e n c i a ,   S P A I N 	 	 	 I n d u s t r i a l   D e s i g n ;   W e b   2 . 0 ;   S u s t a i n a b i l i t y 	 	 T h e   s c o p e   o f   t h i s   p a p e r   i s   t o   p r e s e n t   a n   i n n o v a t i v e   r e s e a r c h   p r o j e c t   d e v e l o p e d   i n   c o l l a b o r a t i o n   w i t h   D e s i g n   p r o f e s s o r s   a n d   s t u d e n t s   f r o m   u n i v e r s i t i e s   a r o u n d   t h e   w o r l d ,   i n c l u d i n g   C a n a d a ,   t h e   U n i t e d   S t a t e s   a n d   C h i n a .   M e t a c y c l e   i s   a   w e b   2 . 0   p r o j e c t   ( p l e a s e   v i s i t   w w w . M e t a c y c l e . c a   f o r   d e t a i l s ) ,   w h i c h   a i m s   t o   a l l o w   d e s i g n e r s ,   a n d   a l s o   t h e   g e n e r a l   p u b l i c ,   t o   s h a r e   t h e i r   c r e a t i v e   i d e a s   a b o u t   t h e   p o s s i b i l i t y   o f   g i v i n g   a   s e c o n d   l i f e   t o   o b s o l e t e   p r o d u c t s .   T h e   g e n e r a l   o b j e c t i v e   b e h i n d   t h i s   p r o j e c t   i s   t o   l i m i t   t h e   n e g a t i v e   e n v i r o n m e n t a l   i m p a c t s   c r e a t e d   b y   t h e   d i s c a r d i n g   o f   o b j e c t s   t h a t   w e   u s e   o n   a   d a i l y   b a s i s ,   s u c h   a s   e l e c t r o n i c   d e v i c e s ,   s p o r t s   e q u i p m e n t ,   t o y s ,   e t c .   M o r e   a n d   m o r e   o f   t h e s e   d e v i c e s   a n d   o b j e c t s   h a v e   r e d u c e d   l i f e   s p a n s .   T h i s   i s   p a r t l y   d u e   t o   t e c h n i c a l   e v o l u t i o n ,   b u t   a l s o   d u e   t o   o t h e r   f a c t o r s   s u c h   a s   a e s t h e t i c   o b s o l e s c e n c e ,   d i f f i c u l t y   i n   r e p a i r i n g   o r   s i m p l y   l o s s   o f   i n t e r e s t   ( C h a p m a n ,   2 0 0 5 ) .   A   m a j o r i t y   o f   t h o s e   t e c h n i c a l l y   a d v a n c e d   a n d   s o p h i s t i c a t e d   p r o d u c t s   e n d   u p   i n   l a n d f i l l s   a f t e r   a   s h o r t   t i m e ,   a s   t h e y   a r e   u s u a l l y   n o t   r e c y c l a b l e .   T h i s   m o d e l   o f   p r o d u c t i o n   a n d   c o n s u m p t i o n   i s   o b v i o u s l y   n o t   s u s t a i n a b l e .   H o w   c a n   d e s i g n e r s   a f f e c t   a   p o s i t i v e   c h a n g e   t o   t h i s   n e g a t i v e   s c e n a r i o ?   C a n   w e   p r o p o s e   a n   a l t e r n a t i v e ?   I t   i s   w i t h   t h e s e   q u e s t i o n s   i n   m i n d   t h a t   a   g r o u p   o f   d e s i g n   r e s e a r c h e r s   f r o m   t w o   M o n t r e a l   u n i v e r s i t i e s   h a v e   o r i e n t e d   t h e i r   r e s e a r c h   w i t h   t h e   o b j e c t i v e   o f   p r o p o s i n g   n e w   a v e n u e s   t o   t h e   c u r r e n t   m o d e l .   T h e i r   r e s e a r c h ,   e n t i t l e d   M e t a c y c l e ,   p r o p o s e s   a n   i n t e r a c t i v e   w e b   s i t e   t h a t   e x p l o i t s   t h e   c r e a t i v e   p o t e n t i a l   o f   a   c o n c e p t   k n o w n   a s   " c r o w d s o u r c i n g " ( H o w e ,   2 0 0 6 ) .   T h e   i m p l e m e n t a t i o n   o f   t h i s   p r o j e c t   h a s   b e e n   m a d e   p o s s i b l e   t h r o u g h   t h e   c o l l a b o r a t i o n   o f   a   n u m b e r   o f   d e s i g n   s c h o o l s ,   w h i c h   h a v e   a c c e p t e d   t o   p a r t i c i p a t e   i n   t h e   b e t a   v e r s i o n   o f   M e t a c y c l e   a n d   w h o   w e r e   w i l l i n g   t o   t e s t   a n d   e v a l u a t e   t h e   i n t e r f a c e   o f   t h e   w e b   s i t e . 	 [ R a c i n e ,   M a r t i n ;   L a l a n d e ,   P h i l i p p e ;   C o l b y ,   C h a r l e s ;   J o y c e ,   A l e x a n d r e ]   C o n c o r d i a   U n i v ,   M o n t r e a l ,   P Q ,   C a n a d a 	 	 m r a c i n e @ a l c o r . c o n c o r d i a . c a ;   p h i l i p p e . l a l a n d e @ u m o n t r e a l . c a ;   c h a r l e s . c o l b y @ u m o n t r e a l . c a ;   a . j o y c e @ u m o n t r e a l . c a 	 	 	 	 	 [ A n o n y m o u s ] ,   2 0 0 8 ,   B I G   I D ;   [ A n o n y m o u s ] ,   2 0 0 8 ,   C A N   I   R E C Y C L E   T H I S ;   [ A n o n y m o u s ] ,   2 0 0 8 ,   C   D E S   C O M B   C R E A T   C O N ;   [ A n o n y m o u s ] ,   2 0 0 8 ,   F I N I   D E P O T O I R   V I E U X ;   B r a u n g a r t   M . ,   2 0 0 2 ,   C R A D L E   C R A D L E   R E M A K I ;   B u r n s   M . ,   1 9 9 3 ,   A U T O M A T E D   F A B R I C A T I O ;   C H A P M A N   J . ,   2 0 0 5 ,   E M O T I O N A L L Y   D U R A B L E ;   D e s i g n W S . c o m ,   2 0 0 8 ,   D E S I G N   N E W S ;   F u l l e r   R .   B . ,   1 9 7 0 ,   B U C K M I N S T E R   F U L L E R   R ;   G e r s h e n f e l d   N . ,   1 9 9 9 ,   T H I N G S   S T A R T   T H I N K ;   H o w e   J . ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   P 1 4 0 6 ;   J a c o b s   J . ,   1 9 6 1 ,   D E A T H   L I F E   G R E A T   A M ;   L a l a n d e   P . ,   2 0 0 6 ,   I N T   C   D E S   E M   G O T   S W E ;   N o r m a n   D o n a l d   A . ,   2 0 0 5 ,   E M O T I O N A L   D E S I G N   W H Y ;   P a p a n e k   V . ,   1 9 8 4 ,   D E S I G N   R E A L   W O R L D   H U ;   S t e i n b o c k   N a a m a ,   2 0 0 8 ,   R E D D I S H ;   W i n o g r a d   T e r r y ,   1 9 9 6 ,   B R I N G I N G   D E S I G N   S O F T 	 1 7 	 0 	 0 	 I A T E D - I N T   A S S O C   T E C H N O L O G Y   E D U C A T I O N   A &   D E V E L O P M E N T 	 V A L E N I C A 	 L A U R I   V O L P I   6 ,   V A L E N I C A ,   B U R J A S S O T   4 6 1 0 0 ,   S P A I N 	 	 	 9 7 8 - 8 4 - 6 1 3 - 5 5 3 8 - 9 	 	 	 	 2 0 1 0 	 	 	 	 	 	 	 4 6 6 3 	 4 6 7 1 	 	 	 	 9 	 E d u c a t i o n   &   E d u c a t i o n a l   R e s e a r c h 	 E d u c a t i o n   &   E d u c a t i o n a l   R e s e a r c h 	 B E Z 0 8 	 W O S : 0 0 0 3 1 8 8 0 5 5 0 4 0 6 5 	 	 
 S 	 A l o n s o ,   O ;   S c h e n k e l ,   R ;   T h e o b a l d ,   M 	 	 G u r r i n ,   C ;   H e ,   Y ;   K a z a i ,   G ;   K r u s c h w i t z ,   U ;   L i t t l e ,   S ;   R o e l l e k e ,   T ;   R u g e r ,   S ;   V a n R i j s b e r g e n ,   K 	 	 A l o n s o ,   O m a r ;   S c h e n k e l ,   R a l f ;   T h e o b a l d ,   M a r t i n 	 	 	 C r o w d s o u r c i n g   A s s e s s m e n t s   f o r   X M L   R a n k e d   R e t r i e v a l 	 A D V A N C E S   I N   I N F O R M A T I O N   R E T R I E V A L ,   P R O C E E D I N G S 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 3 2 n d   E u r o p e a n   C o n f e r e n c e   o n   I n f o r m a t i o n   R e t r i e v a l   R e s e a r c h 	 M A R   2 8 - 3 1 ,   2 0 1 0 	 M i l t o n   K e y n e s ,   E N G L A N D 	 O p e n   U n i v ,   D u b l i n   C i t y   U n i v ,   U n i v   E s s e x ,   B r i t i s h   C o m p   S o c ,   I n f o r m a t   R e t r i e v a l   S p e c i a l i s t   G r p ,   A C M   S I G I R ,   A p r i o r i e ,   F L A X ,   I n f o r m a t   R e t r i e v a l   F a c ,   A W S ,   F u n n e l b a c k ,   M i c r o s o f t   R e s ,   G C H Q ,   E x a l e a d ,   G o o g l e ,   Y A H O O 	 	 	 	 C r o w d s o u r c i n g   h a s   g a i n e d   a   l o t   o f   a t t e n t i o n   a s   a   v i a b l e   a p p r o a c h   f o r   c o n d u c t i n g   I R   e v a l u a t i o n s .   T h i s   p a p e r   s h o w s   t h r o u g h   a   s e r i e s   o f   e x p e r i m e n t s   o n   I N E X   d a t a   t h a t   c r o w d s o u r c i n g   c a n   b e   a   g o o d   a l t e r n a t i v e   f o r   r e l e v a n c e   a s s e s s m e n t   i n   t h e   c o n t e x t   o f   X M L   r e t r i e v a l . 	 [ A l o n s o ,   O m a r ;   S c h e n k e l ,   R a l f ;   T h e o b a l d ,   M a r t i n ]   M a x   P l a n c k   I n s t   I n f o r m a t ,   S a a r b r u c k e n ,   G e r m a n y 	 A l o n s o ,   O   ( r e p r i n t   a u t h o r ) ,   M a x   P l a n c k   I n s t   I n f o r m a t ,   S a a r b r u c k e n ,   G e r m a n y . 	 	 	 	 	 	 A L O N S O   O ,   2 0 0 9 ,   S I G I R   I R   E V   W O R K S H ;   D e n o y e r   L . ,   2 0 0 6 ,   S I G I R   F o r u m ,   V 4 0 ;   F u h r   N ,   2 0 0 8 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 8 6 2 ,   P 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 8 5 9 0 2 - 4 _ 1 ;   P i w o w a r s k i   B ,   2 0 0 9 ,   A C M   T   I N F O R M   S Y S T ,   V 2 7 ,   D O I   1 0 . 1 1 4 5 / 1 4 1 6 9 5 0 . 1 4 1 6 9 5 1 ;   S n o w   R . ,   2 0 0 8 ,   E M N L P 	 5 	 3 	 3 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 1 2 2 7 4 - 3 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 0 	 5 9 9 3 	 	 	 	 	 	 6 0 2 	 6 0 6 	 	 	 	 5 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B P N 3 6 	 W O S : 0 0 0 2 7 9 3 9 3 9 0 0 0 5 7 	 	 
 S 	 A l o n s o ,   O ;   B e r b e r i c h ,   K ;   B e d a t h u r ,   S ;   W e i k u m ,   G 	 	 G u r r i n ,   C ;   H e ,   Y ;   K a z a i ,   G ;   K r u s c h w i t z ,   U ;   L i t t l e ,   S ;   R o e l l e k e ,   T ;   R u g e r ,   S ;   V a n R i j s b e r g e n ,   K 	 	 A l o n s o ,   O m a r ;   B e r b e r i c h ,   K l a u s ;   B e d a t h u r ,   S r i k a n t a ;   W e i k u m ,   G e r h a r d 	 	 	 N E A T :   N e w s   E x p l o r a t i o n   A l o n g   T i m e 	 A D V A N C E S   I N   I N F O R M A T I O N   R E T R I E V A L ,   P R O C E E D I N G S 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 3 2 n d   E u r o p e a n   C o n f e r e n c e   o n   I n f o r m a t i o n   R e t r i e v a l   R e s e a r c h 	 M A R   2 8 - 3 1 ,   2 0 1 0 	 M i l t o n   K e y n e s ,   E N G L A N D 	 O p e n   U n i v ,   D u b l i n   C i t y   U n i v ,   U n i v   E s s e x ,   B r i t i s h   C o m p   S o c ,   I n f o r m a t   R e t r i e v a l   S p e c i a l i s t   G r p ,   A C M   S I G I R ,   A p r i o r i e ,   F L A X ,   I n f o r m a t   R e t r i e v a l   F a c ,   A W S ,   F u n n e l b a c k ,   M i c r o s o f t   R e s ,   G C H Q ,   E x a l e a d ,   G o o g l e ,   Y A H O O 	 	 T e m p o r a l   i n f o r m a t i o n   r e t r i e v a l ;   i n f o r m a t i o n   n e e d s ;   W e b   a r c h i v e s ;   u s e r   i n t e r f a c e s ;   e x p l o r a t o r y   s e a r c h ;   c r o w d s o u r c i n g 	 	 	 [ A l o n s o ,   O m a r ]   M i c r o s o f t   C o r p ,   R e d m o n d ,   W A   9 8 0 5 2   U S A 	 A l o n s o ,   O   ( r e p r i n t   a u t h o r ) ,   M i c r o s o f t   C o r p ,   R e d m o n d ,   W A   9 8 0 5 2   U S A . 	 	 	 	 	 	 	 0 	 2 	 2 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 1 2 2 7 4 - 3 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 0 	 5 9 9 3 	 	 	 	 	 	 6 6 7 	 6 6 7 	 	 	 	 1 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B P N 3 6 	 W O S : 0 0 0 2 7 9 3 9 3 9 0 0 0 7 2 	 	 
 S 	 S a j o u s ,   F ;   N a v a r r o ,   E ;   G a u m e ,   B ;   P r e v o t ,   L ;   C h u d y ,   Y 	 	 L o f t s s o n ,   H ;   R o g n v a l d s s o n ,   E ;   H e l g a d o t t i r ,   S 	 	 S a j o u s ,   F r a n c k ;   N a v a r r o ,   E m m a n u e l ;   G a u m e ,   B r u n o ;   P r e v o t ,   L a u r e n t ;   C h u d y ,   Y a n n i c k 	 	 	 S e m i - a u t o m a t i c   E n d o g e n o u s   E n r i c h m e n t   o f   C o l l a b o r a t i v e l y   C o n s t r u c t e d   L e x i c a l   R e s o u r c e s :   P i g g y b a c k i n g   o n t o   W i k t i o n a r y 	 A D V A N C E S   I N   N A T U R A L   L A N G U A G E   P R O C E S S I N G 	 L e c t u r e   N o t e s   i n   A r t i f i c i a l   I n t e l l i g e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 7 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   N a t u r a l   L a n g u a g e   P r o c e s s i n g 	 A U G   1 6 - 1 8 ,   2 0 1 0 	 R e y k j a v i k ,   I C E L A N D 	 I Z E T e a m ,   M i c r o s o f t   I s l a n d ,   P o s t   &   T e l e c o m   A d m   I c e l a n d 	 	 C o l l a b o r a t i v e l y   C o n s t r u c t e d   L e x i c a l   R e s o u r c e s ;   E n d o g e n o u s   E n r i c h m e n t ;   C r o w d s o u r c i n g ;   W i k t i o n a r y ;   R a n d o m   W a l k s 	 	 T h e   l a c k   o f   l a r g e - s c a l e ,   f r e e l y   a v a i l a b l e   a n d   d u r a b l e   l e x i c a l   r e s o u r c e s ,   a n d   t h e   c o n s e q u e n c e s   f o r   N L P ,   i s   w i d e l y   a c k n o w l e d g e d   b u t   t h e   a t t e m p t s   t o   c o p e   w i t h   u s u a l   b o t t l e n e c k s   p r e v e n t i n g   t h e i r   d e v e l o p m e n t   o f t e n   r e s u l t   i n   d e a d - e n d s .   T h i s   a r t i c l e   i n t r o d u c e s   a   l a n g u a g e - i n d e p e n d e n t ,   s e m i - a u t o m a t i c   a n d   e n d o g e n o u s   m e t h o d   f o r   e n r i c h i n g   l e x i c a l   r e s o u r c e s ,   b a s e d   o n   c o l l a b o r a t i v e   e d i t i n g   a n d   r a n d o m   w a l k s   t h r o u g h   e x i s t i n g   l e x i c a l   r e l a t i o n s h i p s ,   a n d   s h o w s   h o w   t h i s   a p p r o a c h   e n a b l e s   u s   t o   o v e r c o m e   r e c u r r e n t   i m p e d i m e n t s .   I t   c o m p a r e s   t h e   i m p a c t   o f   u s i n g   d i f f e r e n t   d a t a   s o u r c e s   a n d   s i m i l a r i t y   m e a s u r e s   o n   t h e   t a s k   o f   i m p r o v i n g   s y n o n y m y   n e t w o r k s .   F i n a l l y ,   i t   d e f i n e s   a n   a r c h i t e c t u r e   f o r   a p p l y i n g   t h e   p r e s e n t e d   m e t h o d   t o   W i k t i o n a r y   a n d   e x p l a i n s   h o w   i t   h a s   b e e n   i m p l e m e n t e d . 	 [ S a j o u s ,   F r a n c k ;   G a u m e ,   B r u n o ;   C h u d y ,   Y a n n i c k ]   C N R S ,   C L L E   E R S S ,   F - 7 5 7 0 0   P a r i s ,   F r a n c e 	 S a j o u s ,   F   ( r e p r i n t   a u t h o r ) ,   C N R S ,   C L L E   E R S S ,   F - 7 5 7 0 0   P a r i s ,   F r a n c e . 	 	 	 	 	 	 B r u n e l l o   M . ,   2 0 0 9 ,   P   W A C 5   5   W O R K S H   W E B ,   P 3 7 ;   E n c y c l o p a e d i a   B r i t a n n i c a ,   2 0 0 6 ,   F A T   F L A W   R E F   R E C   S T U ;   F e l l b a u m   C . ,   1 9 9 8 ,   W O R D N E T   E L E C T   L E X I C A ;   F O R T E   A ,   2 0 0 8 ,   P   H I C S S   W A I K   H I   J A N ;   G A U M E   B ,   2 0 0 8 ,   P A G E R A N K   I N D U C E D   T O P ;   G a u m e   B . ,   2 0 0 5 ,   H I E R A R C H Y   N A T U R A L   S O ,   P 1 2 1 ;   G i l e s   J ,   2 0 0 5 ,   N A T U R E ,   V 4 3 8 ,   P 9 0 0 ,   D O I   1 0 . 1 0 3 8 / 4 3 8 9 0 0 a ;   M e y e r   C M ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 0 0 8 ,   P 3 8 ;   H e a r s t   M . ,   1 9 9 2 ,   P   1 4   I N T   C   C O M P   L I N G ,   P 5 3 9 ;   H u a n g   C .   R . ,   2 0 0 5 ,   C O M P U T A T I O N A L   L I N G U I ,   V 1 0 ,   P 4 1 7 ;   J a c q u i n   C ,   2 0 0 7 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 3 9 4 ,   P 1 2 ;   L A F O U R C A D E   M ,   2 0 0 7 ,   S N L P   2 0 0 7 ;   N a v a r r o   E . ,   2 0 0 9 ,   P   A C L   I J C N L P   W O R K S H ,   P 1 9 ,   D O I   1 0 . 3 1 1 5 / 1 6 9 9 7 6 5 . 1 6 9 9 7 6 8 ;   P a n t e l   P ,   2 0 0 6 ,   C O L I N G / A C L   2 0 0 6 ,   V O L S   1   A N D   2 ,   P R O C E E D I N G S   O F   T H E   C O N F E R E N C E ,   P 1 1 3 ;   R a m a g e   D . ,   2 0 0 7 ,   P   2 0 0 7   J O I N T   C   E M P   M ,   P 5 8 1 ;   S a g o t   B . ,   2 0 0 8 ,   P   O N T O L E X   2 0 0 8   M A R R ;   S E K I N E   S ,   2 0 1 0 ,   F L A R E N E T   F O R   2 0 1 0   B A ;   T u f i s   D a n ,   2 0 0 0 ,   R O M A N I A N   J   I N F O R M   S C ,   V 7 ;   V o o r m a n n   H ,   2 0 0 8 ,   C O R P U S   L I N G U I S T   L I N G ,   V 4 ,   P 2 3 5 ,   D O I   1 0 . 1 5 1 5 / C L L T . 2 0 0 8 . 0 1 0 ;   V o s s e n   P . ,   1 9 9 8 ,   E U R O W O R D N E T   M U L T I L I N ;   W e a l e   T . ,   2 0 0 9 ,   P   A C L   I J C N L P   W O R K S H ,   P 2 8 ,   D O I   1 0 . 3 1 1 5 / 1 6 9 9 7 6 5 . 1 6 9 9 7 6 9 ;   Z E S C H   T ,   2 0 1 0 ,   F L A R E N E T   F O R   2 0 1 0   B A ;   Z e s c h   T ,   2 0 1 0 ,   N A T   L A N G   E N G ,   V 1 6 ,   P 2 5 ,   D O I   1 0 . 1 0 1 7 / S 1 3 5 1 3 2 4 9 0 9 9 9 0 1 6 7 ;   Z e s c h   T ,   2 0 0 8 ,   P   C   L A N G   R E S   E V   L R E C 	 2 4 	 2 	 2 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 1 4 7 6 9 - 2 	 L E C T   N O T E S   A R T I F   I N T 	 	 	 2 0 1 0 	 6 2 3 3 	 	 	 	 	 	 3 3 2 	 3 4 4 	 	 	 	 1 3 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B U F 7 5 	 W O S : 0 0 0 2 8 9 1 8 7 0 0 0 0 3 7 	 	 
 S 	 D i c k i n s o n ,   J L ;   Z u c k e r b e r g ,   B ;   B o n t e r ,   D N 	 	 F u t u y m a ,   D J ;   S h a f e r ,   H B ;   S i m b e r l o f f ,   D 	 	 D i c k i n s o n ,   J a n i s   L . ;   Z u c k e r b e r g ,   B e n j a m i n ;   B o n t e r ,   D a v i d   N . 	 	 	 C i t i z e n   S c i e n c e   a s   a n   E c o l o g i c a l   R e s e a r c h   T o o l :   C h a l l e n g e s   a n d   B e n e f i t s 	 A N N U A L   R E V I E W   O F   E C O L O G Y ,   E V O L U T I O N ,   A N D   S Y S T E M A T I C S ,   V O L   4 1 	 A n n u a l   R e v i e w   o f   E c o l o g y   E v o l u t i o n   a n d   S y s t e m a t i c s 	 	 E n g l i s h 	 R e v i e w ;   B o o k   C h a p t e r 	 	 	 	 	 	 b i o d i v e r s i t y ;   c l i m a t e   c h a n g e ;   c r o w d s o u r c i n g ;   f r a g m e n t a t i o n ;   g e o g r a p h i c a l   e c o l o g y ;   h a b i t a t   l o s s ;   i n v a s i v e   s p e c i e s ;   m a c r o e c o l o g y ;   m o n i t o r i n g ;   o b s e r v e r   q u a l i t y ;   p o p u l a t i o n   e c o l o g y ;   s a m p l i n g   b i a s ;   s a m p l i n g   e r r o r ;   s p a t i a l   e c o l o g y 	 B R E E D I N G   B I R D   S U R V E Y ;   A B U N D A N C E - O C C U P A N C Y   R E L A T I O N S H I P S ;   D O V E   S T R E P T O P E L I A - D E C A O C T O ;   S C A L E   P O P U L A T I O N - D Y N A M I C S ;   R A N G E   S I Z E   R E L A T I O N S H I P ;   I N - H O U S E   F I N C H E S ;   C L I M A T E - C H A N G E ;   M Y C O P L A S M A L   C O N J U N C T I V I T I S ;   M O N I T O R I N G   P R O G R A M S ;   U N I T E D - S T A T E S 	 C i t i z e n   s c i e n c e ,   t h e   i n v o l v e m e n t   o f   v o l u n t e e r s   i n   r e s e a r c h ,   h a s   i n c r e a s e d   t h e   s c a l e   o f   e c o l o g i c a l   f i e l d   s t u d i e s   w i t h   c o n t i n e n t - w i d e ,   c e n t r a l i z e d   m o n i t o r i n g   e f f o r t s   a n d ,   m o r e   r a r e l y ,   t a p p i n g   o f   v o l u n t e e r s   t o   c o n d u c t   l a r g e ,   c o o r d i n a t e d ,   f i e l d   e x p e r i m e n t s   T h e   u n i q u e   b e n e f i t   f o r   t h e   f i e l d   o f   e c o l o g y   l i e s   i n   u n d e r s t a n d i n g   p r o c e s s e s   o c c u r r i n g   a t   b r o a d   g e o g r a p h i c   s c a l e s   a n d   o n   p r i v a t e   l a n d s ,   w h i c h   a r e   i m p o s s i b l e   t o   s a m p l e   e x t e n s i v e l y   w i t h   t r a d i t i o n a l   f i e l d   r e s e a r c h   m o d e l s   C i t i z e n   s c i e n c e   p r o d u c e s   l a r g e ,   l o n g i t u d i n a l   d a t a   s e t s ,   w h o s e   p o t e n t i a l   f o r   e r r o r   a n d   b i a s   i s   p o o r l y   u n d e r s t o o d   B e c a u s e   i t   d o e s   n o t   u s u a l l y   a i m   t o   u n c o v e r   m e c h a n i s m s   u n d e r l y i n g   e c o l o g i c a l   p a t t e r n s ,   c i t i z e n   s c i e n c e   i s   b e s t   v i e w e d   a s   c o m p l e m e n t a r y   t o   m o r e   l o c a l i z e d ,   h y p o t h e s i s - d r i v e n   r e s e a r c h   I n   t h e   p r o c e s s   o f   a d d r e s s i n g   t h e   i m p a c t s   o f   c u r r e n t ,   g l o b a l   " e x p e r i m e n t s "   a l t e r i n g   h a b i t a t   a n d   c l i m a t e ,   l a r g e - s c a l e   c i t i z e n   s c i e n c e   h a s   l e d   t o   n e w ,   q u a n t i t a t i v e   a p p r o a c h e s   t o   e m e r g i n g   q u e s t i o n s   a b o u t   t h e   d i s t r i b u t i o n   a n d   a b u n d a n c e   o f   o r g a n i s m s   a c r o s s   s p a c e   a n d   t i m e 	 [ D i c k i n s o n ,   J a n i s   L . ;   Z u c k e r b e r g ,   B e n j a m i n ;   B o n t e r ,   D a v i d   N . ]   C o r n e l l   L a b   O r n i t h o l ,   I t h a c a ,   N Y   1 4 8 5 0   U S A ;   [ D i c k i n s o n ,   J a n i s   L . ]   C o r n e l l   U n i v ,   D e p t   N a t   R e s o u r c e s ,   D e p t   N a t   R e s o u r c e s   &   G r a d   F i e l d   N e u r o b i o l   &   B e h a v ,   I t h a c a ,   N Y   1 4 8 5 3   U S A 	 D i c k i n s o n ,   J L   ( r e p r i n t   a u t h o r ) ,   C o r n e l l   L a b   O r n i t h o l ,   I t h a c a ,   N Y   1 4 8 5 0   U S A . 	 	 Z u c k e r b e r g ,   B e n j a m i n / B - 7 9 0 7 - 2 0 1 0 ;   B o n t e r ,   D a v i d / H - 1 3 1 3 - 2 0 1 3 	 B o n t e r ,   D a v i d / 0 0 0 0 - 0 0 0 3 - 1 7 6 8 - 1 9 4 1 	 	 	 B a r b e r   N A ,   2 0 0 8 ,   E C O L O G Y ,   V 8 9 ,   P 2 6 7 8 ,   D O I   1 0 . 1 8 9 0 / 0 8 - 0 3 9 5 . 1 ;   B a r t   J ,   1 9 9 5 ,   A U K ,   V 1 1 2 ,   P 7 5 8 ;   B a s   Y ,   2 0 0 8 ,   B I O D I V E R S   C O N S E R V ,   V 1 7 ,   P 3 4 0 3 ,   D O I   1 0 . 1 0 0 7 / s 1 0 5 3 1 - 0 0 8 - 9 4 2 0 - 6 ;   B e t t s   M G ,   2 0 0 7 ,   J   W I L D L I F E   M A N A G E ,   V 7 1 ,   P 2 2 6 6 ,   D O I   1 0 . 2 1 9 3 / 2 0 0 6 - 0 0 4 ;   B l a c k b u r n   T M ,   1 9 9 8 ,   E C O L   L E T T ,   V 1 ,   P 4 7 ,   D O I   1 0 . 1 0 4 6 / j . 1 4 6 1 - 0 2 4 8 . 1 9 9 8 . 0 0 0 0 5 . x ;   B O C K   C E ,   1 9 7 5 ,   W I L S O N   B U L L ,   V 8 7 ,   P 3 5 5 ;   B o h n i n g G a e s e   K ,   1 9 9 6 ,   C O N S E R V   B I O L ,   V 1 0 ,   P 1 7 5 ,   D O I   1 0 . 1 0 4 6 / j . 1 5 2 3 - 1 7 3 9 . 1 9 9 6 . 1 0 0 1 0 1 7 5 . x ;   B o n n e y   R ,   2 0 0 9 ,   B I O S C I E N C E ,   V 5 9 ,   P 9 7 7 ,   D O I   1 0 . 1 5 2 5 / b i o . 2 0 0 9 . 5 9 . 1 1 . 9 ;   B O N T E R   D N ,   2 0 0 3 ,   A M   B I R D S ,   V 1 0 3 ,   P 2 2 ;   B o n t e r   D N ,   2 0 1 0 ,   E C O G R A P H Y ,   V 3 3 ,   P 4 9 4 ,   D O I   1 0 . 1 1 1 1 / j . 1 6 0 0 - 0 5 8 7 . 2 0 0 9 . 0 6 0 1 7 . x ;   B o u l i n i e r   T ,   1 9 9 8 ,   P   N A T L   A C A D   S C I   U S A ,   V 9 5 ,   P 7 4 9 7 ,   D O I   1 0 . 1 0 7 3 / p n a s . 9 5 . 1 3 . 7 4 9 7 ;   B o u l i n i e r   T ,   2 0 0 1 ,   E C O L O G Y ,   V 8 2 ,   P 1 1 5 9 ,   D O I   1 0 . 1 8 9 0 / 0 0 1 2 - 9 6 5 8 ( 2 0 0 1 ) 0 8 2 [ 1 1 5 9 : F F A B C D ] 2 . 0 . C O ; 2 ;   B r o m m e r   J E ,   2 0 0 8 ,   O R N I S   F E N N I C A ,   V 8 5 ,   P 1 0 9 ;   B r o m m e r   J E ,   2 0 0 4 ,   A N N   Z O O L   F E N N ,   V 4 1 ,   P 3 9 1 ;   B r o w n   J H ,   1 9 9 5 ,   M A C R O E C O L O G Y ;   B u r k e   J A ,   2 0 0 6 ,   W O R L D   S E N S   W E B   W O R K S ;   B u t l e r   J R ,   2 0 0 7 ,   A M B I O ,   V 3 6 ,   P 6 5 7 ,   D O I   1 0 . 1 5 7 9 / 0 0 4 4 - 7 4 4 7 ( 2 0 0 7 ) 3 6 [ 6 5 7 : T D O S W D ] 2 . 0 . C O ; 2 ;   C a b e   P R ,   1 9 9 3 ,   B I R D S   N   A M   O N L I N E ;   C a n t e r b u r y   G ,   2 0 0 2 ,   E C O L O G Y ,   V 8 3 ,   P 9 4 6 ,   D O I   1 0 . 2 3 0 7 / 3 0 7 1 9 0 4 ;   C a r s o n   R a c h e l ,   1 9 6 2 ,   S I L E N T   S P R I N G ;   C O H E N   J ,   2 0 0 8 ,   B I O S C I E N C E ,   V 5 8 ,   P 1 9 2 ;   C o o p e r   C B ,   2 0 0 7 ,   E C O L   S O C ,   V 1 2 ;   C o o p e r   C B ,   2 0 0 7 ,   E C O L O G Y ,   V 8 8 ,   P 8 6 4 ,   D O I   1 0 . 1 8 9 0 / 0 6 - 0 8 5 5 ;   C o o p e r   C B ,   2 0 0 5 ,   J   F I E L D   O R N I T H O L ,   V 7 6 ,   P 3 5 2 ;   C o o p e r   C B ,   2 0 0 6 ,   I B I S ,   V 1 4 8 ,   P 2 2 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 7 4 - 9 1 9 x . 2 0 0 6 . 0 0 5 0 0 . x ;   C r o s b i e   S P ,   2 0 0 8 ,   A U K ,   V 1 2 5 ,   P 5 4 2 ,   D O I   1 0 . 1 5 2 5 / a u k . 2 0 0 8 . 0 7 0 4 0 ;   C r o w l   T A ,   2 0 0 8 ,   F R O N T   E C O L   E N V I R O N ,   V 6 ,   P 2 3 8 ,   D O I   1 0 . 1 8 9 0 / 0 7 0 1 5 1 ;   D a r w a l l   W R T ,   1 9 9 6 ,   B I O L   C O N S E R V ,   V 7 8 ,   P 2 2 3 ,   D O I   1 0 . 1 0 1 6 / 0 0 0 6 - 3 2 0 7 ( 9 5 ) 0 0 1 4 7 - 6 ;   D e l a n e y   D G ,   2 0 0 8 ,   B I O L   I N V A S I O N S ,   V 1 0 ,   P 1 1 7 ,   D O I   1 0 . 1 0 0 7 / s 1 0 5 3 0 - 0 0 7 - 9 1 1 4 - 0 ;   d e   S o l l a   S R ,   2 0 0 5 ,   B I O L   C O N S E R V ,   V 1 2 1 ,   P 5 8 5 ,   D O I   1 0 . 1 0 1 6 / j . b i o c o n . 2 0 0 4 . 0 6 . 0 1 8 ;   D h o n d t   A A ,   1 9 9 8 ,   J   W I L D L I F E   D I S ,   V 3 4 ,   P 2 6 5 ;   D U N C A N   J ,   1 9 8 9 ,   P S Y C H O L   R E V ,   V 9 6 ,   P 4 3 3 ,   D O I   1 0 . 1 0 3 7 / / 0 0 3 3 - 2 9 5 X . 9 6 . 3 . 4 3 3 ;   D u n n   A M ,   2 0 0 8 ,   E M U ,   V 1 0 8 ,   P 4 2 ,   D O I   1 0 . 1 0 7 1 / M U 0 7 0 3 4 ;   E r a u d   C ,   2 0 0 7 ,   J   B I O G E O G R ,   V 3 4 ,   P 1 0 7 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 6 9 9 . 2 0 0 6 . 0 1 6 7 3 . x ;   F i e d l e r   W ,   2 0 0 4 ,   A D V   E C O L   R E S ,   V 3 5 ,   P 4 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 6 5 - 2 5 0 4 ( 0 4 ) 3 5 0 0 3 - 8 ;   F I E L D   D ,   2 0 1 0 ,   S O C   N A T U R   R E S O U R ,   V 1 6 ,   P 3 4 9 ;   F I N K   D ,   2 0 1 0 ,   E C O L   A P P L   I N   P R E S S ,   P 2 5 ;   F i t z p a t r i c k   M C ,   2 0 0 9 ,   E C O L   A P P L ,   V 1 9 ,   P 1 6 7 3 ,   D O I   1 0 . 1 8 9 0 / 0 9 - 0 2 6 5 . 1 ;   F r e c k l e t o n   R P ,   2 0 0 6 ,   A M   N A T ,   V 1 6 7 ,   P 2 6 0 ,   D O I   1 0 . 1 0 8 6 / 4 9 8 6 5 5 ;   F r e c k l e t o n   R P ,   2 0 0 5 ,   J   A N I M   E C O L ,   V 7 4 ,   P 3 5 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 6 5 6 . 2 0 0 5 . 0 0 9 3 1 . x ;   F r e e m a n   S N ,   2 0 0 7 ,   B I R D   S T U D Y ,   V 5 4 ,   P 6 1 ;   G a l l o w a y   A W E ,   2 0 0 6 ,   W I L D L I F E   S O C   B ,   V 3 4 ,   P 1 4 2 5 ,   D O I   1 0 . 2 1 9 3 / 0 0 9 1 - 7 6 4 8 ( 2 0 0 6 ) 3 4 [ 1 4 2 5 : T R O C S A ] 2 . 0 . C O ; 2 ;   G a s t o n   K .   J . ,   2 0 0 0 ,   P A T T E R N   P R O C E S S   M A C R ;   G a s t o n   K J ,   1 9 9 8 ,   E C O L   L E T T ,   V 1 ,   P 3 8 ,   D O I   1 0 . 1 0 4 6 / j . 1 4 6 1 - 0 2 4 8 . 1 9 9 8 . 0 0 0 0 4 . x ;   G a s t o n   K J ,   2 0 0 0 ,   J   A P P L   E C O L ,   V 3 7 ,   P 3 9 ,   D O I   1 0 . 1 0 4 6 / j . 1 3 6 5 - 2 6 6 4 . 2 0 0 0 . 0 0 4 8 5 . x ;   G a s t o n   K J ,   1 9 9 8 ,   O I K O S ,   V 8 1 ,   P 3 8 ,   D O I   1 0 . 2 3 0 7 / 3 5 4 6 4 6 5 ;   G e n e t   K S ,   2 0 0 3 ,   W I L D L I F E   S O C   B ,   V 3 1 ,   P 7 0 3 ;   G i b b o n s   D W ,   2 0 0 7 ,   B I R D   S T U D Y ,   V 5 4 ,   P 3 2 4 ;   G r e e n w o o d   J J D ,   2 0 0 7 ,   J   O R N I T H O L ,   V 1 4 8 ,   p S 7 7 ,   D O I   1 0 . 1 0 0 7 / s 1 0 3 3 6 - 0 0 7 - 0 2 3 9 - 9 ;   H a m e s   R S ,   2 0 0 2 ,   P   N A T L   A C A D   S C I   U S A ,   V 9 9 ,   P 1 1 2 3 5 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 7 2 7 0 0 1 9 9 ;   H a n o w s k i   J A M ,   1 9 9 5 ,   J   F I E L D   O R N I T H O L ,   V 6 6 ,   P 4 6 9 ;   H a r r i s   J B C ,   2 0 0 7 ,   A V I A N   C O N S E R V   E C O L ,   V 2 ;   H a r t u p   B K ,   2 0 0 1 ,   J   W I L D L I F E   D I S ,   V 3 7 ,   P 7 2 ;   H a r t u p   B K ,   1 9 9 8 ,   J   W I L D L I F E   D I S ,   V 3 4 ,   P 2 8 1 ;   H e p p e r   F N ,   2 0 0 3 ,   B I O D I V E R S   C O N S E R V ,   V 1 2 ,   P 2 5 0 3 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 2 5 8 4 7 0 2 9 3 7 7 ;   H i c k l i n g   R ,   2 0 0 6 ,   G L O B A L   C H A N G E   B I O L ,   V 1 2 ,   P 4 5 0 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 4 8 6 . 2 0 0 6 . 0 1 1 1 6 . x ;   H i t c h   A T ,   2 0 0 7 ,   C O N S E R V   B I O L ,   V 2 1 ,   P 5 3 4 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 2 3 - 1 7 3 9 . 2 0 0 6 . 0 0 6 0 9 . x ;   H o c h a c h k a   W M ,   2 0 0 6 ,   O R N I T H O L O G I C A L   M O N O G ,   V 6 0 ,   P 3 0 ,   D O I   1 0 . 1 6 4 2 / 0 0 7 8 - 6 5 9 4 ( 2 0 0 6 ) 6 0 [ 3 0 : H F C M P G ] 2 . 0 . C O ; 2 ;   H o c h a c h k a   W M ,   2 0 0 0 ,   P   N A T L   A C A D   S C I   U S A ,   V 9 7 ,   P 5 3 0 3 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 8 0 5 5 1 1 9 7 ;   H o c h a c h k a   W M ,   2 0 0 4 ,   E C O H E A L T H ,   V 1 ,   P 6 0 ,   D O I   1 0 . 1 0 0 7 / s 1 0 3 9 3 - 0 0 4 - 0 0 1 5 - 8 ;   H o w e   J ,   2 0 0 6 ,   W I R E D                       0 6 1 4 ;   H u p p o p   O ,   2 0 0 3 ,   P   R O Y   S O C   B - B I O L   S C I ,   V 2 7 0 ,   P 2 3 3 ,   D O I   1 0 . 1 0 9 8 / r s p b . 2 0 0 2 . 2 2 3 6 ;   I r w i n   A ,   1 9 9 5 ,   C I T I Z E N   S C I   S T U D Y   P E ;   I r w i n   A ,   2 0 0 1 ,   P U B L I C   U N D E R S T   S C I ,   V 1 0 ,   P 1 ,   D O I   1 0 . 1 0 8 8 / 0 9 6 3 - 6 6 2 5 / 1 0 / 1 / 3 0 1 ;   J a m e s   F C ,   1 9 9 6 ,   E C O L O G Y ,   V 7 7 ,   P 1 3 ,   D O I   1 0 . 2 3 0 7 / 2 2 6 5 6 5 0 ;   J e n n i   L ,   2 0 0 3 ,   P   R O Y   S O C   B - B I O L   S C I ,   V 2 7 0 ,   P 1 4 6 7 ,   D O I   1 0 . 1 0 9 8 / r s p b . 2 0 0 3 . 2 3 9 4 ;   J o n e s   C G ,   1 9 9 8 ,   S C I E N C E ,   V 2 7 9 ,   P 1 0 2 3 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 2 7 9 . 5 3 5 3 . 1 0 2 3 ;   J o r d a n   R ,   2 0 0 9 ,   F R O N T   E C O L   E N V I R O N ,   V 7 ,   P 4 9 5 ,   D O I   1 0 . 1 8 9 0 / 0 7 0 1 1 3 ;   K a r a s t i   H . ,   2 0 0 8 ,   I N T   J   D I G I T A L   C U R A T I ,   V 3 ,   P 4 2 ;   K e l l e r   G S ,   2 0 0 7 ,   W I L S O N   J   O R N I T H O L ,   V 1 1 9 ,   P 4 1 0 ,   D O I   1 0 . 1 6 7 6 / 0 4 - 0 3 4 . 1 ;   K e l l i n g   S ,   2 0 0 9 ,   B I O S C I E N C E ,   V 5 9 ,   P 6 1 3 ,   D O I   1 0 . 1 5 2 5 / b i o . 2 0 0 9 . 5 9 . 7 . 1 2 ;   K e n d a l l   W L ,   1 9 9 6 ,   A U K ,   V 1 1 3 ,   P 8 2 3 ;   K o e n i g   W D ,   2 0 0 3 ,   C O N S E R V   B I O L ,   V 1 7 ,   P 1 1 3 4 ,   D O I   1 0 . 1 0 4 6 / j . 1 5 2 3 - 1 7 3 9 . 2 0 0 3 . 0 2 2 6 2 . x ;   K U E P P E R S   L M ,   2 0 0 7 ,   Q U A N T I F Y I N G   E C O S Y S T E ,   P 2 5 ;   K u h n   I ,   2 0 0 8 ,   G L O B A L   E C O L   B I O G E O G R ,   V 1 7 ,   P 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 6 - 8 2 3 8 . 2 0 0 7 . 0 0 3 7 7 . x ;   L a   S o r t e   F A ,   2 0 0 9 ,   P   R O Y   S O C   B - B I O L   S C I ,   V 2 7 6 ,   P 3 1 6 7 ,   D O I   1 0 . 1 0 9 8 / r s p b . 2 0 0 9 . 0 1 6 2 ;   L a w l e r   J J ,   2 0 0 4 ,   C O N D O R ,   V 1 0 6 ,   P 8 0 1 ,   D O I   1 0 . 1 6 5 0 / 7 4 7 2 ;   L e m o i n e   N ,   2 0 0 7 ,   G L O B A L   E C O L   B I O G E O G R ,   V 1 6 ,   P 5 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 6 - 8 2 2 x . 2 0 0 6 . 0 0 2 5 2 . x ;   L E P C Z Y K   C A ,   2 0 0 9 ,   B   E C O L   S O C   A M ,   P 3 0 8 ;   L i n k   W A ,   2 0 0 7 ,   E C O L O G Y ,   V 8 8 ,   P 4 9 ,   D O I   1 0 . 1 8 9 0 / 0 0 1 2 - 9 6 5 8 ( 2 0 0 7 ) 8 8 [ 4 9 : S C O A P C ] 2 . 0 . C O ; 2 ;   L i n k   W A ,   2 0 0 8 ,   J   W I L D L I F E   M A N A G E ,   V 7 2 ,   P 4 4 ,   D O I   1 0 . 2 1 9 3 / 2 0 0 7 - 2 9 9 ;   L i n k   W A ,   1 9 9 9 ,   J   A G R I C   B I O L   E N V I R   S ,   V 4 ,   P 1 1 6 ,   D O I   1 0 . 2 3 0 7 / 1 4 0 0 5 9 2 ;   L o t z   A ,   2 0 0 7 ,   J   W I L D L I F E   M A N A G E ,   V 7 1 ,   P 6 7 5 ,   D O I   1 0 . 2 1 9 3 / 2 0 0 5 - 7 5 9 ;   L o w m a n   M ,   2 0 0 9 ,   S C I E N C E ,   V 3 2 3 ,   P 1 1 7 2 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 6 9 4 5 ;   M a c h l i s   G E ,   1 9 9 7 ,   S O C   N A T U R   R E S O U R ,   V 1 0 ,   P 3 4 7 ,   D O I   1 0 . 1 0 8 0 / 0 8 9 4 1 9 2 9 7 0 9 3 8 1 0 3 4 ;   M a c K e n z i e   D I ,   2 0 0 6 ,   O C C U P A N C Y   E S T I M A T I O N ;   M a c l e a n   I M D ,   2 0 0 8 ,   G L O B A L   C H A N G E   B I O L ,   V 1 4 ,   P 2 4 8 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 4 8 6 . 2 0 0 8 . 0 1 6 6 6 . x ;   M a c m y n o w s k i   D P ,   2 0 0 7 ,   G L O B A L   C H A N G E   B I O L ,   V 1 3 ,   P 2 2 3 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 4 8 6 . 2 0 0 7 . 0 1 4 4 8 . x ;   M a r r a   P P ,   2 0 0 5 ,   O E C O L O G I A ,   V 1 4 2 ,   P 3 0 7 ,   D O I   1 0 . 1 0 0 7 / s 0 0 4 4 2 - 0 0 4 - 1 7 2 5 - x ;   M C C A F F R E Y   R ,   2 0 0 5 ,   U R B A N   H A B I T A T S ,   V 3 ,   P 1 ;   M c G o w a n   K .   J . ,   2 0 0 8 ,   2   A T L A S   B R E E D I N G   B I R ,   P 1 5 ;   M e y e r s o n   L A ,   2 0 0 7 ,   F R O N T   E C O L   E N V I R O N ,   V 5 ,   P 1 9 9 ,   D O I   1 0 . 1 8 9 0 / 1 5 4 0 - 9 2 9 5 ( 2 0 0 7 ) 5 [ 1 9 9 : I A S I A E ] 2 . 0 . C O ; 2 ;   N e w m a n   C ,   2 0 0 3 ,   B I O L   C O N S E R V ,   V 1 1 3 ,   P 1 8 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 0 6 - 3 2 0 7 ( 0 2 ) 0 0 3 7 4 - 9 ;   N i c h o l s   J D ,   2 0 0 6 ,   T R E N D S   E C O L   E V O L ,   V 2 1 ,   P 6 6 8 ,   D O I   1 0 . 1 0 1 6 / j . t r e e . 2 0 0 6 . 0 8 . 0 0 7 ;   N i e m u t h   N D ,   2 0 0 7 ,   J   W I L D L I F E   M A N A G E ,   V 7 1 ,   P 2 2 5 8 ,   D O I   1 0 . 2 1 9 3 / 2 0 0 6 - 2 8 1 ;   P a b i a n   S E ,   2 0 0 7 ,   E C O L   A P P L ,   V 1 7 ,   P 2 1 8 4 ,   D O I   1 0 . 1 8 9 0 / 0 7 - 0 3 9 4 . 1 ;   P a r m e s a n   C ,   2 0 0 3 ,   N A T U R E ,   V 4 2 1 ,   P 3 7 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 1 2 8 6 ;   P E N R O S E   D ,   1 9 9 5 ,   J   N   A M   B E N T H O L   S O C ,   V 1 4 ,   P 2 0 3 ,   D O I   1 0 . 2 3 0 7 / 1 4 6 7 7 3 5 ;   P e t r i e   S A ,   2 0 0 3 ,   W I L D L I F E   S O C   B ,   V 3 1 ,   P 4 0 7 ;   P i e r c e   B A ,   2 0 0 7 ,   J   H E R P E T O L ,   V 4 1 ,   P 4 2 4 ,   D O I   1 0 . 1 6 7 0 / 0 0 2 2 - 1 5 1 1 ( 2 0 0 7 ) 4 1 [ 4 2 4 : I V I F C S ] 2 . 0 . C O ; 2 ;   R A T C L I F F   J ,   2 0 0 8 ,   T R A N S I T   V E N U S   E N T E R P ;   R E P A S K Y   R R ,   1 9 9 1 ,   E C O L O G Y ,   V 7 2 ,   P 2 2 7 4 ,   D O I   1 0 . 2 3 0 7 / 1 9 4 1 5 7 7 ;   R O B B I N S   C S ,   1 9 8 9 ,   P   N A T L   A C A D   S C I   U S A ,   V 8 6 ,   P 7 6 5 8 ,   D O I   1 0 . 1 0 7 3 / p n a s . 8 6 . 1 9 . 7 6 5 8 ;   R o c h a - C a m a r e r o   G ,   2 0 0 2 ,   B I R D   S T U D Y ,   V 4 9 ,   P 1 1 ;   R O O T   T ,   1 9 8 8 ,   J   B I O G E O G R ,   V 1 5 ,   P 4 8 9 ,   D O I   1 0 . 2 3 0 7 / 2 8 4 5 2 7 8 ;   R o y l e   J A ,   2 0 0 7 ,   E C O L   M O N O G R ,   V 7 7 ,   P 4 6 5 ,   D O I   1 0 . 1 8 9 0 / 0 6 - 0 9 1 2 . 1 ;   R o y l e   J A ,   2 0 0 5 ,   O I K O S ,   V 1 1 0 ,   P 3 5 3 ,   D O I   1 0 . 1 1 1 1 / j . 0 0 3 0 - 1 2 9 9 . 2 0 0 5 . 1 3 5 3 4 . x ;   S a l a   O E ,   2 0 0 0 ,   S C I E N C E ,   V 2 8 7 ,   P 1 7 7 0 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 2 8 7 . 5 4 5 9 . 1 7 7 0 ;   S A U E R   J R ,   1 9 9 4 ,   A U K ,   V 1 1 1 ,   P 5 0 ;   S c h m e l l e r   D S ,   2 0 0 9 ,   C O N S E R V   B I O L ,   V 2 3 ,   P 3 0 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 2 3 - 1 7 3 9 . 2 0 0 8 . 0 1 1 2 5 . x ;   S i l v e r t o w n   J . ,   2 0 0 9 ,   T R E N D S   E C O L   E V O L ,   V 1 1 1 8 ,   P 1 ;   S i m o n s   T R ,   2 0 0 7 ,   A U K ,   V 1 2 4 ,   P 9 8 6 ,   D O I   1 0 . 1 6 4 2 / 0 0 0 4 - 8 0 3 8 ( 2 0 0 7 ) 1 2 4 [ 9 8 6 : E A O T A D ] 2 . 0 . C O ; 2 ;   S o r t e   F . A . L . ,   2 0 0 7 ,   E C O L O G Y ,   V 8 8 ,   P 1 8 0 3 ,   D O I   1 0 . 1 8 9 0 / 0 6 - 1 0 7 2 . 1 ;   S t o h l g r e n   T J ,   2 0 0 6 ,   B I O L   I N V A S I O N S ,   V 8 ,   P 4 2 7 ,   D O I   1 0 . 1 0 0 7 / s 1 0 5 3 0 - 0 0 5 - 6 4 2 2 - 0 ;   S t o l e s o n   S H ,   1 9 9 7 ,   E C O L   M O N O G R ,   V 6 7 ,   P 1 3 1 ;   S T U T C H B U R Y   B .   J .   M . ,   2 0 0 7 ,   S I L E N C E   S O N G B I R D S ;   T h o m a s   C D ,   1 9 9 9 ,   N A T U R E ,   V 3 9 9 ,   P 2 1 3 ,   D O I   1 0 . 1 0 3 8 / 2 0 3 3 5 ;   T o r n   M S ,   2 0 0 6 ,   G E O P H Y S   R E S   L E T T ,   V 3 3 ,   D O I   1 0 . 1 0 2 9 / 2 0 0 5 G L 0 2 5 5 4 0 ;   V a l l e c i l l o   S ,   2 0 0 9 ,   E C O L   A P P L ,   V 1 9 ,   P 5 3 8 ,   D O I   1 0 . 1 8 9 0 / 0 8 - 0 3 4 8 . 1 ;   V e n i e r   L A ,   2 0 0 4 ,   J   B I O G E O G R ,   V 3 1 ,   P 3 1 5 ;   V i l l a r d   M A ,   1 9 9 6 ,   E C O L O G Y ,   V 7 7 ,   P 5 9 ,   D O I   1 0 . 2 3 0 7 / 2 2 6 5 6 5 4 ;   V i l l a r d   M A ,   1 9 9 9 ,   C O N S E R V   B I O L ,   V 1 3 ,   P 7 7 4 ,   D O I   1 0 . 1 0 4 6 / j . 1 5 2 3 - 1 7 3 9 . 1 9 9 9 . 9 8 0 5 9 . x ;   V i s s e r   M E ,   2 0 0 9 ,   G L O B A L   C H A N G E   B I O L ,   V 1 5 ,   P 1 8 5 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 4 8 6 . 2 0 0 9 . 0 1 8 6 5 . x ;   V i s s e r   M E ,   1 9 9 8 ,   P   R O Y   S O C   B - B I O L   S C I ,   V 2 6 5 ,   P 1 8 6 7 ;   W a l t h e r   G R ,   2 0 0 2 ,   N A T U R E ,   V 4 1 6 ,   P 3 8 9 ,   D O I   1 0 . 1 0 3 8 / 4 1 6 3 8 9 a ;   W e b b   T J ,   2 0 0 7 ,   J   A N I M   E C O L ,   V 7 6 ,   P 1 2 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 6 5 6 . 2 0 0 6 . 0 1 1 9 2 . x ;   W e i r   L A ,   2 0 0 5 ,   J   H E R P E T O L ,   V 3 9 ,   P 6 2 7 ;   W i n k l e r   D W ,   2 0 0 2 ,   P   N A T L   A C A D   S C I   U S A ,   V 9 9 ,   P 1 3 5 9 5 ,   D O I   1 0 . 1 0 7 3 / p n a s . 2 1 2 2 5 1 9 9 9 ;   W O O T T O N   J T ,   1 9 8 7 ,   O E C O L O G I A ,   V 7 1 ,   P 3 2 5 ,   D O I   1 0 . 1 0 0 7 / B F 0 0 3 7 8 7 0 3 ;   Y o c c o z   N G ,   2 0 0 1 ,   T R E N D S   E C O L   E V O L ,   V 1 6 ,   P 4 4 6 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 9 - 5 3 4 7 ( 0 1 ) 0 2 2 0 5 - 4 ;   Z u c k e r b e r g   B ,   2 0 1 0 ,   B I O L   C O N S E R V ,   V 1 4 3 ,   P 9 5 2 ,   D O I   1 0 . 1 0 1 6 / j . b i o c o n . 2 0 1 0 . 0 1 . 0 0 4 ;   Z u c k e r b e r g   B ,   2 0 0 9 ,   G L O B A L   C H A N G E   B I O L ,   V 1 5 ,   P 1 8 6 6 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 4 8 6 . 2 0 0 9 . 0 1 8 7 8 . x ;   Z u c k e r b e r g   B ,   2 0 0 9 ,   J   A N I M   E C O L ,   V 7 8 ,   P 1 7 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 6 5 6 . 2 0 0 8 . 0 1 4 6 3 . x 	 1 3 3 	 9 6 	 1 0 4 	 A N N U A L   R E V I E W S 	 P A L O   A L T O 	 4 1 3 9   E L   C A M I N O   W A Y ,   P O   B O X   1 0 1 3 9 ,   P A L O   A L T O ,   C A   9 4 3 0 3 - 0 8 9 7   U S A 	 1 5 4 3 - 5 9 2 X 	 	 9 7 8 - 0 - 8 2 4 3 - 1 4 4 1 - 5 	 A N N U   R E V   E C O L   E V O L   S 	 A n n u .   R e v .   E c o l .   E v o l .   S y s t . 	 	 2 0 1 0 	 4 1 	 	 	 	 	 	 1 4 9 	 1 7 2 	 	 1 0 . 1 1 4 6 / a n n u r e v - e c o l s y s - 1 0 2 2 0 9 - 1 4 4 6 3 6 	 	 2 4 	 E c o l o g y ;   E v o l u t i o n a r y   B i o l o g y 	 E n v i r o n m e n t a l   S c i e n c e s   &   E c o l o g y ;   E v o l u t i o n a r y   B i o l o g y 	 B S M 9 2 	 W O S : 0 0 0 2 8 4 9 7 8 2 0 0 0 0 8 	 	 
 B 	 Z h e n g ,   J ;   J a k i e l a ,   M J 	 	 	 A S M E 	 Z h e n g ,   J i n g ;   J a k i e l a ,   M a r k   J . 	 	 	 A N   I N V E S T I G A T I O N   O F   T H E   P R O D U C T I V I T Y   D I F F E R E N C E   I N   M E C H A N I C A L   E M B O D I M E N T   D E S I G N   B E T W E E N   F A C E - T O - F A C E   A N D   T H R E A D E D   O N L I N E   C O L L A B O R A T I O N 	 A S M E   I N T E R N A T I O N A L   D E S I G N   E N G I N E E R I N G   T E C H N I C A L   C O N F E R E N C E S   A N D   C O M P U T E R S   A N D   I N F O R M A T I O N   I N   E N G I N E E R I N G   C O N F E R E N C E ,   P R O C E E D I N G S ,   V O L   2 ,   P T S   A   A N D   B 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 A S M E   I n t e r n a t i o n a l   D e s i g n   E n g i n e e r i n g   T e c h n i c a l   C o n f e r e n c e s / C o m p u t e r s   a n d   I n f o r m a t i o n   i n   E n g i n e e r i n g   C o n f e r e n c e 	 A U G   3 0 - S E P   0 2 ,   2 0 0 9 	 S a n   D i e g o ,   C A 	 A S M E ,   D e s i g n   E n g n   D i v ,   A S M E ,   C o m p u t e r s   &   I n f o   E n g n   D i v 	 	 	 C O M M U N I C A T I O N ;   T E A M S 	 T h e   t h r e a d e d   o n l i n e ,   a l s o   k n o w n   a s   " f o r u m , "   c o l l a b o r a t i o n   m e t h o d   i s   w i d e l y   u s e d   b y   o p e n   s o u r c e   s o f t w a r e   p r o j e c t s   A s   o p e n   s o u r c e   a n d   C r o w d s o u r c i n g   [ 3 ]   d e s i g n   a p p r o a c h e s   g a i n   a t t e n t i o n ,   t h e r e   i s   a   n e e d   t o   e x p l o r e   w h e t h e r   t h e   t h r e a d e d   o n l i n e   m e t h o d   w o u l d   c o m p e t e   w i t h   t h e   m o r e   t r a d i t i o n a l   m e t h o d ,   f a c e   t o   f a c e ,   i n   m e c h a n i c a l   e n g i n e e r i n g   d e s i g n   i n   t e r m s   o f   p r o d u c t i v i t y   O u r   e x p e r i m e n t   s h o w s   t h a t   w i t h   a   s u i t a b l y   s i z e d   c h a l l e n g e ,   t h e   t h r e a d e d   o n l i n e   m e t h o d   d o e s   g e n e r a t e   a b o u t   e q u a l   p r o d u c t i v i t y   a s   t h e   f a c e - t o - f a c e   m e t h o d   H o w e v e r ,   t h e   p a r t i c i p a t i o n   r a t e s   a r e   l o w e r   i n   t h e   t h r e a d e d   o n l i n e   m e t h o d   a n d   t h e   p a r t i c i p a n t s '   s a t i s f a c t i o n   w i t h   t h e   e x p e r i e n c e   w a s   a l s o   l e s s   T h i s   s u g g e s t s   t h a t   a d d i t i o n a l   c o m m u n i c a t i o n   m e c h a n i s m s   a r e   n e e d e d   t o   f a c i l i t a t e   t h e   t h r e a d e d   o n l i n e   m e t h o d ,   a n d   m a n a g e m e n t   m e c h a n i s m s   s h o u l d   b e   i m p o s e d   W e   a l s o   i d e n t i f i e d   t w o   p h e n o m e n a   t h a t   w a r r a n t   f u r t h e r   i n v e s t i g a t i o n   T h e   f i r s t   i s   w h a t   w e   c a l l   " i n e r t i a   l o a f i n g "   E n t h u s i a s m   a m o n g   o n l i n e   c o m m u n i t y   m e m b e r s   i s   f r a g i l e   A   s m a l l   d r o p   i n   s a t i s f a c t i o n   l e v e l   c a n   c a u s e   m a n y   t o   b e c o m e   u n w i l l i n g   t o   p a r t i c i p a t e   T h e   s e c o n d   i s   t h a t   a n   o n l i n e   c o m m u n i t y   t e n d s   t o   h a v e   t w o   k i n d s   o f   m e m b e r s   " p l a y e r s "   w h o   a r e   r e s p o n s i b l e   f o r   m o s t   c o n t e n t   c r e a t i o n ,   a n d   " c h e e r   l e a d e r s "   w h o   p r o v i d e   f e e d b a c k   o r   p r o v i d e   a n   a s s i s t i n g   f u n c t i o n 	 [ Z h e n g ,   J i n g ;   J a k i e l a ,   M a r k   J . ]   W a s h i n g t o n   U n i v ,   D e p t   M e c h   A e r o s p   &   S t r u c t   E n g n ,   S t   L o u i s ,   M O   6 3 1 3 0   U S A 	 J a k i e l a ,   M J   ( r e p r i n t   a u t h o r ) ,   W a s h i n g t o n   U n i v ,   D e p t   M e c h   A e r o s p   &   S t r u c t   E n g n ,   S t   L o u i s ,   M O   6 3 1 3 0   U S A . 	 	 	 	 	 	 A M A B I L E   T M ,   1 9 8 2 ,   J   P E R S   S O C   P S Y C H O L ,   V 4 3 ,   P 9 9 7 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 4 3 . 5 . 9 9 7 ;   B o u t e l l i e r   R ,   1 9 9 8 ,   R & D   M A N A G E ,   V 2 8 ,   P 1 3 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 9 3 1 0 . 0 0 0 7 7 ;   D I E H L   M ,   1 9 8 7 ,   J   P E R S   S O C   P S Y C H O L ,   V 5 3 ,   P 4 9 7 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 5 3 . 3 . 4 9 7 ;   F R E N C H   M J ,   1 9 7 1 ,   E N G   D E S I G N   C O N C E P T U A ;   G A L L U P E   R B ,   1 9 9 2 ,   A C A D   M A N A G E   J ,   V 3 5 ,   P 3 5 9 ;   H E N N E S S E Y   B A ,   1 9 9 9 ,   E N C Y   C R E A T I V I T Y ,   V 1 ,   P 3 4 7 ;   H O W E   J ,   2 0 0 6 ,   W I R E D                         J U N ,   P 1 7 6 ;   J A K I E L A   M J ,   2 0 0 8 ,   P   2 0 0 8   A S M E   D E S   E N G ,   V 4 ,   P 7 1 1 ;   L A T A N E   B ,   1 9 7 9 ,   J   P E R S   S O C   P S Y C H O L ,   V 3 7 ,   P 8 2 2 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 2 - 3 5 1 4 . 3 7 . 6 . 8 2 2 ;   L i g o r i o   M B ,   2 0 0 1 ,   C O M P U T   E D U C ,   V 3 7 ,   P 1 0 3 ,   D O I   1 0 . 1 0 1 6 / S 0 3 6 0 - 1 3 1 5 ( 0 1 ) 0 0 0 3 9 - 2 ;   M e y e r   K .   A . ,   2 0 0 3 ,   J   A S Y N C H R O N O U S   L E A R N ,   V 7 ;   O c k e r   R J ,   1 9 9 9 ,   G R O U P   D E C I S   N E G O T ,   V 8 ,   P 4 2 7 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 0 8 6 2 1 8 2 7 6 0 1 ;   P A H L   G ,   1 9 9 6 ,   E N G   D E S I G N   S Y S T E M A T I ;   R a y m o n d   E r i c   S t e v e n ,   2 0 0 0 ,   C A T H E D R A L   B A Z A A R   V E R ;   S A W Y E R   K ,   2 0 0 7 ,   G R O U P   G E N I U S   C R E A T I V ,   P 3 9 ;   S C H O N F E L D   E ,   2 0 0 8 ,   T E C H C R U N C H             0 2 1 8 ;   S C H O N F E L D   E ,   2 0 0 8 ,   T E C H C R U N C H             0 5 1 2 ;   S u t h e r s   D ,   2 0 0 3 ,   C O M   S   C O L L   L E A R N ,   V 2 ,   P 1 7 3 ;   Y a n g   M C ,   2 0 0 8 ,   I N T   J   E N G   E D U C ,   V 2 4 ,   P 4 0 0 ;   Z H E N G   J ,   2 0 1 0 ,   A R T I F I C I A L   I N T   U N P U B ,   V 2 4 	 2 0 	 0 	 0 	 A M E R   S O C   M E C H A N I C A L   E N G I N E E R S 	 N E W   Y O R K 	 T H R E E   P A R K   A V E N U E ,   N E W   Y O R K ,   N Y   1 0 0 1 6 - 5 9 9 0   U S A 	 	 	 9 7 8 - 0 - 7 9 1 8 - 4 8 9 9 - 9 	 	 	 	 2 0 1 0 	 	 	 	 	 	 	 1 1 7 3 	 1 1 8 2 	 	 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   E n g i n e e r i n g ,   M e c h a n i c a l 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B S U 9 4 	 W O S : 0 0 0 2 8 5 8 5 0 2 0 0 1 2 7 	 	 
 J 	 T h u r z o ,   A ;   S t a n k o ,   P ;   U r b a n o v a ,   W ;   L y s y ,   J ;   S u c h a n c o v a ,   B ;   M a k o v n i k ,   M ;   J a v o r k a ,   V 	 	 	 	 T h u r z o ,   A . ;   S t a n k o ,   P . ;   U r b a n o v a ,   W . ;   L y s y ,   J . ;   S u c h a n c o v a ,   B . ;   M a k o v n i k ,   M . ;   J a v o r k a ,   V 	 	 	 T h e   W E B   2 . 0   i n d u c e d   p a r a d i g m   s h i f t   i n   t h e   e - l e a r n i n g   a n d   t h e   r o l e   o f   c r o w d s o u r c i n g   i n   d e n t a l   e d u c a t i o n 	 B R A T I S L A V A   M E D I C A L   J O U R N A L - B R A T I S L A V S K E   L E K A R S K E   L I S T Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 d e n t a l   e d u c a t i o n ;   e - l e a r n i n g ;   d e n t a l   i n f o r m a t i c s ;   c r o w d s o u r c i n g ;   W e b   2 . 0 ;   k n o w l e d g e   r e t e n t i o n 	 	 O b j e c t i v e s :   A u t h o r s   e v a l u a t e d   t h e   e f f e c t   o f   t h e   W E B   2 . 0   e n v i r o n m e n t   o n   d e n t a l   e d u c a t i o n   a n d   e s t i m a t e d   t h e   d i f f e r e n c e   i n   r e t e n t i o n   o f   k n o w l e d g e   b y   c e p h a l o m e t r i c   a n a l y s i s   i n   o r t h o d o n t i c s   b e t w e e n   c o n v e n t i o n a l   e d u c a t i o n   a n d   o f f - l i n e   e - l e a r n i n g .   B a c k g r o u n d :   F i v e   y e a r s   o f   e x p e r i e n c e   w i t h   c o m p l e x   w e b - b a s e d   e - l e a r n i n g   s y s t e m   a l l o w e d   t h e   e v a l u a t i o n   b y   r e t r o s p e c t i v e   a n a l y s i s   a n d   o n - l i n e   q u e s t i o n n a i r e .   R e s u l t s :   T h e   r e s u l t s   r e v e a l e d   t h e   c u r r e n t   t r e n d s   i n   o n - l i n e   b e h a v i o r   o f   s t u d e n t s   b a s e d   o n   t h e   W E B   2 . 0   i n n o v a t i v e   t e c h n o l o g i e s   l i k e   A j a x .   R e s u l t s   c o n f i r m e d   a n   i n c r e a s i n g   n u m b e r   o f   r e s o u r c e s   w i t h   a   r i s i n g   f r e q u e n c y   o f   e - l e a r n i n g   m a t e r i a l s .   C o n c l u s i o n :   T h e   s t u d y   c o n f i r m e d   t h a t   e - l e a r n i n g   o f   t h e   s a m e   s u b j e c t   i s   m o r e   e f f i c i e n t   i n   i m m e d i a t e   e x a m i n a t i o n   a f t e r   t h e   l e c t u r e   w i t h   e v e n   b e t t e r   r e s u l t s   a f t e r   1 2   a n d   2 4   m o n t h s   a g a i n s t   t h e   c o n t r o l   g r o u p   ( T a b .   3 ,   F i g .   1 ,   R e f .   2 6 ) .   F u l l   T e x t   ( F r e e ,   P D F )   w w w . b m j . s k . 	 [ T h u r z o ,   A . ;   L y s y ,   J . ;   S u c h a n c o v a ,   B . ]   C o m e n i u s   U n i v ,   F a c   M e d ,   D e p t   D e n t   &   M a x i l l o f a c i a l   S u r g ,   D e p t   O r t h o d o n t ,   B r a t i s l a v a ,   S l o v a k i a ;   [ T h u r z o ,   A . ;   S t a n k o ,   P . ;   L y s y ,   J . ;   S u c h a n c o v a ,   B . ;   J a v o r k a ,   V ]   S t   E l i s a b e t h   I n s t   O n c o l ,   B r a t i s l a v a ,   S l o v a k i a ;   [ J a v o r k a ,   V ]   C o m e n i u s   U n i v ,   F a c   M e d ,   D e p t   D e n t   &   M a x i l l o f a c i a l   S u r g ,   D e p t   C o n s e r v a t   D e n t ,   B r a t i s l a v a ,   S l o v a k i a ;   [ S t a n k o ,   P . ]   C o m e n i u s   U n i v ,   F a c   M e d ,   D e p t   D e n t   &   M a x i l l o f a c i a l   S u r g ,   D e p t   M a x i l l o f a c i a l   S u r g ,   B r a t i s l a v a ,   S l o v a k i a ;   [ U r b a n o v a ,   W . ]   C h a r l e s   U n i v   P r a g u e ,   D e p t   O r t h o d o n t   &   C l e f t   A n o m a l i e s ,   F a c   H o s p   R o y a l   V i n e y a r d ,   D e n t   D e p t , M e d   F a c   3 ,   P r a g u e ,   C z e c h   R e p u b l i c ;   [ M a k o v n i k ,   M . ]   U n i v   H o s p ,   B r a t i s l a v a ,   S l o v a k i a 	 T h u r z o ,   A   ( r e p r i n t   a u t h o r ) ,   W o l k r o v a   3 3 ,   S K - 8 5 1 0 1   B r a t i s l a v a ,   S l o v a k i a . 	 A n d r e j T h u r z o @ h o t m a i l . c o m 	 	 	 M i n i s t r y   o f   E d u c a t i o n   o f   t h e   S l o v a k   R e p u b l i c :   C u l t u r e   a n d   e d u c a t i o n   g r a n t   a g e n c y   K E G A   [ 3 / / 6 0 5 5 / 0 8 ] ;   A p p l i e d   r e s e a r c h   f u n d i n g   a g e n c y   A V   [ 4 / 2 0 2 7 / 0 8 ] ;   S c i e n t i f i c   g r a n t   a g e n c y   V E G A   [ 1 / 0 4 6 0 / 0 9 ] ;   M i n i s t r y   o f   h e a l t h   o f   t h e   S l o v a k   R e p u b l i c   [ 2 0 0 7 / 3 7 - U K - 1 9 ] ;   G r a n t   o f   C o m e n i u s   U n i v e r s i t y   G U K   [ U K   8 0 - 2 0 0 8 ] 	 W i t h   t h e   s u p p o r t   o f   T h e   M i n i s t r y   o f   E d u c a t i o n   o f   t h e   S l o v a k   R e p u b l i c :   C u l t u r e   a n d   e d u c a t i o n   g r a n t   a g e n c y   K E G A - # 3 / / 6 0 5 5 / 0 8 ,   A p p l i e d   r e s e a r c h   f u n d i n g   a g e n c y   A V - # 4 / 2 0 2 7 / 0 8 ,   S c i e n t i f i c   g r a n t   a g e n c y   V E G A - # 1 / 0 4 6 0 / 0 9 , T h e   M i n i s t r y   o f   h e a l t h   o f   t h e   S l o v a k   R e p u b l i c ,   R e s e a r c h   g r a n t   # 2 0 0 7 / 3 7 - U K - 1 9   G r a n t   o f   C o m e n i u s   U n i v e r s i t y   G U K - # U K   8 0 - 2 0 0 8 	 A l y   M ,   2 0 0 4 ,   E u r   J   D e n t   E d u c ,   V 8 ,   P 4 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 6 0 0 - 0 5 7 9 . 2 0 0 4 . 0 0 3 1 5 . x ;   B o u l o s   M a g e d   N   K a m e l ,   2 0 0 6 ,   B M C   M e d   E d u c ,   V 6 ,   P 4 1 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 2 - 6 9 2 0 - 6 - 4 1 ;   B o u l o s   M N K ,   2 0 0 7 ,   H E A L T H   I N F O   L I B R   J ,   V 2 4 ,   P 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 7 1 - 1 8 4 2 . 2 0 0 7 . 0 0 7 0 1 . x ;   C h a m b e r s   D   W ,   1 9 9 5 ,   J   D e n t   E d u c ,   V 5 9 ,   P 5 6 7 ;   C l a r k   G l e n n   T ,   2 0 0 3 ,   J   C a l i f   D e n t   A s s o c ,   V 3 1 ,   P 6 1 1 ;   D o w n e s   P K ,   2 0 0 7 ,   B R I T   D E N T   J ,   V 2 0 3 ,   P 7 5 ,   D O I   1 0 . 1 0 3 8 / b d j . 2 0 0 7 . 6 3 3 ;   G r i m e s   E l l e n   B ,   2 0 0 2 ,   J   D e n t   E d u c ,   V 6 6 ,   P 1 0 0 ;   J a s i n e v i c i u s   T   R o m a ,   2 0 0 4 ,   J   D e n t   E d u c ,   V 6 8 ,   P 1 1 5 1 ;   J o h n s o n   L y n n   A ,   2 0 0 3 ,   J   D e n t   E d u c ,   V 6 7 ,   P 1 2 0 9 ;   K O M O L P I S   R ,   J   D E N T   E D ,   V 6 6 ,   P 6 5 0 ;   M a g n u s s e n   L ,   2 0 0 8 ,   J   N U R S   E D U C ,   V 4 7 ,   P 8 2 ;   M A K O V N I K   M ,   2 0 0 9 ,   0 2   M E F A N E T   M A S   U ,   P 1 0 9 ;   M a t t h e o s   N ,   2 0 0 8 ,   E U R   J   D E N T   E D U C ,   V 1 2 ,   P 8 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 6 0 0 - 0 5 7 9 . 2 0 0 7 . 0 0 4 8 3 . x ;   M c L e a n   R ,   2 0 0 7 ,   M E D   J   A U S T R A L I A ,   V 1 8 7 ,   P 1 7 4 ;   M o h a m m e d   S ,   2 0 0 8 ,   I n t   J   E l e c t r o n   H e a l t h c ,   V 4 ,   P 2 4 ,   D O I   1 0 . 1 5 0 4 / I J E H . 2 0 0 8 . 0 1 8 9 1 9 ;   M u r p h y   R o b e r t   J ,   2 0 0 4 ,   J   D e n t   E d u c ,   V 6 8 ,   P 8 5 9 ;   R E Y N O L D S   P A ,   2 0 0 7 ,   B R I T   D E N T   J ,   P 4 1 9 ;   R i d g w a y   P F ,   2 0 0 7 ,   M E D   E D U C ,   V 4 1 ,   P 1 6 8 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 9 2 9 . 2 0 0 6 . 0 2 6 6 9 . x ;   S a n d a r s   J o h n ,   2 0 0 8 ,   M e d   T e a c h ,   V 3 0 ,   P 3 0 8 ,   D O I   1 0 . 1 0 8 0 / 0 1 4 2 1 5 9 0 7 0 1 7 9 8 7 2 9 ;   S a n t o r o   E u g e n i o ,   2 0 0 7 ,   R e c e n t i   P r o g   M e d ,   V 9 8 ,   P 4 8 4 ;   T H U R Z O   A ,   2 0 0 9 ,   0 2   M E F A N E T   M A S   U ,   P 8 3 ;   T H U R Z O   A ,   2 0 0 9 ,   E N H A N C E M E N T S   E   L E A R N ,   P 1 1 3 ;   W e s c h   M i c h a e l ,   2 0 0 7 ,   V I S I O N   S T U D E N T S   T O D A ;   W i k i p e d i a ,   2 0 0 8 ,   W E B   2   0 ;   Z h a n g   Z ,   2 0 0 9 ,   B R I E F   B I O I N F O R M ,   V 1 0 ,   P 1 ,   D O I   1 0 . 1 0 9 3 / b i b / b b n 0 4 1 	 2 5 	 3 	 3 	 C O M E N I U S   U N I V 	 B R A T I S L A V A   I 	 S C H   M E D I C I N E ,   S P I T A L S K A   2 4 ,   B R A T I S L A V A   I ,   S K - 8 1 3   7 2 ,   S L O V A K I A 	 0 0 0 6 - 9 2 4 8 	 	 	 B R A T I S L   M E D   J 	 B r a t i s l .   M e d .   J . 	 	 2 0 1 0 	 1 1 1 	 3 	 	 	 	 	 1 6 8 	 1 7 5 	 	 	 	 8 	 M e d i c i n e ,   G e n e r a l   &   I n t e r n a l 	 G e n e r a l   &   I n t e r n a l   M e d i c i n e 	 5 8 4 D J 	 W O S : 0 0 0 2 7 6 7 3 0 2 0 0 0 1 4 	 2 0 4 3 7 8 3 1 	 
 B 	 H e e r ,   J ;   B o s t o c k ,   M 	 	 	 A C M 	 H e e r ,   J e f f r e y ;   B o s t o c k ,   M i c h a e l 	 	 	 C r o w d s o u r c i n g   G r a p h i c a l   P e r c e p t i o n :   U s i n g   M e c h a n i c a l   T u r k   t o   A s s e s s   V i s u a l i z a t i o n   D e s i g n 	 C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 2 8 t h   A n n u a l   C H I   C o n f e r e n c e   o n   H u m a n   F a c t o r s   i n   C o m p u t i n g   S y s t e m s 	 A P R   1 0 - 1 5 ,   2 0 1 0 	 A t l a n t a ,   G A 	 G o o g l e ,   M i c r o s o f t ,   N S F ,   Y a h o o   L a b s ,   A C M   S I G C H I 	 	 I n f o r m a t i o n   v i s u a l i z a t i o n ;   g r a p h i c a l   p e r c e p t i o n ;   u s e r   s t u d y ;   e v a l u a t i o n ;   M e c h a n i c a l   T u r k ;   c r o w d s o u r c i n g 	 S C A T T E R P L O T S ;   I N F O R M A T I O N ;   I N T E R N E T 	 U n d e r s t a n d i n g   p e r c e p t i o n   i s   c r i t i c a l   t o   e f f e c t i v e   v i s u a l i z a t i o n   d e s i g n .   W i t h   i t s   l o w   c o s t   a n d   s c a l a b i l i t y ;   c r o w d s o u r c i n g   p r e s e n t s   a n   a t t r a c t i v e   o p t i o n   f o r   e v a l u a t i n g   t h e   l a r g e   d e s i g n   s p a c e   o f   v i s u a l i z a t i o n s ;   h o w e v e r ,   i t   f i r s t   r e q u i r e s   v a l i d a t i o n .   I n   t h i s   p a p e r ,   w e   a s s e s s   t h e   v i a b i l i t y   o f   A m a z o n ' s   M e c h a n i c a l   T u r k   a s   a   p l a t f o r m   f o r   g r a p h i c a l   p e r c e p t i o n   e x p e r i m e n t s .   W e   r e p l i c a t e   p r e v i o u s   s t u d i e s   o f   s p a t i a l   e n c o d i n g   a n d   l u m i n a n c e   c o n t r a s t   a n d   c o m p a r e   o u r   r e s u l t s .   W e   a l s o   c o n d u c t   n e w   e x p e r i m e n t s   o n   r e c t a n g u l a r   a r e a   p e r c e p t i o n   ( a s   i n   t r e e m a p s   o r   c a r t o g r a m s )   a n d   o n   c h a r t   s i z e   a n d   g r i d l i n e   s p a c i n g .   O u r   r e s u l t s   d e m o n s t r a t e   t h a t   c r o w d s o u r c e d   p e r c e p t i o n   e x p e r i m e n t s   a r e   v i a b l e   a n d   c o n t r i b u t e   n e w   i n s i g h t s   f o r   v i s u a l i z a t i o n   d e s i g n .   L a s t l y ,   w e   r e p o r t   c o s t   a n d   p e r f o r m a n c e   d a t a   f r o m   o u r   e x p e r i m e n t s   a n d   d i s t i l l   r e c o m m e n d a t i o n s   f o r   t h e   d e s i g n   o f   c r o w d s o u r c e d   s t u d i e s . 	 [ H e e r ,   J e f f r e y ;   B o s t o c k ,   M i c h a e l ]   S t a n f o r d   U n i v ,   D e p t   C o m p   S c i ,   S t a n f o r d ,   C A   9 4 3 0 5   U S A 	 H e e r ,   J   ( r e p r i n t   a u t h o r ) ,   S t a n f o r d   U n i v ,   D e p t   C o m p   S c i ,   S t a n f o r d ,   C A   9 4 3 0 5   U S A . 	 j h e e r @ c s . s t a n f o r d . e d u ;   m b o s t o c k @ c s . s t a n f o r d . e d u 	 	 	 	 	 B e a t t i e   V . ,   2 0 0 2 ,   A B A C U S ,   V 3 8 ,   P 1 7 7 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 6 2 8 1 . 0 0 1 0 4 ;   B e r t i n   J . ,   1 9 6 7 ,   S E M I O L O G I E   G R A P H I Q U E ;   B R U L S   D M ,   2 0 0 0 ,   D A T A   V I S U A L I Z A T I O N   2 ,   P 3 3 ;   C H E S H I R E   C ,   2 0 0 7 ,   S O C I A L   P S Y C H O L   Q ,   V 7 0 ;   C l e v e l a n d   W . S . ,   1 9 9 3 ,   V I S U A L I Z I N G   D A T A ;   C L E V E L A N D   W S ,   1 9 8 2 ,   S C I E N C E ,   V 2 1 6 ,   P 1 1 3 8 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 2 1 6 . 4 5 5 0 . 1 1 3 8 ;   C L E V E L A N D   W S ,   1 9 8 4 ,   J   A M   S T A T   A S S O C ,   V 7 9 ,   P 5 3 1 ,   D O I   1 0 . 2 3 0 7 / 2 2 8 8 4 0 0 ;   C O L E   F ,   2 0 0 9 ,   A C M   S I G G R A P H ,   P 1 ,   D O I   1 0 . 1 1 4 5 / 1 5 7 6 2 4 6 . 1 5 3 1 3 3 4 ;   D e n t   B .   D . ,   1 9 9 8 ,   C A R T O G R A P H Y   T H E M A T I C ;   G A R N E R   W R ,   1 9 7 4 ,   P R O C E S S I N G   I N F O N N A T I ;   G I L M A R T I N   P P ,   1 9 8 1 ,   A N N   A S S O C   A M   G E O G R ,   V 7 1 ,   P 2 5 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 3 0 6 . 1 9 8 1 . t b 0 1 3 5 1 . x ;   H E E R   J ,   2 0 0 9 ,   A C M   C H I ,   P 1 3 0 3 ;   I p e i r o t i s   P . ,   2 0 0 8 ,   M E C H   T U R K   D E M O G R A P H I ;   K I T T U R   A ,   2 0 0 8 ,   A C M   C H I ,   P 4 5 3 ;   K O H A V I   R ,   2 0 0 7 ,   A C M   K D D ,   P 9 5 9 ;   K r a u t   R ,   2 0 0 4 ,   A M   P S Y C H O L ,   V 5 9 ,   P 1 0 5 ,   D O I   1 0 . 1 0 3 7 / 0 0 0 3 - 0 6 6 X . 5 9 . 2 . 1 0 5 ;   L E W A N D O W S K Y   S ,   1 9 8 9 ,   J   A M   S T A T   A S S O C ,   V 8 4 ,   P 6 8 2 ,   D O I   1 0 . 2 3 0 7 / 2 2 8 9 6 4 9 ;   L I N G   K ,   2 0 0 5 ,   1   C M C ,   V 1 0 ;   M a c E a c h r e n   A M ,   1 9 9 5 ,   M A P S   W O R K   R E P R E S E N T A ;   M A C K A Y   W E ,   2 0 0 7 ,   A C M   C H I ,   P 1 4 2 5 ;   M A C K I N L A Y   J ,   1 9 8 6 ,   A C M   T   G R A P H I C ,   V 5 ,   P 1 1 0 ,   D O I   1 0 . 1 1 4 5 / 2 2 9 4 9 . 2 2 9 5 0 ;   M a c k i n l a y   J D ,   2 0 0 7 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 3 ,   P 1 1 3 7 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 0 7 . 7 0 5 9 4 ;   M A S O N   W A ,   2 0 0 9 ,   K D D   H C O M P ;   R E I L L Y   D F ,   2 0 0 7 ,   A C M   C H I ,   P 1 1 1 ;   S a l g a n i k   M J ,   2 0 0 9 ,   T O P   C O G N   S C I ,   V 1 ,   P 4 3 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 5 6 - 8 7 6 5 . 2 0 0 9 . 0 1 0 3 0 . x ;   S H N E I D E R M A N   B ,   1 9 9 2 ,   A C M   T   G R A P H I C ,   V 1 1 ,   P 9 2 ,   D O I   1 0 . 1 1 4 5 / 1 0 2 3 7 7 . 1 1 5 7 6 8 ;   S H O R T R I D G E   B G ,   1 9 8 2 ,   A M   C A R T O G R A P H E R ,   V 9 ,   P 1 5 5 ;   S I M K I N   D ,   1 9 8 7 ,   J   A M   S T A T   A S S O C ,   V 8 2 ,   P 4 5 4 ,   D O I   1 0 . 2 3 0 7 / 2 2 8 9 4 4 7 ;   S P E N C E   I ,   1 9 9 1 ,   A P P L   C O G N I T I V E   P S Y C H ,   V 5 ,   P 6 1 ,   D O I   1 0 . 1 0 0 2 / a c p . 2 3 5 0 0 5 0 1 0 6 ;   S t o n e   M . ,   2 0 0 9 ,   C O L   I M   C ;   T r e m m e l   L . ,   1 9 9 5 ,   J   C O M P U T A T I O N A L   G R A P ,   V 4 ,   P 1 0 1 ,   D O I   1 0 . 2 3 0 7 / 1 3 9 0 7 6 0 ;   V i e g a s   F B ,   2 0 0 7 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 3 ,   P 1 1 2 1 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 0 7 . 7 0 5 7 7 ;   W a r e   C . ,   2 0 0 4 ,   I N F O R M   V I S U A L I Z A T I O N ;   W A T T E N B E R G   W ,   1 9 9 9 ,   A C M   C H I ,   P 1 8 8 ;   W I G D O R   D ,   2 0 0 7 ,   A C M   C H I ,   P 4 7 3 ;   Z I E R N K I E W I C Z   C ,   2 0 0 8 ,   I E E E   T V C G ,   V 1 4 ,   P 1 2 6 9 	 3 6 	 3 4 	 3 4 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 1 5 1 5   B R O A D W A Y ,   N E W   Y O R K ,   N Y   1 0 0 3 6 - 9 9 9 8   U S A 	 	 	 9 7 8 - 1 - 6 0 5 5 8 - 9 2 9 - 9 	 	 	 	 2 0 1 0 	 	 	 	 	 	 	 2 0 3 	 2 1 2 	 	 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B Q M 0 7 	 W O S : 0 0 0 2 8 1 2 7 6 7 0 0 0 2 3 	 	 
 B 	 D o w n s ,   J S ;   H o l b r o o k ,   M B ;   S h e n g ,   S ;   C r a n o r ,   L F 	 	 	 A C M 	 D o w n s ,   J u l i e   S . ;   H o l b r o o k ,   M a n d y   B . ;   S h e n g ,   S t e v e ;   C r a n o r ,   L o r r i e   F a i t h 	 	 	 A r e   Y o u r   P a r t i c i p a n t s   G a m i n g   t h e   S y s t e m ?   S c r e e n i n g   M e c h a n i c a l   T u r k   W o r k e r s 	 C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 2 8 t h   A n n u a l   C H I   C o n f e r e n c e   o n   H u m a n   F a c t o r s   i n   C o m p u t i n g   S y s t e m s 	 A P R   1 0 - 1 5 ,   2 0 1 0 	 A t l a n t a ,   G A 	 G o o g l e ,   M i c r o s o f t ,   N S F ,   Y a h o o ,   A C M   S I G C H I 	 	 s c r e e n i n g ;   M e c h a n i c a l   T u r k ;   s u r v e y ;   c r o w d s o u r c i n g 	 	 I n   t h i s   p a p e r   w e   d i s c u s s   a   s c r e e n i n g   p r o c e s s   u s e d   i n   c o n j u n c t i o n   w i t h   a   s u r v e y   a d m i n i s t e r e d   v i a   A m a z o n . c o m ' s   M e c h a n i c a l   T u r k .   W e   s o u g h t   a n   e a s i l y   i m p l e m e n t a b l e   m e t h o d   t o   d i s q u a l i f y   t h o s e   p e o p l e   w h o   p a r t i c i p a t e   b u t   d o n ' t   t a k e   t h e   s t u d y   t a s k s   s e r i o u s l y .   B y   u s i n g   t w o   p r e v i o u s l y   p i l o t   t e s t e d   s c r e e n i n g   q u e s t i o n s ,   w e   i d e n t i f i e d   7 6 4   o f   1 , 9 6 2   p e o p l e   w h o   d i d   n o t   a n s w e r   c o n s c i e n t i o u s l y .   Y o u n g   m e n   s e e m   t o   b e   m o s t   l i k e l y   t o   f a i l   t h e   q u a l i f i c a t i o n   t a s k .   T h o s e   t h a t   a r e   p r o f e s s i o n a l s ,   s t u d e n t s ,   a n d   n o n - w o r k e r s   s e e m   t o   b e   m o r e   l i k e l y   t o   t a k e   t h e   t a s k   s e r i o u s l y   t h a n   f i n a n c i a l   w o r k e r s ,   h o u r l y   w o r k e r s ,   a n d   o t h e r   w o r k e r s .   M e n   o v e r   3 0   a n d   w o m e n   w e r e   m o r e   l i k e l y   t o   a n s w e r   s e r i o u s l y . 	 [ D o w n s ,   J u l i e   S . ;   H o l b r o o k ,   M a n d y   B . ;   S h e n g ,   S t e v e ;   C r a n o r ,   L o r r i e   F a i t h ]   C a r n e g i e   M e l l o n   U n i v ,   P i t t s b u r g h ,   P A   1 5 2 1 3   U S A 	 D o w n s ,   J S   ( r e p r i n t   a u t h o r ) ,   C a r n e g i e   M e l l o n   U n i v ,   P i t t s b u r g h ,   P A   1 5 2 1 3   U S A . 	 d o w n s @ c m u . e d u ;   m a n d y @ c m u . e d u ;   s h e n g x @ c m u . e d u ;   l o r r i e @ c m u . e d u 	 	 	 	 	 * A M   M E C H   T U R K ,   A M   M E C H   T U R K   B E S T   P R ;   A T W O O D   J ,   2 0 0 7 ,   C O D I N G   H O R R O R   P R O G R A ;   C a l l i s o n - B u r c h   C . ,   2 0 0 9 ,   P   2 0 0 9   C   E M P   M E T H   N A ,   P 2 8 6 ;   I P E I R O T I S   P ,   T U R K E R   D E M O G R A P H I C S ;   K i t t u r   A . ,   2 0 0 8 ,   P   2 6   A N N   S I G C H I   C   H U ,   P 4 5 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 5 7 0 5 4 . 1 3 5 7 1 2 7 ;   M D F E D R I E S   P ,   2 0 0 6 ,   I E E E   S P E C T R U M ,   V 4 3 ,   P 8 8 ;   S H E N G   S ,   2 0 1 0 ,   P   C H I   2 0 1 0 	 7 	 1 3 	 1 3 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 1 5 1 5   B R O A D W A Y ,   N E W   Y O R K ,   N Y   1 0 0 3 6 - 9 9 9 8   U S A 	 	 	 9 7 8 - 1 - 6 0 5 5 8 - 9 2 9 - 9 	 	 	 	 2 0 1 0 	 	 	 	 	 	 	 2 3 9 9 	 2 4 0 2 	 	 	 	 4 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B Q M 0 7 	 W O S : 0 0 0 2 8 1 2 7 6 7 0 1 1 1 5 	 	 
 S 	 K a r n i n ,   E D ;   W a l a c h ,   E ;   D r o r y ,   T 	 	 D a n i e l ,   F ;   F a c c a ,   F M 	 	 K a r n i n ,   E h u d   D . ;   W a l a c h ,   E u g e n e ;   D r o r y ,   T a l 	 	 	 C r o w d s o u r c i n g   i n   t h e   D o c u m e n t   P r o c e s s i n g   P r a c t i c e   ( A   S h o r t   P r a c t i t i o n e r / V i s i o n a r y   P a p e r ) 	 C U R R E N T   T R E N D S   I N   W E B   E N G I N E E R I N G 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 0 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   W e b   E n g i n e e r i n g 	 J U L   0 5 - 0 9 ,   2 0 1 0 	 V i e n n a ,   A U S T R I A 	 V i e n n a   U n i v   T e c h n o l ,   B u s i n e s s   I n f o r m a t   G r p ,   A u s t r i a n   C o m p   S o c ,   A u s t r i a n   F e d   M i n i s t   S c i   &   R e s ,   A u s t r i a n   F e d   M i n i s t   T r a n s p o r t ,   I n n o v a t   &   T e c h n o l ,   V i e n n a   C o n v e n t   B u r ,   S I E M E N S   A G ,   G o o g l e ,   A u s t r i a n   A i r l i n e s 	 	 E n t e r p r i s e   C r o w d s o u r c i n g ;   d o c u m e n t s   p r o c e s s i n g ;   q u a l i t y   c o n t r o l ;   p r o d u c t i v i t y   t o o l s ;   q u a l i t y   a s s u r a n c e 	 	 T h e   p r o c e s s i n g   o f   s c a n n e d   d o c u m e n t s   c a l l s   f o r   a u t o m a t i c   r e c o g n i t i o n   o f   t h e   t e x t   b y   O C R   ( O p t i c a l   C h a r a c t e r   R e c o g n i t i o n )   c o m p u t e r   p r o g r a m s ,   f o l l o w e d   b y   h u m a n   v a l i d a t i o n   a n d   c o r r e c t i o n .   C r o w d s o u r c i n g   o f   t h e s e   e s s e n t i a l   m a n u a l   t a s k s   i s   a   g o o d   o p t i o n ,   p r o v i d e d   o n e   c a n   t a k e   c a r e   o f   s o m e   k e y   c h a l l e n g e s ,   s o   t h a t   t h e   q u a l i t y   l e v e l   e x p e c t e d   b y   t h e   c u s t o m e r   i s   m e t .   W e   s h o w   h o w   t o o l s   f o r   e f f i c i e n t   v a l i d a t i o n   a n d   c o r r e c t i o n   a r e   a d a p t e d   a n d   e n h a n c e d   t o   a d d r e s s   i s s u e s   a s s o c i a t e d   w i t h   c r o w d s o u r c i n g ,   s u c h   a s   d a t a   p r i v a c y ,   q u a l i t y   c o n t r o l ,   c r o w d   m o n i t o r i n g ,   a n d   j o b   q u a l i t y   a s s u r a n c e .   W e   s t a r t e d   t o   i m p l e m e n t   t h e s e   i d e a s   a n d   t e c h n o l o g i e s   i n   o u r   C O o p e r a t i v e   e N g i n e   f o r   C o r r e c t i o n   o f   E x t R a c t e d   T e x t   ( C O N C E R T ) ,   w h i c h   i s   u s e d   i n   b o o k   d i g i t i z a t i o n   p r o j e c t s . 	 [ K a r n i n ,   E h u d   D . ;   W a l a c h ,   E u g e n e ;   D r o r y ,   T a l ]   I B M   R e s   H a i f a   L a b ,   I L - 3 1 9 0 5   H a i f a ,   I s r a e l 	 K a r n i n ,   E D   ( r e p r i n t   a u t h o r ) ,   I B M   R e s   H a i f a   L a b ,   H a i f a   U n i v   C a m p u s ,   I L - 3 1 9 0 5   H a i f a ,   I s r a e l . 	 k a r n i n @ i l . i b m . c o m ;   w a l a c h @ i l . i b m . c o m ;   t a l d @ i l . i b m . c o m 	 	 	 	 	 K A R N I N   E ,   2 0 0 7 ,   F R O N T   S E R V   2 0 0 7   C ;   5 4 5 5 8 7 5 	 2 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 1 6 9 8 4 - 7 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 0 	 6 3 8 5 s 	 	 	 	 	 	 4 0 8 	 4 1 1 	 	 	 	 4 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B U V 3 6 	 W O S : 0 0 0 2 9 0 4 5 3 5 0 0 0 3 6 	 	 
 S 	 O l i v e i r a ,   F ;   R a m o s ,   I ;   S a n t o s ,   L 	 	 D a n i e l ,   F ;   F a c c a ,   F M 	 	 O l i v e i r a ,   F a b i o ;   R a m o s ,   I s a b e l ;   S a n t o s ,   L e o n e l 	 	 	 D e f i n i t i o n   o f   a   C r o w d s o u r c i n g   I n n o v a t i o n   S e r v i c e   f o r   t h e   E u r o p e a n   S M E s 	 C U R R E N T   T R E N D S   I N   W E B   E N G I N E E R I N G 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 0 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   W e b   E n g i n e e r i n g 	 J U L   0 5 - 0 9 ,   2 0 1 0 	 V i e n n a ,   A U S T R I A 	 V i e n n a   U n i v   T e c h n o l ,   B u s i n e s s   I n f o r m a t   G r p ,   A u s t r i a n   C o m p   S o c ,   A u s t r i a n   F e d   M i n i s t   S c i   &   R e s ,   A u s t r i a n   F e d   M i n i s t   T r a n s p o r t ,   I n n o v a t   &   T e c h n o l ,   V i e n n a   C o n v e n t   B u r ,   S I E M E N S   A G ,   G o o g l e ,   A u s t r i a n   A i r l i n e s 	 	 C r o w d s o u r c i n g   I n n o v a t i o n ;   E u r o p e a n   S M E s ;   I n t e r m e d i a r i e s 	 F I R M S 	 B a s e d   o n   l i t e r a t u r e   r e v i e w   a n d   o n   t h e   s t u d y   o f   t h e   m o s t   k n o w n   a n d   r e f e r r e d   C r o w d s o u r c i n g   b r o k e r s ,   t h e r e ' s   a   c l e a r   t r e n d   t o   i m p l e m e n t   t h i s   m o d e l   b y   l a r g e   c o m p a n i e s   a n d   m a i n l y   w i t h i n   t h e   N o r t h   A m e r i c a n   c o n t e x t .   O u r   r e s e a r c h   t e a m   i s   f o c u s e d   i n   b r i n g i n g   t h i s   a p p r o a c h   c l o s e r   t o   t h e   E u r o p e a n   c u l t u r e ,   m o r e   s p e c i f i c a l l y   t h e   c u l t u r a l   f a c t o r s   u n d e r l y i n g   t h e   d y n a m i c s   a n d   m o t i v a t i o n   o f   c o m m u n i t i e s   a v a i l a b l e   t o   s o l v e   t h e   i n n o v a t i o n   c h a l l e n g e s   o f   S m a l l   a n d   M e d i u m   E n t e r p r i s e s   ( S M E s ) ,   t h a t   w e   c a l l   C r o w d s o u r c i n g   I n n o v a t i o n .   W e   b e l i e v e   t h a t ,   d u e   t o   t h e   c o m m o n   l a c k   o f   r e s o u r c e s   f o r   i n n o v a t i o n   i n   t h e s e   c o m p a n i e s ,   a   s e r v i c e   c a p a b l e   o f   i n v o l v i n g   t h e m   i n   l a r g e   n e t w o r k s   f i l l e d   w i t h   u s e f u l   a n d   r e a c h a b l e   k n o w l e d g e ,   a n d   c a p a b l e   o f   s u p p o r t i n g   t h e s e   c o m p a n i e s   t h r o u g h   a l l   t h e   i n n o v a t i o n   p r o c e s s ,   i s   c r u c i a l   t o   t h e   f u t u r e   c o m p e t i t i v e n e s s   o f   t h e   E u r o p e a n   S M E s .   A l t h o u g h   o u r   t e a m   i s   f o c u s i n g   o n   s e v e r a l   a s p e c t s   r e l a t e d   t o   C r o w d s o u r c i n g ,   m y   m a i n   r e s e a r c h   f o c u s e s   t h e   i n f o r m a t i o n   s e r v i c e s   a n d   s u p p o r t i n g   a p p l i c a t i o n s   t o   c r e a t e   a   w e b   p l a t f o r m   a d a p t e d   t o   t h e   k e y   e c o n o m i c a l ,   o r g a n i z a t i o n a l ,   l e g a l   a n d   c u l t u r a l   d i f f e r e n c e s   t h a t   m a k e   c u r r e n t   C r o w d s o u r c i n g   I n n o v a t i o n   b u s i n e s s e s   l e s s   p o p u l a r   a m o n g   E u r o p e a n   S M E s   t h a n   i n   N o r t h   A m e r i c a . 	 [ O l i v e i r a ,   F a b i o ;   R a m o s ,   I s a b e l ;   S a n t o s ,   L e o n e l ]   U n i v   M i n h o ,   D e p t   I n f o r m a t   S y s t ,   P - 4 8 0 0 0 5 7   G u i m a r a e s ,   P o r t u g a l 	 O l i v e i r a ,   F   ( r e p r i n t   a u t h o r ) ,   U n i v   M i n h o ,   D e p t   I n f o r m a t   S y s t ,   C a m p u s   A z u r e m ,   P - 4 8 0 0 0 5 7   G u i m a r a e s ,   P o r t u g a l . 	 f j r o l i v e i r a @ g a v e a . d s i . u m i n h o . p t ;   i r a m o s @ d s i . u m i n h o . p t ;   l e o n e l @ d s i . u m i n h o . p t 	 S a n t o s ,   L e o n e l / F - 3 5 9 2 - 2 0 1 1 	 	 	 	 C h e s b r o u g h   H . ,   2 0 0 3 ,   O P E N   I N N O V A T I O N   N E W ;   D i c k e n   P . ,   2 0 0 7 ,   G L O B A L   S H I F T   M A P P I N G ;   D i e n e r   K . ,   2 0 1 0 ,   M A R K E T   O P E N   I N N O V A T I ;   E d w a r d s   T ,   2 0 0 5 ,   T E C H N O V A T I O N ,   V 2 5 ,   P 1 1 1 9 ,   D O I   1 0 . 1 0 1 6 / j . t e c h n o v a t i o n . 2 0 0 4 . 0 4 . 0 0 5 ;   H O W E   J ,   2 0 0 6 ,   W I R E D                         J U N ,   P 1 7 6 ;   K O U L O P O U L O S   T M ,   2 0 0 9 ,   I N N O V A T I O N   Z O N E   G R E A ;   L a u r s e n   K ,   2 0 0 4 ,   R E S   P O L I C Y ,   V 3 3 ,   P 1 2 0 1 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 4 . 0 7 . 0 0 4 ;   P o r t e r   M . E . ,   1 9 8 5 ,   C O M P E T I T I V E   A D V A N T A G ;   R A M O S   I ,   2 0 0 9 ,   P   C   R O L   I S   L E V   I N T   C ;   R O T H W E L L   R ,   1 9 9 1 ,   T E C H N O V A T I O N ,   V 1 1 ,   P 9 3 ,   D O I   1 0 . 1 0 1 6 / 0 1 6 6 - 4 9 7 2 ( 9 1 ) 9 0 0 4 0 - B ;   R o t h w e l l   R . ,   1 9 9 4 ,   H D B   I N D   I N N O V A T I O N ,   P 3 1 0 ;   S c h u m p e t e r   J . A . ,   1 9 3 4 ,   T H E O R Y   E C   D E V ;   S O U Z A   L ,   2 0 0 9 ,   P   4   M E D   C   I N F   S Y S T   A ;   V a i s h n a v i   V . K . ,   2 0 0 7 ,   D E S I G N   S C I   R E S   M E T H O ;   V i g i e r   P ,   2 0 0 7 ,   I N N O V A T I O N - A B I N G D O N ,   V 2 0 ,   P 1 9 1 ,   D O I   1 0 . 1 0 8 0 / 1 3 5 1 1 6 1 0 7 0 1 7 0 7 3 5 9 	 1 5 	 1 	 1 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 1 6 9 8 4 - 7 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 0 	 6 3 8 5 s 	 	 	 	 	 	 4 1 2 	 4 1 6 	 	 	 	 5 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B U V 3 6 	 W O S : 0 0 0 2 9 0 4 5 3 5 0 0 0 3 7 	 	 
 S 	 A r e l l a n o ,   C ;   D i a z ,   O ;   I t u r r i o z ,   J 	 	 D a n i e l ,   F ;   F a c c a ,   F M 	 	 A r e l l a n o ,   C r i s t o b a l ;   D i a z ,   O s c a r ;   I t u r r i o z ,   J o n 	 	 	 S c r i p t   P r o g r a m m e r s   a s   V a l u e   C o - c r e a t o r s 	 C U R R E N T   T R E N D S   I N   W E B   E N G I N E E R I N G 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 0 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   W e b   E n g i n e e r i n g 	 J U L   0 5 - 0 9 ,   2 0 1 0 	 V i e n n a ,   A U S T R I A 	 V i e n n a   U n i v   T e c h n o l ,   B u s i n e s s   I n f o r m a t   G r p ,   A u s t r i a n   C o m p   S o c ,   A u s t r i a n   F e d   M i n i s t   S c i   &   R e s ,   A u s t r i a n   F e d   M i n i s t   T r a n s p o r t ,   I n n o v a t   &   T e c h n o l ,   V i e n n a   C o n v e n t   B u r ,   S I E M E N S   A G ,   G o o g l e ,   A u s t r i a n   A i r l i n e s 	 	 G r e a s e m o n k e y ;   J a v a S c r i p t ;   C r o w d s o u r c i n g ;   W e b 2 . 0 	 	 W e b s i t e   o w n e r s   a r e   g r a d u a l l y   r e a l i s i n g   t h e   b e n e f i t s   o f   v i e w i n g   c u s t o m e r s   a s   c o - c r e a t o r s   o f   v a l u e .   U n f o r t u n a t e l y ,   c u r r e n t   d e v e l o p m e n t   m o d e l s   o f f e r   l i t t l e   h e l p   i n   u n d e r s t a n d i n g   a n d   m a n a g i n g   t h i s   n e w   f o r m   o f   v a l u e   c o - c r e a t i o n .   T h e   M e t r o p o l i s   M o d e l   h a s   r e c e n t l y   i d e n t i f i e d   t h r e e   r e a l m s   o f   r o l e s   f o r   c r o w d s o u r c i n g :   t h e   k e r n e l   ( p r o v i d i n g   t h e   c o r e   f u n c t i o n a l i t y ) ,   t h e   p e r i p h e r y   ( t h e   p a r t n e r s )   a n d   t h e   m a s s e s   ( t h e   e n d   u s e r s ) .   T e c h n i c a l l y   w i s e ,   t h e   p e r i p h e r y   r e q u i r e s   m e c h a n i s m s   f o r   t h e   c o m m o n s   t o   s u g g e s t ,   d e v e l o p   a n d   m a i n t a i n   a d d i t i o n a l   s e r v i c e s   o n   t o p   o f   t h e   k e r n e l .   T h i s   w o r k   c o n c r e t i z e s   t h e   M e t r o p o l i s   M o d e l   f o r   c r o w d s o u r c e d   w e b s i t e   d e v e l o p m e n t   b a s e d   o n   u s e r   s c r i p t s .   W e   o u t l i n e   s o m e   t e c h n i c a l   c h a l l e n g e s   t o   f o s t e r   t h e   r e l a t i o n s h i p   b e t w e e n   e n d   u s e r s   ( t h e   m a s s e s ) ,   s c r i p t e r s   ( t h e   p e r i p h e r y )   a n d   t h e   w e b   s i t e   ( t h e   k e r n e l )   o n   t h e   w a y   t o   p r o m o t e   s c r i p t - b a s e d   c r o w d s o u r c i n g . 	 [ A r e l l a n o ,   C r i s t o b a l ;   D i a z ,   O s c a r ;   I t u r r i o z ,   J o n ]   U n i v   B a s q u e   C o u n t r y ,   O N E K I N   R e s   G r p ,   S a n   S e b a s t i a n ,   S p a i n 	 A r e l l a n o ,   C   ( r e p r i n t   a u t h o r ) ,   U n i v   B a s q u e   C o u n t r y ,   O N E K I N   R e s   G r p ,   S a n   S e b a s t i a n ,   S p a i n . 	 c r i s t o b a l . a r e l l a n o @ e h u . e s ;   o s c a r . d i a z @ e h u . e s ;   j o n . i t u r r i o z @ e h u . e s 	 D i a z ,   O s c a r / D - 2 8 2 2 - 2 0 1 1 	 	 	 	 D I A Z   O ,   2 0 0 8 ,   1 7   I N T   C   W O R L D   W I D   W ;   K a z m a n   R ,   2 0 0 9 ,   C O M M U N   A C M ,   V 5 2 ,   P 7 6 ,   D O I   1 0 . 1 1 4 5 / 1 5 3 8 7 8 8 . 1 5 3 8 8 0 8 	 2 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 1 6 9 8 4 - 7 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 0 	 6 3 8 5 s 	 	 	 	 	 	 4 1 7 	 4 2 0 	 	 	 	 4 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B U V 3 6 	 W O S : 0 0 0 2 9 0 4 5 3 5 0 0 0 3 8 	 	 
 S 	 K e r n ,   R ;   T h i e s ,   H ;   B a u e r ,   C ;   S a t z g e r ,   G 	 	 D a n i e l ,   F ;   F a c c a ,   F M 	 	 K e r n ,   R o b e r t ;   T h i e s ,   H a n s ;   B a u e r ,   C o r d u l a ;   S a t z g e r ,   G e r h a r d 	 	 	 Q u a l i t y   A s s u r a n c e   f o r   H u m a n - B a s e d   E l e c t r o n i c   S e r v i c e s :   A   D e c i s i o n   M a t r i x   f o r   C h o o s i n g   t h e   R i g h t   A p p r o a c h 	 C U R R E N T   T R E N D S   I N   W E B   E N G I N E E R I N G 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 0 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   W e b   E n g i n e e r i n g 	 J U L   0 5 - 0 9 ,   2 0 1 0 	 V i e n n a ,   A U S T R I A 	 V i e n n a   U n i v   T e c h n o l ,   B u s i n e s s   I n f o r m a t   G r p ,   A u s t r i a n   C o m p   S o c ,   A u s t r i a n   F e d   M i n i s t   S c i   &   R e s ,   A u s t r i a n   F e d   M i n i s t   T r a n s p o r t ,   I n n o v a t   &   T e c h n o l ,   V i e n n a   C o n v e n t   B u r ,   S I E M E N S   A G ,   G o o g l e ,   A u s t r i a n   A i r l i n e s 	 	 	 	 C r o w d s o u r c i n g   i n   t h e   f o r m   o f   h u m a n - b a s e d   e l e c t r o n i c   s e r v i c e s   p r o v i d e s   a   p o w e r f u l   w a y   o f   o u t s o u r c i n g   s o   c a l l e d   h u m a n   i n t e l l i g e n c e   t a s k s   ( H I T s )   t o   a   l a r g e   w o r k f o r c e   o f   p e o p l e   o v e r   t h e   I n t e r n e t .   B e c a u s e   o f   t h e   l i m i t e d   c o n t r o l   o v e r   t h a t   w o r k f o r c e ,   i t   i s   c h a l l e n g i n g   t o   e n s u r e   t h e   q u a l i t y   o f   t h e   w o r k   r e s u l t s .   S e v e r a l   a p p r o a c h e s   h a v e   b e e n   p r o p o s e d   t h a t   c a n   b e   a p p l i e d   t o   s p e c i f i c   t y p e s   o f   H I T s .   H o w e v e r ,   i t   i s   d i f f i c u l t   t o   i d e n t i f y   a   s u i t a b l e   q u a l i t y   m a n a g e m e n t   a p p r o a c h   f o r   a n y   g i v e n   t y p e   o f   H I T .   T h i s   p a p e r   a i m s   t o   p r o v i d e   a   f i r s t   s k e t c h   o f   a   d e c i s i o n   m a t r i x . 	 [ K e r n ,   R o b e r t ;   T h i e s ,   H a n s ;   B a u e r ,   C o r d u l a ;   S a t z g e r ,   G e r h a r d ]   K I T ,   K a r l s r u h e   S e r v   R e s   I n s t ,   D - 7 6 1 3 1   K a r l s r u h e ,   G e r m a n y 	 K e r n ,   R   ( r e p r i n t   a u t h o r ) ,   K I T ,   K a r l s r u h e   S e r v   R e s   I n s t ,   E n g l e r s t r   1 1 ,   D - 7 6 1 3 1   K a r l s r u h e ,   G e r m a n y . 	 r o b e r t . k e r n @ k i t . e d u ;   h a n s . t h i e s @ g m x . d e ;   c o r d u l a . b a u e r @ g m x . n e t ;   g e r h a r d . s a t z g e r @ k i t . e d u 	 	 	 	 	 B a r r   J . ,   2 0 0 6 ,   A C M   Q u e u e ,   V 4 ;   K e r n   R . ,   2 0 1 0 ,   P   1 6   A M   C   I N F   S Y S T   A ;   K E R N   R ,   2 0 0 8 ,   L N C S ,   V 5 4 7 2 ,   P 3 0 4 ;   R o w e   G ,   1 9 9 9 ,   I N T   J   F O R E C A S T I N G ,   V 1 5 ,   P 3 5 3 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 9 - 2 0 7 0 ( 9 9 ) 0 0 0 1 8 - 7 ;   S n o w   R . ,   2 0 0 8 ,   E M N L P ,   P 2 5 4 ;   S o r o k i n   A ,   2 0 0 8 ,   C V P R W   2 0 0 8 ,   P 1 ,   D O I   D O I   1 0 . 1 1 0 9 / C V P R W . 2 0 0 8 . 4 5 6 2 9 5 3 ;   S U R O W I E C K I   J A M E S ,   2 0 0 4 ,   W I S D O M   C R O W D S 	 7 	 3 	 3 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 1 6 9 8 4 - 7 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 0 	 6 3 8 5 s 	 	 	 	 	 	 4 2 1 	 4 2 4 	 	 	 	 4 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B U V 3 6 	 W O S : 0 0 0 2 9 0 4 5 3 5 0 0 0 3 9 	 	 
 S 	 L a   V e c c h i a ,   G ;   C i s t e r n i n o ,   A 	 	 D a n i e l ,   F ;   F a c c a ,   F M 	 	 L a   V e c c h i a ,   G i o a c c h i n o ;   C i s t e r n i n o ,   A n t o n i o 	 	 	 C o l l a b o r a t i v e   W o r k f o r c e ,   B u s i n e s s   P r o c e s s   C r o w d s o u r c i n g   a s   a n   A l t e r n a t i v e   o f   B P O 	 C U R R E N T   T R E N D S   I N   W E B   E N G I N E E R I N G 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 0 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   W e b   E n g i n e e r i n g 	 J U L   0 5 - 0 9 ,   2 0 1 0 	 V i e n n a ,   A U S T R I A 	 V i e n n a   U n i v   T e c h n o l ,   B u s i n e s s   I n f o r m a t   G r p ,   A u s t r i a n   C o m p   S o c ,   A u s t r i a n   F e d   M i n i s t   S c i   &   R e s ,   A u s t r i a n   F e d   M i n i s t   T r a n s p o r t ,   I n n o v a t   &   T e c h n o l ,   V i e n n a   C o n v e n t   B u r ,   S I E M E N S   A G ,   G o o g l e ,   A u s t r i a n   A i r l i n e s 	 	 c r o w d s o u r c i n g ;   s o c i a l   p r o d u c t i o n ;   c o l l a b o r a t i v e   i n t e l l i g e n c e ;   b u s i n e s s   p r o c e s s   m a n a g e m e n t 	 	 C r o w d s o u r c i n g   i s   t h e   a c t   o f   o u t s o u r c i n g   a c t i v i t i e s   t o   n e t w o r k e d   p e o p l e .   T h i s   p a p e r   p r e s e n t s   B u s i n e s s   P r o c e s s   C r o w d s o u r c i n g ,   a n   a l t e r n a t i v e   t o   B u s i n e s s   P r o c e s s   O u t s o u r c i n g   w h e r e   c r o w d   a c t i v i t i e s   a r e   c o o r d i n a t e d ,   w o r k   f o r c e   c o n t r i b u t i o n s   n o t   w a s t e d   a n d   f i n a l   r e s u l t   g u a r a n t e e d .   T h e   p o s i t i o n i n g   p a p e r   s h o w s   h o w   t o   t r a n s f o r m   c a n o n i c a l   b u s i n e s s   p r o c e s s e s   i n   c r o w d s o u r c e d   b u s i n e s s   p r o c e s s e s   w h e r e   W e b   2 . 0 ,   s o c i a l   n e t w o r k s ,   a n d   b u s i n e s s   p r o c e s s   m a n a g e m e n t   a r e   c o m b i n e d   t o   d e p l o y   b u s i n e s s   c r i t i c a l   p r o c e s s   t o   t h e   I n t e r n e t ,   g e t t i n g   t h e   s a m e   l e v e l   o f   q u a l i t y   a n d   c o n t r o l   o f   t r a d i t i o n a l   o u t s o u r c i n g   a p p r o a c h e s   w i t h   c o n v e n t i o n a l   w o r k f o r c e . 	 [ L a   V e c c h i a ,   G i o a c c h i n o ]   C r o w d E n g i n e e r i n g   I n c ,   S u n n y v a l e ,   C A   9 4 0 8 5   U S A 	 L a   V e c c h i a ,   G   ( r e p r i n t   a u t h o r ) ,   C r o w d E n g i n e e r i n g   I n c ,   4 4 0   N   W o l f e   R d ,   S u n n y v a l e ,   C A   9 4 0 8 5   U S A . 	 g i o @ c r o w d e n g i n e e r i n g . c o m ;   c i s t e r n i @ d i . u n i p i . i t 	 	 	 	 	 B R I T T   R R ,   2 0 1 0 ,   N A S A   W A N T S   Y O U   I D E N T ;   H o w e   J . ,   2 0 0 6 ,   W I R E D   M A G A Z I N E     0 6 1 4 ;   N i e l s e n   J a k o b ,   P A R T I C I P A T I O N   I N E Q U A 	 3 	 2 	 2 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 1 6 9 8 4 - 7 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 0 	 6 3 8 5 s 	 	 	 	 	 	 4 2 5 	 4 3 0 	 	 	 	 6 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B U V 3 6 	 W O S : 0 0 0 2 9 0 4 5 3 5 0 0 0 4 0 	 	 
 J 	 S a l i m ,   F D ;   B u r r y ,   J ;   T a n i a r ,   D ;   L e e ,   V C ;   B u r r o w ,   A 	 	 S c h m i t t ,   G ;   H o v e s t a d ,   L ;   V a n G o o l ,   L ;   B o s c h e ,   F ;   B u r k h a r d ,   R ;   C o l e m a n ,   S ;   H a l a t s c h ,   J ;   H a n s m e y e r ,   M ;   K o n s o r s k i L a n g ,   S ;   K u n z e ,   A ;   S e h m i L u c k ,   M 	 	 S a l i m ,   F l o r a   D i l y s ;   B u r r y ,   J a n e ;   T a n i a r ,   D a v i d ;   L e e ,   V i n c e n t   C h e o n g ;   B u r r o w ,   A n d r e w 	 	 	 T h e   D i g i t a l   E m e r g i n g   a n d   C o n v e r g i n g   B i t s   o f   U r b a n i s m   C r o w d d e s i g n i n g   a   l i v e   k n o w l e d g e   n e t w o r k   f o r   s u s t a i n a b l e   u r b a n   l i v i n g 	 E C A A D E   2 0 1 0 :   F U T U R E   C I T I E S 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 2 8 t h   C o n f e r e n c e   o n   E d u c a t i o n   i n   C o m p u t e r   A i d e d   A r c h i t e c t u r a l   D e s i g n   i n   E u r o p e   ( e C A A D e ) 	 S E P   1 5 - 1 8 ,   2 0 1 0 	 Z u r i c h ,   S W I T Z E R L A N D 	 E T H   Z u r i c h ,   A u t o d e s k ,   B A S F ,   B e n t l e y ,   I B M 	 	 C r o w d s o u r c i n g ;   K n o w l e d g e   D i s c o v e r y ;   M o b i l e   a n d   U b i q u i t o u s   C o m p u t i n g ;   U r b a n   M o d e l i n g ;   S p a t i a l   I n t e r a c t i o n ;   S o c i a l   N e t w o r k i n g ;   W e b   2 . 0 	 	 D a t a   i s   u b i q u i t o u s   i n   o u r   c i t i e s .   H o w e v e r ,   d e s i g n i n g   a   k n o w l e d g e   n e t w o r k   a b o u t   o u r   c i t i e s   i s   a n   a r d u o u s   t a s k ,   g i v e n   t h a t   d a t a   s e n s e d   c a n n o t   b e   u s e d   d i r e c t l y ,   h u m a n   s i g n i f i c a n c e   m u s t   b e   a d d e d .   A d d i n g   h u m a n   s i g n i f i c a n c e   c a n   b e   a c h i e v e d   v i a   a n   a u t o m a t e d   " e x p e r t   s y s t e m   ( E S ) "   i n   w h i c h   d o m a i n   e x p e r t   k n o w l e d g e   a r e   s t o r e d   i n   a   k n o w l e d g e - b a s e d   r e p o s i t o r y .   T h e   d o m a i n   e x p e r t   k n o w l e d g e   i s   m a t c h e d   w i t h   t h e   c o r r e s p o n d i n g   d a t a   t o   d e r i v e   s p e c i f i c   i n f e r e n c e   w h i c h   c a n   a i d   d e c i s i o n   m a k i n g   f o r   u r b a n   s t a k e h o l d e r s .   T h i s   r e q u i r e s   a m a l g a m a t i o n   o f   v a r i o u s   i n t e r d i s c i p l i n a r y   t e c h n i q u e s .   T h i s   p a p e r   p r e s e n t s   a   s u r v e y   o f   e x i s t i n g   t e c h n o l o g i e s   i n   o r d e r   t o   i n v e s t i g a t e   t h e   e m e r g i n g   i s s u e s   s u r r o u n d i n g   t h e   d e s i g n   o f   a   l i v e   k n o w l e d g e   n e t w o r k   f o r   s u s t a i n a b l e   u r b a n   l i v i n g .   T h e   m a p s   a n d   m o d e l s   o f   t h e   e x i s t i n g   i n f r a s t r u c t u r e   o f   o u r   c i t i e s   t h a t   i n c l u d e   a   w e a l t h   o f   i n f o r m a t i o n   s u c h   a s   t o p o g r a p h y ,   l a y o u t ,   z o n i n g ,   l a n d   u s e ,   t r a n s p o r t a t i o n   n e t w o r k s ,   p u b l i c   f a c i l i t i e s ,   a n d   r e s o u r c e   n e t w o r k   g r i d s   n e e d   t o   b e   i n t e g r a t e d   w i t h   r e a l - t i m e   s p a t i o t e m p o r a l   i n f o r m a t i o n   a b o u t   t h e   c i t y .   P u b l i c   d a t a   i n   f o r m s   o f   a r c h i v e s   a n d   d a t a   s t r e a m s   a s   w e l l   a s   o n l i n e   d a t a   f r o m   t h e   s o c i a l   n e t w o r k   a n d   t h e   W e b   c a n   b e   a n a l y z e d   u s i n g   d a t a   m i n i n g   t e c h n i q u e s .   T h e   d o m a i n   e x p e r t s   n e e d   t o   i n t e r p r e t   t h e   r e s u l t s   o f   d a t a   m i n i n g   i n t o   k n o w l e d g e   t h a t   w i l l   a u g m e n t   t h e   e x i s t i n g   k n o w l e d g e   b a s e   a n d   m o d e l s   o f   o u r   c i t i e s .   I n   a d d i t i o n   t o   t h e   a n a l y s i s   o f   a r c h i v e d   a n d   s t r e a m e d   d a t a   s o u r c e s   f r o m   t h e   b u i l t   e n v i r o n m e n t ,   t h e   e m e r g i n g   s t a t e - o f - t h e - a r t   W e b   2 . 0   a n d   m o b i l e   t e c h n o l o g i e s   a r e   p r e s e n t e d   a s   t h e   p o t e n t i a l   t e c h n i q u e s   t o   c r o w d d e s i g n   a   l i v e   u r b a n   k n o w l e d g e   n e t w o r k .   D a t a   m o d e l i n g ,   d a t a   m i n i n g ,   c r o w d s o u r c i n g ,   a n d   s o c i a l   i n t e r v e n t i o n   t e c h n i q u e s   a r e   r e v i e w e d   i n   t h i s   p a p e r   w i t h   e x a m p l e s   f r o m   t h e   r e l a t e d   w o r k   a n d   o u r   o w n   e x p e r i m e n t s . 	 [ S a l i m ,   F l o r a   D i l y s ;   B u r r y ,   J a n e ;   B u r r o w ,   A n d r e w ]   R M I T   U n i v ,   S I A L ,   M e l b o u r n e ,   V i c ,   A u s t r a l i a 	 	 f l o r a . s a l i m @ r m i t . e d u . a u ;   j a n e . b u r r y @ r m i t . e d u . a u ;   d a v i d . t a n i a r @ m o n a s h . e d u ;   v i n c e n t . c s . l e e @ m o n a s h . e d u ;   a n d r e w . b u r r o w @ r m i t . e d u . a u 	 	 	 	 	 A s h r a f i   M . Z . ,   2 0 0 7 ,   I N T   J   B U S I N E S S   I N T E L ,   V 2 ,   P 2 9 ,   D O I   D O I   1 0 . 1 5 0 4 / I J - B I D M . 2 0 0 7 . 0 1 2 9 4 5 ;   F o g g   B . J . ,   2 0 0 2 ,   P E R S U A S I V E   T E C H N O L O G ;   F r o e h l i c h   J ,   2 0 0 9 ,   P   C H I 2 0 0 9   B O S T   M A   U S ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   K e i r s t e a d   J ,   2 0 0 9 ,   P   5   U R B   R E S   S ;   K i m   W ,   2 0 0 3 ,   D A T A   M I N   K N O W L   D I S C ,   V 7 ,   P 8 1 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 2 1 5 6 4 7 0 3 2 6 8 ;   L e a m a n   A ,   2 0 0 4 ,   H U M A N   G I V E S   J ,   V 1 1 ;   M i c h a l e w i c z   Z ,   2 0 0 7 ,   A D A P T I V E   B U S I N E S S   I N ;   R u s u   L I ,   2 0 0 4 ,   P   6   I N T   C   I N F   I N T   W E ;   S a l i m   F D ,   2 0 0 8 ,   6   A N N   I E E E   I N T   C   P E R ;   S a l i m   F D ,   2 0 1 0 ,   P   2 4   I N T   C   A D V   I N F   N ;   T a n i a r   D . ,   2 0 1 0 ,   I N T   J   C O M P U T E R   S Y S T E ,   V 2 3 ;   T a n i a r   D ,   2 0 0 8 ,   A P P L   M A T H   C O M P U T ,   V 2 0 5 ,   P 7 3 5 ,   D O I   1 0 . 1 0 1 6 / j . a m c . 2 0 0 8 . 0 5 . 0 2 0 ;   T a n i a r   D ,   2 0 0 7 ,   I N T   J   D I S T R I B   S E N S   N ,   V 3 ,   P 6 9 ,   D O I   1 0 . 1 0 8 0 / 1 5 5 0 1 3 2 0 6 0 1 0 6 9 4 9 9 ;   T j i o e   H .   C . ,   2 0 0 5 ,   I n t e r n a t i o n a l   J o u r n a l   o f   D a t a   W a r e h o u s i n g   a n d   M i n i n g ,   V 1 ,   D O I   1 0 . 4 0 1 8 / j d w m . 2 0 0 5 0 7 0 1 0 3 ;   W a n g   Y D ,   2 0 0 6 ,   D A T A   K N O W L   E N G ,   V 5 7 ,   P 2 4 0 ,   D O I   1 0 . 1 0 1 6 / j . d a t a k . 2 0 0 5 . 0 4 . 0 0 6 	 1 7 	 0 	 0 	 E C A A D E - E D U C A T I O N   &   R E S E A R C H   C O M P U T E R   A I D E D   A R C H I T E C T U R A L   D E S I G N   E U R O P E 	 B R U S S E L S 	 D E P T   A R C H I T E C T U R E   S I N T - L U C A S   B R U S S E L S - G H E N T ,   H O G E S C H O O L   V O O R   W E T E N S C H A P   &   K U N S T ,   P A L E I Z E N S T R A A T   6 5 ,   B R U S S E L S ,   1 0 3 0 ,   B E L G I U M 	 	 	 9 7 8 - 0 - 9 5 4 1 1 8 3 - 9 - 6 	 	 	 	 2 0 1 0 	 	 	 	 	 	 	 8 8 3 	 8 9 1 	 	 	 	 9 	 A r c h i t e c t u r e 	 A r c h i t e c t u r e 	 B B 0 R A 	 W O S : 0 0 0 3 4 0 6 2 9 4 0 0 0 9 4 	 	 
 S 	 B r e w ,   A ;   G r e e n e ,   D ;   C u n n i n g h a m ,   P 	 	 C o e l h o ,   H ;   S t u d e r ,   R ;   W o o l d r i d g e ,   M 	 	 B r e w ,   A n t h o n y ;   G r e e n e ,   D e r e k ;   C u n n i n g h a m ,   P a d r a i g 	 	 	 U s i n g   C r o w d s o u r c i n g   a n d   A c t i v e   L e a r n i n g   t o   T r a c k   S e n t i m e n t   i n   O n l i n e   M e d i a 	 E C A I   2 0 1 0   -   1 9 T H   E U R O P E A N   C O N F E R E N C E   O N   A R T I F I C I A L   I N T E L L I G E N C E 	 F r o n t i e r s   i n   A r t i f i c i a l   I n t e l l i g e n c e   a n d   A p p l i c a t i o n s 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 9 t h   E u r o p e a n   C o n f e r e n c e   o n   A r t i f i c i a l   I n t e l l i g e n c e   ( E C A I ) / 6 t h   C o n f e r e n c e   o n   P r e s t i g i o u s   A p p l i c a t i o n s   o f   I n t e l l i g e n t   S y s t e m s   ( P A I S ) 	 A U G   1 6 - 2 0 ,   2 0 1 0 	 L i s b o n ,   P O R T U G A L 	 E u r o p e a n   C o o r d i n a t i n g   C o m m   A r t i f i c i a l   I n t e l l i g e n c e   ( E C C A I ) ,   A g r e e m e n t   T e c h n o l ,   P o r t u g u e s e   A s s o c   A r t i f i c i a l   I n t e l l i g e n c e   ( A P P I A ) ,   A r t i f i c i a l   I n t e l l i g e n c e   J o u r n a l   ( E l s e v i e r ) ,   F u n d a c a o   L u s o - A m e r   ( F L A D ) ,   L a b   A g e n t   M o d e l l i n g   ( L a b M A g ) ,   P R I M A V E R A   B u s i n e s s   S o f t w a r e   S o l u t ,   S I S C O G   ( S i s t e m a s   C o g n i t i v o s ) 	 U n i v   L i s b o n ,   F a c   S c i 	 	 	 T r a c k i n g   s e n t i m e n t   i n   t h e   p o p u l a r   m e d i a   h a s   l o n g   b e e n   o f   i n t e r e s t   t o   m e d i a   a n a l y s t s   a n d   p u n d i t s .   W i t h   t h e   a v a i l a b i l i t y   o f   n e w s   c o n t e n t   v i a   o n l i n e   s y n d i c a t e d   f e e d s ,   i t   i s   n o w   p o s s i b l e   t o   a u t o m a t e   s o m e   a s p e c t s   o f   t h i s   p r o c e s s .   T h e r e   i s   a l s o   g r e a t   p o t e n t i a l   t o   c r o w d s o u r c e ( 2 )   m u c h   o f   t h e   a n n o t a t i o n   w o r k   t h a t   i s   r e q u i r e d   t o   t r a i n   a   m a c h i n e   l e a r n i n g   s y s t e m   t o   p e r f o r m   s e n t i m e n t   s c o r i n g .   W e   d e s c r i b e   s u c h   a   s y s t e m   f o r   t r a c k i n g   e c o n o m i c   s e n t i m e n t   i n   o n l i n e   m e d i a   t h a t   h a s   b e e n   d e p l o y e d   s i n c e   A u g u s t   2 0 0 9 .   I t   u s e s   a n n o t a t i o n s   p r o v i d e d   b y   a   c o h o r t   o f   n o n - e x p e r t   a n n o t a t o r s   t o   t r a i n   a   l e a r n i n g   s y s t e m   t o   c l a s s i f y   a   l a r g e   b o d y   o f   n e w s   i t e m s .   W e   r e p o r t   o n   t h e   d e s i g n   c h a l l e n g e s   a d d r e s s e d   i n   m a n a g i n g   t h e   e f f o r t   o f   t h e   a n n o t a t o r s   a n d   i n   m a k i n g   a n n o t a t i o n   a n   i n t e r e s t i n g   e x p e r i e n c e . 	 [ B r e w ,   A n t h o n y ;   G r e e n e ,   D e r e k ;   C u n n i n g h a m ,   P a d r a i g ]   U n i v   C o l l   D u b l i n ,   D u b l i n ,   I r e l a n d 	 B r e w ,   A   ( r e p r i n t   a u t h o r ) ,   U n i v   C o l l   D u b l i n ,   D u b l i n ,   I r e l a n d . 	 a n t h o n y . b r e w @ u c d . i e 	 	 	 	 	 A t t a r d i   G . ,   2 0 0 6 ,   P   1 5   T E X T   R E T R I E V A L ;   B a s u   S . ,   2 0 0 4 ,   P   1 0   A C M   S I G K D D   I N T ,   P 5 9 ,   D O I   1 0 . 1 1 4 5 / 1 0 1 4 0 5 2 . 1 0 1 4 0 6 2 ;   B l i t z e r   J o h n ,   2 0 0 7 ,   P   4 5   A N N   M   A S S   C O M P ,   P 4 4 0 ;   B r e w   A n t h o n y ,   2 0 1 0 ,   U C D C S I 2 0 1 0 1 ;   C u n n i n g h a m   P ,   2 0 0 8 ,   C O G N   T E C H N O L ,   P 2 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 7 5 1 7 1 - 7 _ 2 ;   D a w i d   A . P . ,   1 9 7 9 ,   J   R O Y A L   S T A T   S O C   C ,   V 2 8 ,   P 2 0 ;   D O N M E Z   P ,   2 0 0 9 ,   P   1 5   A C M   S I G K D D   I N T ,   P 2 5 9 ,   D O I   1 0 . 1 1 4 5 / 1 5 5 7 0 1 9 . 1 5 5 7 0 5 3 ;   H s u e h   P . ,   2 0 0 9 ,   P   N A A C L   H L T   2 0 0 9   W O R ,   P 2 7 ,   D O I   1 0 . 3 1 1 5 / 1 5 6 4 1 3 1 . 1 5 6 4 1 3 7 ;   K i t t u r   A . ,   2 0 0 8 ,   P   2 6   A N N   S I G C H I   C   H U ,   P 4 5 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 5 7 0 5 4 . 1 3 5 7 1 2 7 ;   M a t s u m o t o   S . ,   2 0 0 5 ,   P   9   P A C   A S   C   K N O W L   D ,   P 3 0 1 ;   P a n g   B . ,   2 0 0 2 ,   P   A C L   0 2   C   E M P   M E T H ,   V 1 0 ,   P 7 9 ,   D O I   1 0 . 3 1 1 5 / 1 1 1 8 6 9 3 . 1 1 1 8 7 0 4 ;   P r o v o s t   F . J . ,   1 9 9 8 ,   P   1 5   I N T   C   M A C H   L E A R ,   P 4 4 5 ;   R a y k a r   V .   C . ,   2 0 0 9 ,   P   2 6   A N N   I N T   C   M A C H ,   P 8 8 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 5 5 3 3 7 4 . 1 5 5 3 4 8 8 ;   S h e n g   V .   S . ,   2 0 0 8 ,   P   1 4   A C M   S I G K D D   I N T ,   P 6 1 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 0 1 8 9 0 . 1 4 0 1 9 6 5 ;   S m y t h   P ,   1 9 9 5 ,   A D V   N E U R A L   I N F O R M   P R ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   W i l s o n   T S ,   2 0 0 5 ,   P H I L   E D U C ,   P 3 4 7 ,   D O I   1 0 . 3 1 1 5 / 1 2 2 0 5 7 5 . 1 2 2 0 6 1 9 ;   W r i g h t   A l e x ,   2 0 0 9 ,   N Y   T I M E S 	 1 8 	 2 	 2 	 I O S   P R E S S 	 A M S T E R D A M 	 N I E U W E   H E M W E G   6 B ,   1 0 1 3   B G   A M S T E R D A M ,   N E T H E R L A N D S 	 0 9 2 2 - 6 3 8 9 	 	 9 7 8 - 1 - 6 0 7 5 0 - 6 0 5 - 8 	 F R O N T   A R T I F   I N T E L   A P 	 	 	 2 0 1 0 	 2 1 5 	 	 	 	 	 	 1 4 5 	 1 5 0 	 	 1 0 . 3 2 3 3 / 9 7 8 - 1 - 6 0 7 5 0 - 6 0 6 - 5 - 1 4 5 	 	 6 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e 	 C o m p u t e r   S c i e n c e 	 B B B 8 1 	 W O S : 0 0 0 3 0 6 3 7 3 2 0 0 0 2 4 	 	 
 S 	 W i l l i a m s ,   A J 	 	 B e l f o r d ,   R E ;   M o o r e ,   J W ;   P e n c e ,   H E 	 	 W i l l i a m s ,   A n t o n y   J . 	 	 	 C h e m   S p i d e r :   I n t e g r a t i n g   S t r u c t u r e - B a s e d   R e s o u r c e s   D i s t r i b u t e d   a c r o s s   t h e   I n t e r n e t 	 E N H A N C I N G   L E A R N I N G   W I T H   O N L I N E   R E S O U R C E S ,   S O C I A L   N E T W O R K I N G ,   A N D   D I G I T A L   L I B R A R I E S 	 A C S   S y m p o s i u m   S e r i e s 	 	 E n g l i s h 	 A r t i c l e ;   B o o k   C h a p t e r 	 	 	 	 	 	 	 A C C E S S   C H E M I S T R Y   D A T A B A S E S 	 A c c e s s i n g   i n f o r m a t i o n   a b o u t   c h e m i c a l s   d i s t r i b u t e d   a c r o s s   t h e   I n t e r n e t   i s ,   i n   m a n y   w a y s ,   t o o   e a s y .   C h e m i s t s   s i m p l y   t y p e   i n   t h e   n a m e   o f   a   c h e m i c a l   o f   i n t e r e s t   i n t o   a   s e a r c h   e n g i n e   a n d   t h e n   w a d e   t h r o u g h   t h e   r e s u l t s   h o p i n g   t o   f i n d   a   r e s u l t   m a t c h i n g   t h e i r   q u e r y .   S u c h   a p p r o a c h e s   a r e   l i m i t e d   t o   t h e   w h i m s   o f   t e x t - b a s e d   m a t c h i n g   a n d   i t   c a n   b e   v e r y   t i m e - c o n s u m i n g   t o   w a d e   t h r o u g h   p a g e s   o f   r e s u l t s   a t t e m p t i n g   t o   s e g r e g a t e   t h e   v a r i o u s   t y p e s   o f   i n f o r m a t i o n   r e t r i e v e d .   C h e m S p i d e r   i s   a   f r e e   o n l i n e   s t r u c t u r e   d a t a b a s e   d e v e l o p e d   w i t h   t h e   i n t e n t i o n   o f   a g g r e g a t i n g   a n d   l i n k i n g   c h e m i c a l   s t r u c t u r e   b a s e d   i n f o r m a t i o n   a n d   d a t a   a c r o s s   t h e   I n t e r n e t .   C o n t a i n i n g   a l m o s t   2 5   m i l l i o n   u n i q u e   c h e m i c a l   e n t i t i e s   a n d   l i n k e d   o u t   t o   o v e r   3 0 0   d a t a   s o u r c e s   C h e m S p i d e r   o f f e r s   t h e   a b i l i t y   t o   p e r f o r m   b o t h   t e x t   a n d   s t r u c t u r e - b a s e d   s e a r c h e s   t o   r e s o u r c e   i n f o r m a t i o n   s u c h   a s   c h e m i c a l   v e n d o r s ,   p r o p e r t i e s ,   a n a l y t i c a l   d a t a ,   p a t e n t s ,   p u b l i c a t i o n s   a n d   a   m y r i a d   o f   o t h e r   i n f o r m a t i o n .   W h i l e   e n a b l i n g   t h i s   b r o a d   f o r m   o f   s e a r c h i n g   f o r   c h e m i c a l   d a t a   a c r o s s   t h e   I n t e r n e t   C h e m S p i d e r   h a s   a l s o   a s s u m e d   a   k e y   r o l e   i n   a l l o w i n g   t h e   c o m m u n i t y   t o   e x p a n d   a n d   i m p r o v e   t h e   o n l i n e   d a t a   b y   p r o v i d i n g   a   p l a t f o r m   f o r   c o m m u n i t y   d e p o s i t i o n ,   a n n o t a t i o n   a n d   c u r a t i o n .   A s   a   r e s u l t   t h e   C h e m S p i d e r   W e b   s i t e   h a s   b e c o m e   a   c r o w d s o u r c i n g   e n v i r o n m e n t   f o r   c h e m i s t s   t o   e x p o s e   t h e i r   o w n   a c t i v i t i e s   t o   t h e   c o m m u n i t y   a n d   p a r t i c i p a t e   i n   c r e a t i n g   t h e   r i c h e s t   s i n g l e   r e s o u r c e   f o r   c h e m i s t r y   r e l a t e d   i n f o r m a t i o n   a v a i l a b l e   o n l i n e   a n d ,   i n   k e e p i n g   w i t h   t h e   n a t u r e   o f   t h e   W e b ,   f o r   f r e e . 	 R o y a l   S o c   C h e m   U S   O f f ,   W a k e   F o r e s t ,   N C   2 7 5 8 7   U S A 	 W i l l i a m s ,   A J   ( r e p r i n t   a u t h o r ) ,   R o y a l   S o c   C h e m   U S   O f f ,   9 0 4   T a m a r a s   C i r c l e ,   W a k e   F o r e s t ,   N C   2 7 5 8 7   U S A . 	 a n t o n y . w i l l i a m s @ c h e m s p i d e r . c o m 	 	 	 	 	 A n d e r s o n   C . ,   2 0 0 9 ,   F R E E   F U T U R E   R A D I C A L ;   [ A n o n y m o u s ] ,   C H E M S P I D E R   S Y N T H   P A G ;   [ A n o n y m o u s ] ,   2 D N M R   S P E C T R   G A M ;   B a k e r   M ,   2 0 0 6 ,   N A T   R E V   D R U G   D I S C O V ,   V 5 ,   P 7 0 7 ,   D O I   1 0 . 1 0 3 8 / n r d 2 1 4 8 ;   B e n s o n   D A ,   2 0 0 7 ,   N U C L E I C   A C I D S   R E S ,   V 3 5 ,   p D 2 1 ,   D O I   1 0 . 1 0 9 3 / n a r / g k l 9 8 6 ;   B e r m a n   H .   M . ,   2 0 0 3 ,   N A T   S T R U C T   B I O L ,   V 1 2 ,   P 9 8 0 ;   B r a d l e y   J .   C . ,   2 0 0 7 ,   N A T U R E   P R E C E D I N G S ;   B r a d l e y   J C ,   2 0 0 9 ,   J   C H E M I N F O R M A T I C S ,   V 1 ,   D O I   1 0 . 1 1 8 6 / 1 7 5 8 - 2 9 4 6 - 1 - 9 ;   B r a d l e y   J . - C . ,   C H E M S P I D E R   S T R U C T U R E ;   B r a d l e y   J . - C . ,   C H E M   I N F O R M   R E T R I E V A ;   C h e m i c a l   A b s t r a c t s   S e r v i c e   S c i F i n d e r ,   C H E M   A B S T R   S E R V   S C I F ;   H e t t n e   M .   K . ,   2 0 1 0 ,   J   C H E M I N F O R M A T I C S ,   V 2 ,   P 3 ;   P u b C h e m :   N a t i o n a l   C e n t e r   f o r   B i o t e c h n o l o g y   I n f o r m a t i o n   ( N C B I ) ,   P U B C H E M   N A T   C T R   B I O T ;   T h e   I U P A C   I n t e r n a t i o n a l   C h e m i c a l   I d e n t i f i e r ,   I U P A C   I N T   C H E M   I D ;   W E I N I N G E R   D ,   1 9 8 8 ,   J   C H E M   I N F   C O M P   S C I ,   V 2 8 ,   P 3 1 ,   D O I   1 0 . 1 0 2 1 / c i 0 0 0 5 7 a 0 0 5 ;   W i l l i a m s   A .   J . ,   B L O G   P O S T I N G   R E G A R D I ;   W i l l i a m s   A .   J . ,   M O B I L E   C H E M ;   W i l l i a m s   A .   J . ,   C H E M S P I D E R   P U B C H E M   P ;   W i l l i a m s   A .   J . ,   2 0 0 7 ,   C H E M   I N T ,   V 3 0 ,   P 3 0 ;   W i l l i a m s   A J ,   2 0 0 8 ,   D R U G   D I S C O V   T O D A Y ,   V 1 3 ,   P 4 9 5 ,   D O I   1 0 . 1 0 1 6 / j . d r u d i s . 2 0 0 8 . 0 3 . 0 1 7 ;   W i l l i a m s   A J ,   2 0 0 8 ,   D R U G   D I S C O V   T O D A Y ,   V 1 3 ,   P 5 0 2 ,   D O I   1 0 . 1 0 1 6 / j . d r u d i s . 2 0 0 8 . 0 3 . 0 1 5 ;   W i s h a r t   D .   S . ,   N U C L   A C I D S   R E S ,   V 3 5 ,   p D 5 2 1 ;   W i s h a r t   D S ,   2 0 0 8 ,   N U C L E I C   A C I D S   R E S ,   V 3 6 ,   p D 9 0 1 ,   D O I   1 0 . 1 0 9 3 / n a r / g k m 9 5 8 ;   Z h o u   Y Y ,   2 0 0 7 ,   J   C H E M   I N F   M O D E L ,   V 4 7 ,   P 1 3 8 6 ,   D O I   1 0 . 1 0 2 1 / c i 7 0 0 0 9 2 v 	 2 4 	 1 	 1 	 A M E R   C H E M I C A L   S O C 	 W A S H I N G T O N 	 1 1 5 5   S I X T E E N T H   S T   N W ,   W A S H I N G T O N ,   D C   2 0 0 3 6   U S A 	 0 0 9 7 - 6 1 5 6 	 	 9 7 8 - 0 - 8 4 1 2 - 2 6 0 0 - 5 	 A C S   S Y M   S E R 	 A C S   S y m p .   S e r . 	 	 2 0 1 0 	 1 0 6 0 	 	 	 	 	 	 2 3 	 3 9 	 	 	 1 0 . 1 0 2 1 / b k - 2 0 1 0 - 1 0 6 0 	 1 7 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 C o m p u t e r   S c i e n c e ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 B E P 5 7 	 W O S : 0 0 0 3 1 7 6 3 1 2 0 0 0 0 2 	 	 
 S 	 K i e n l e ,   H M ;   L o b e r ,   A ;   V a s i l i u ,   C A ;   M u l l e r ,   H A 	 	 L e h m a n n G r u b e ,   F ;   S a b l a t n i g ,   J 	 	 K i e n l e ,   H o l g e r   M . ;   L o b e r ,   A n d r e a s ;   V a s i l i u ,   C r i n a   A . ;   M u e l l e r ,   H a u s i   A . 	 	 	 I n v e s t i g a t i n g   t h e   C o n c e p t   o f   C o n s u m e r s   a s   P r o d u c e r s   i n   V i r t u a l   W o r l d s :   L o o k i n g   t h r o u g h   S o c i a l ,   T e c h n i c a l ,   E c o n o m i c ,   a n d   L e g a l   L e n s e s 	 F A C E T S   O F   V I R T U A L   E N V I R O N M E N T S 	 L e c t u r e   N o t e s   o f   t h e   I n s t i t u t e   f o r   C o m p u t e r   S c i e n c e s   S o c i a l   I n f o r m a t i c s   a n d   T e l e c o m m u n i c a t i o n s   E n g i n e e r i n g 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 s t   I n t e r n a t i o n a l   C o n f e r e n c e   o n   F a c e t s   o f   V i r t u a l   E n v i r o n m e n t s 	 J U L   2 7 - 2 9 ,   2 0 0 9 	 B e r l i n ,   G E R M A N Y 	 	 	 c o n s u m e r s   a s   p r o d u c e r s ;   p r o s u m e r ;   c r o w d s o u r c i n g ;   v i r t u a l   w o r l d s ;   e m e r g e n t   b e h a v i o r ;   a r c h i t e c t u r e 	 	 V i r t u a l   w o r l d s   s u c h   a s   W o r l d   o f   W a r c r a f t   a n d   S e c o n d   L i f e   e n a b l e   c o n s u m e r s   a s   p r o d u c e r s ,   t h a t   i s   u s e r s   c a n   c h o o s e   t o   b e   p a s s i v e   c o n s u m e r s   o f   c o n t e n t ,   a c t i v e   p r o d u c e r s   o f   c o n t e n t ,   o r   b o t h .   C o n s u m e r s   a s   p r o d u c e r s   p o s e s   u n i q u e   c h a l l e n g e s   a n d   o p p o r t u n i t i e s   f o r   b o t h   o p e r a t o r s   a n d   u s e r s   o f   v i r t u a l   w o r l d s .   W h i l e   t h e   d e g r e e s   o f   f r e e d o m   f o r   u s e r - g e n e r a t e d   c o n t e n t   d i f f e r   d e p e n d i n g   o n   t h e   w o r l d ,   i n s t a n c e s   o f   c o n s u m e r s   a s   p r o d u c e r s   c a n   b e   f o u n d   i n   m a n y   v i r t u a l   w o r l d s .   I n   t h i s   p a p e r   w e   c h a r a c t e r i z e   c o n s u m e r s   a s   p r o d u c e r s   w i t h   t h e   h e l p   o f   f o u r   " l e n s e s " - s o c i a l ,   t e c h n i c a l ,   e c o n o m i c ,   a n d   l e g a l - a n d   u s e   t h e   l e n s e s   t o   d i s c u s s   i m p l i c a t i o n s   f o r   o p e r a t o r s   a n d   u s e r s .   T h e s e   l e n s e s   p r o v i d e   a   c o m p l e m e n t a r y   a n a l y s i s   o f   c o n s u m e r s   a s   p r o d u c e r s   f r o m   d i f f e r e n t   a n g e l s   a n d   s h o w s   t h a t   a n   u n d e r s t a n d i n g   o f   i t   r e q u i r e s   a   h o l i s t i c   a p p r o a c h . 	 [ K i e n l e ,   H o l g e r   M . ;   M u e l l e r ,   H a u s i   A . ]   U n i v   V i c t o r i a ,   V i c t o r i a ,   B C ,   C a n a d a 	 K i e n l e ,   H M   ( r e p r i n t   a u t h o r ) ,   U n i v   V i c t o r i a ,   V i c t o r i a ,   B C ,   C a n a d a . 	 k i e n l e @ c s . u v i c . c a ;   a l o b e r @ s c h u l t e - l a w y e r s . d e ;   c r i n a . v a s i l i u @ a l u m n i . u v i c . c a ;   h a u s i @ c s . u v i c . c a 	 	 	 	 	 [ A n o n y m o u s ] ,   2 0 0 8 ,   P R O T   C O N S   N E X T   T E C H ;   B a r t l e   R . A ,   2 0 0 4 ,   N Y L   S C H   L   R E V ,   V 4 9 ,   P 1 9 ;   B a r t l e   R . A ,   2 0 0 4 ,   D 9 1   S E C U R E S C M ;   B e n k l e r   Y . ,   2 0 0 6 ,   W E A L T H   N E T W O R K S   S O C I ;   B o y d   D .   M . ,   2 0 0 8 ,   J   C O M P U T - M E D I A T   C O M M ,   V 1 3 ,   P 2 1 0 ,   D O I   D O I   1 0 . 1 1 1 1 / J . 1 0 8 3 - 6 1 0 1 . 2 0 0 7 . 0 0 3 9 3 . X ;   B u r r i - N e n o v a   M ,   2 0 0 9 ,   2 0 0 9 1   S W I S S   N A T   C T R ;   C h u r c h i l l   E . F ,   2 0 0 8 ,   A C M   I N T E R A C T I O N S ,   V 1 5 ,   P 3 8 ;   D o u g h e r t y   C . ,   2 0 0 8 ,   V I R T U A L   T R A D E M A R K S ;   E N I S A ,   2 0 0 8 ,   V I R T   W O R L D S   R E A L   M O N ;   G r i m m e l m a n n   J ,   2 0 0 4 ,   N E W   Y O R K   L A W   S C H   L A W ,   V 4 7 ,   P 1 4 7 ;   H u m p h r e y s   S ,   2 0 0 5 ,   M E D I A   A R T S   L A W   R E V ,   V 1 0 ,   P 2 9 9 ;   K a z m a n   R ,   2 0 0 9 ,   C O M M U N   A C M ,   V 5 2 ,   P 7 6 ,   D O I   1 0 . 1 1 4 5 / 1 5 3 8 7 8 8 . 1 5 3 8 8 0 8 ;   K i e n l e   H . M . ,   2 0 0 8 ,   1   I N T   W O R K S H   R E Q   E N G ;   K u m a r   S ,   2 0 0 8 ,   C O M P U T E R ,   V 4 1 ,   P 4 6 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 8 . 3 9 8 ;   K u n k e l   R . G ,   2 0 0 2 ,   M U R D O C H   U   E L E C T   J   L A ,   P 9 ;   L a s t o w k a   F .   G . ,   2 0 0 4 ,   N Y L   S C H   L   R E V ,   V 4 9 ,   P 2 9 3 ;   L a s t o w k a   F . G . ,   2 0 0 3 ,   P U B L I C   L A W   L E G A L   T H E ;   L a s t o w k a   G r e g ,   2 0 0 8 ,   V A N D E R B I L T   J   E N T E R T A ,   V 1 0 ,   P 8 9 3 ;   L e d e r m a n   L ,   2 0 0 7 ,   N E W   Y O R K   U   L A W   R E V ,   V 8 2 ,   P 1 6 2 0 ;   L e h d o n v i r t a   V . ,   2 0 0 9 ,   E L E C T   C O M M E R C E   R E S ,   V 9 ;   L e s s i g   L ,   1 9 9 9 ,   H A R V A R D   L A W   R E V ,   V 1 1 3 ,   P 5 0 1 ,   D O I   1 0 . 2 3 0 7 / 1 3 4 2 3 3 1 ;   O n d r e j k a   C ,   2 0 0 5 ,   A V I A T O R S   M O G U L S   F A S H ;   O n d r e j k a   C . ,   2 0 0 4 ,   N Y L   S C H   L   R E V ,   V 4 9 ,   P 8 1 ;   O n d r e j k a   C o r y ,   2 0 0 4 ,   P I E C E   P L A C E   M O D E L I N G ;   P e a r c e   C ,   2 0 0 6 ,   T H E S I S   U   A R T S   L O N D O N ;   P e a r c e   C ,   2 0 0 2 ,   C O M P U T   G R A P H - U K ,   V 2 6 ,   P 2 1 ,   D O I   1 0 . 1 0 1 6 / S 0 0 9 7 - 8 4 9 3 ( 0 1 ) 0 0 1 7 5 - 3 ;   P e a r c e   C ,   2 0 0 7 ,   S A N D B O X   S Y M P O S I U M   2 0 0 7 :   A C M   S I G G R A P H   V I D E O   G A M E   S Y M P O S I U M ,   P R O C E E D I N G S ,   P 6 5 ;   R e u v e n i   E ,   2 0 0 8 ,   A U T H O R S H I P   A G E   C O N D U ;   S w i r e   P . P ,   2 0 0 8 ,   C O N S U M E R S   P R O D U C E R S ;   S y m b o r s k i   C ,   2 0 0 8 ,   C O M P U T E R ,   V 4 1 ,   P 3 8 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 8 . 3 9 7 ;   T o f f l e r   A . ,   1 9 8 0 ,   3   W A V E ;   W h i t e   W . ,   2 0 0 8 ,   A C M   Q U E U E ,   V 6 ,   P 1 8 	 3 2 	 1 	 1 	 S P R I N G E R 	 N E W   Y O R K 	 2 3 3   S P R I N G   S T R E E T ,   N E W   Y O R K ,   N Y   1 0 0 1 3 ,   U N I T E D   S T A T E S 	 1 8 6 7 - 8 2 1 1 	 	 9 7 8 - 3 - 6 4 2 - 1 1 7 4 2 - 8 	 L   N   I N S T   C O M P   S C I   S O 	 	 	 2 0 1 0 	 3 3 	 	 	 	 	 	 1 8 7 	 2 0 3 	 	 	 	 1 7 	 C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s 	 C o m p u t e r   S c i e n c e 	 B B M 5 0 	 W O S : 0 0 0 3 0 7 3 6 6 8 0 0 0 1 5 	 	 
 S 	 S o r o k i n ,   A ;   B e r e n s o n ,   D ;   S r i n i v a s a ,   S S ;   H e b e r t ,   M 	 	 	 I E E E 	 S o r o k i n ,   A l e x a n d e r ;   B e r e n s o n ,   D m i t r y ;   S r i n i v a s a ,   S i d d h a r t h a   S . ;   H e b e r t ,   M a r t i a l 	 	 	 P e o p l e   H e l p i n g   R o b o t s   H e l p i n g   P e o p l e :   C r o w d s o u r c i n g   f o r   G r a s p i n g   N o v e l   O b j e c t s 	 I E E E / R S J   2 0 1 0   I N T E R N A T I O N A L   C O N F E R E N C E   O N   I N T E L L I G E N T   R O B O T S   A N D   S Y S T E M S   ( I R O S   2 0 1 0 ) 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n t e l l i g e n t   R o b o t s   a n d   S y s t e m s 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E / R S J   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n t e l l i g e n t   R o b o t s   a n d   S y s t e m s 	 O C T   1 8 - 2 2 ,   2 0 1 0 	 T a i p e i ,   T A I W A N 	 	 	 	 	 F o r   s u c c e s s f u l   d e p l o y m e n t ,   p e r s o n a l   r o b o t s   m u s t   a d a p t   t o   e v e r - c h a n g i n g   i n d o o r   e n v i r o n m e n t s .   W h i l e   d e a l i n g   w i t h   n o v e l   o b j e c t s   i s   a   l a r g e l y   u n s o l v e d   c h a l l e n g e   i n   A I ,   i t   i s   e a s y   f o r   p e o p l e .   I n   t h i s   p a p e r   w e   p r e s e n t   a   f r a m e w o r k   f o r   r o b o t   s u p e r v i s i o n   t h r o u g h   A m a z o n   M e c h a n i c a l   T u r k .   U n l i k e   t r a d i t i o n a l   m o d e l s   o f   t e l e o p e r a t i o n ,   p e o p l e   p r o v i d e   s e m a n t i c   i n f o r m a t i o n   a b o u t   t h e   w o r l d   a n d   s u b j e c t i v e   j u d g e m e n t s .   T h e   r o b o t   t h e n   a u t o n o m o u s l y   u t i l i z e s   t h e   a d d i t i o n a l   i n f o r m a t i o n   t o   e n h a n c e   i t s   c a p a b i l i t i e s .   T h e   i n f o r m a t i o n   c a n   b e   c o l l e c t e d   o n   d e m a n d   i n   l a r g e   v o l u m e s   a n d   a t   l o w   c o s t .   W e   d e m o n s t r a t e   o u r   a p p r o a c h   o n   t h e   t a s k   o f   g r a s p i n g   u n k n o w n   o b j e c t s . 	 [ S o r o k i n ,   A l e x a n d e r ]   U n i v   I l l i n o i s ,   U r b a n a ,   I L   6 1 8 0 1   U S A 	 S o r o k i n ,   A   ( r e p r i n t   a u t h o r ) ,   U n i v   I l l i n o i s ,   U r b a n a ,   I L   6 1 8 0 1   U S A . 	 s y r n i c k @ g m a i l . c o m ;   d b e r e n s o @ r i . c m u . e d u ;   s i d d h a r t h a . s r i n i v a s a @ i n t e l . c o m ;   h e b e r t @ r i . c m u . e d u 	 	 	 	 	 B e r e n s o n   D . ,   2 0 0 8 ,   I E E E   R A S   I N T   C   H U M   R ;   F U R U K A W A   Y ,   2 0 0 9 ,   T   P A M I ;   K a z h d a n   M . ,   2 0 0 6 ,   S G P   0 6 ;   K U F F N E R ,   2 0 0 0 ,   P   I E E E   I N T   C   R O B   A U T ;   M A R T I N E Z   M ,   2 0 1 0 ,   I C R A   A N C H ;   S n a v e l y   N . ,   2 0 0 8 ,   I J C V ;   S N O W   R ,   2 0 0 8 ,   E M N L P   0 8 ;   S O R O K I N   A ,   2 0 0 8 ,   1   I N T   W O R K S H   I N T   V I S ;   S r i n i v a s a   S . ,   2 0 0 9 ,   A U T O N O M O U S   R O B O T S 	 9 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 2 1 5 3 - 0 8 5 8 	 	 9 7 8 - 1 - 4 2 4 4 - 6 6 7 5 - 7 	 I E E E   I N T   C   I N T   R O B O T 	 	 	 2 0 1 0 	 	 	 	 	 	 	 2 1 1 7 	 2 1 2 2 	 	 	 	 6 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   R o b o t i c s 	 C o m p u t e r   S c i e n c e ;   R o b o t i c s 	 B T O 9 7 	 W O S : 0 0 0 2 8 7 6 7 2 0 0 4 1 3 5 	 	 
 J 	 B r a b h a m ,   D C 	 	 	 	 B r a b h a m ,   D a r e n   C . 	 	 	 M O V I N G   T H E   C R O W D   A T   T H R E A D L E S S   M o t i v a t i o n s   f o r   p a r t i c i p a t i o n   i n   a   c r o w d s o u r c i n g   a p p l i c a t i o n 	 I N F O R M A T I O N   C O M M U N I C A T I O N   &   S O C I E T Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c r o w d s o u r c i n g ;   m o t i v a t i o n s ;   i n s t a n t   m e s s a g i n g   i n t e r v i e w s ;   o n l i n e   c o m m u n i t y ;   a d d i c t i o n 	 O P E N - S O U R C E   P R O J E C T S ;   S O F T W A R E 	 C r o w d s o u r c i n g   i s   a n   o n l i n e ,   d i s t r i b u t e d   p r o b l e m - s o l v i n g   a n d   p r o d u c t i o n   m o d e l   a l r e a d y   i n   u s e   b y   b u s i n e s s e s   s u c h   a s   T h r e a d l e s s .   c o m ,   i S t o c k p h o t o .   c o m ,   a n d   I n n o C e n t i v e . c o m .   T h i s   m o d e l ,   w h i c h   h a r n e s s e s   t h e   c o l l e c t i v e   i n t e l l i g e n c e   o f   a   c r o w d   o f   W e b   u s e r s   t h r o u g h   a n   o p e n - c a l l   f o r m a t ,   h a s   t h e   p o t e n t i a l   f o r   g o v e r n m e n t   a n d   n o n - p r o f i t   a p p l i c a t i o n s .   Y e t ,   i n   o r d e r   t o   e x p l o r e   n e w   a p p l i c a t i o n s   f o r   t h e   c r o w d s o u r c i n g   m o d e l ,   t h e r e   m u s t   b e   a   b e t t e r   u n d e r s t a n d i n g   o f   w h y   c r o w d s   p a r t i c i p a t e   i n   c r o w d s o u r c i n g   p r o c e s s e s .   B a s e d   o n   1 7   i n t e r v i e w s   c o n d u c t e d   v i a   i n s t a n t   m e s s e n g e r   w i t h   m e m b e r s   o f   t h e   c r o w d   a t   T h r e a d l e s s ,   t h e   p r e s e n t   s t u d y   a d d s   q u a l i t a t i v e l y   r i c h   d a t a   o n   a   n e w   c r o w d s o u r c i n g   c a s e   t o   a n   e x i s t i n g   b o d y   o f   q u a n t i t a t i v e   d a t a   o n   m o t i v a t i o n s   f o r   p a r t i c i p a t i o n   i n   c r o w d s o u r c i n g .   F o u r   p r i m a r y   m o t i v a t o r s   f o r   p a r t i c i p a t i o n   a t   T h r e a d l e s s   e m e r g e   f r o m   t h e s e   i n t e r v i e w   d a t a :   t h e   o p p o r t u n i t y   t o   m a k e   m o n e y ,   t h e   o p p o r t u n i t y   t o   d e v e l o p   o n e ' s   c r e a t i v e   s k i l l s ,   t h e   p o t e n t i a l   t o   t a k e   u p   f r e e l a n c e   w o r k ,   a n d   t h e   l o v e   o f   c o m m u n i t y   a t   T h r e a d l e s s .   A   f i f t h   t h e m e   i s   a l s o   d i s c u s s e d   t h a t   a d d r e s s e s   t h e   l a n g u a g e   o f   ' a d d i c t i o n '   u s e d   b y   t h e   i n t e r v i e w e e s   t o   d e s c r i b e   t h e i r   a c t i v i t y   o n   t h e   s i t e .   U n d e r s t a n d i n g   t h i s   k i n d   o f   ' a d d i c t i o n '   i n   a n   o n l i n e   c o m m u n i t y   i s   p e r h a p s   t h e   m o s t   i m p o r t a n t   f i n d i n g   f o r   f u t u r e   p u b l i c   c r o w d s o u r c i n g   v e n t u r e s .   T h i s   s t u d y   d e v e l o p s   a   m o r e   c o m p l e t e   -   t h o u g h   o n g o i n g   -   c o m p o s i t e   o f   w h a t   m o t i v a t e s   t h e   c r o w d   t o   p a r t i c i p a t e   i n   c r o w d s o u r c i n g   a p p l i c a t i o n s   g e n e r a l l y ,   i n f o r m a t i o n   c r u c i a l   t o   a d a p t   t h e   c r o w d s o u r c i n g   m o d e l   t o   n e w   f o r m s   o f   p r o b l e m - s o l v i n g . 	 U n i v   N   C a r o l i n a ,   S c h   J o u r n a l i s m   &   M a s s   C o m m u n ,   C h a p e l   H i l l ,   N C   2 7 5 9 9   U S A 	 B r a b h a m ,   D C   ( r e p r i n t   a u t h o r ) ,   U n i v   N   C a r o l i n a ,   S c h   J o u r n a l i s m   &   M a s s   C o m m u n ,   C a r r o l l   H a l l , C B   3 3 6 5 ,   C h a p e l   H i l l ,   N C   2 7 5 9 9   U S A . 	 d a r e n . b r a b h a m @ g m a i l . c o m 	 	 	 	 	 B L U M L E R   J G ,   1 9 7 9 ,   C O M M U N   R E S ,   V 6 ,   P 9 ,   D O I   1 0 . 1 1 7 7 / 0 0 9 3 6 5 0 2 7 9 0 0 6 0 0 1 0 2 ;   B o n a c c o r s i   A . ,   2 0 0 4 ,   1   M O N D A Y ,   V 9 ;   B o n a c c o r s i   A ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 2 4 3 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 5 1 - 9 ;   B r a b h a m   D . ,   2 0 0 9 ,   F L O W   C R I T I C A L   F O R U M ,   V 9 ;   B r a b h a m   D .   C . ,   2 0 0 8 ,   1   M O N D A Y ,   V 1 3 ;   B R A B H A M   D C ,   2 0 0 7 ,   C R O W D S O U R C I N G   T   0 3 0 8 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B r i t o   J . ,   2 0 0 8 ,   C O L U M B I A   S C I   T E C H N O L ,   V I X ,   P 1 1 9 ;   C O A R   K ,   2 0 0 6 ,   O P E N   S O U R C E   I N I   0 7 0 7 ;   F l e t c h e r   A ,   2 0 0 6 ,   T H E S I S   N O T T I N G H A M   T R ;   F r i t z   S ,   2 0 0 9 ,   R E M O T E   S E N S - B A S E L ,   V 1 ,   P 3 4 5 ,   D O I   1 0 . 3 3 9 0 / r s 1 0 3 0 3 4 5 ;   G h o s h   R A ,   1 9 9 8 ,   1   M O N D A Y ,   V 3 ;   G h o s h   R . A . ,   2 0 0 5 ,   P E R S P E C T I V E S   F R E E   O P ,   P 2 3 ;   G u e s t   G ,   2 0 0 6 ,   F I E L D   M E T H O D ,   V 1 8 ,   P 5 9 ,   D O I   1 0 . 1 1 7 7 / 1 5 2 5 8 2 2 X 0 5 2 7 9 9 0 3 ;   H a k l a y   M ,   2 0 0 8 ,   I E E E   P E R V A S   C O M P U T ,   V 7 ,   P 1 2 ,   D O I   1 0 . 1 1 0 9 / M P R V . 2 0 0 8 . 8 0 ;   H a r s   A ,   2 0 0 2 ,   I N T   J   E L E C T R O N   C O M M ,   V 6 ,   P 2 5 ;   H e r t e l   G ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 1 5 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 4 7 - 7 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   P 1 4 ;   H o w e   J . ,   2 0 0 6 ,   C R O W D S O U R C I N G   T   0 6 1 5 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   J o n a s s e n   D .   H . ,   2 0 0 3 ,   L E A R N I N G   S O L V E   P R O B L ;   K a t z   E . ,   1 9 7 4 ,   U S E   M A S S   C O M M U N I C A T I ;   K A T Z   E ,   1 9 7 3 ,   A M   S O C I O L   R E V ,   V 3 8 ,   P 1 6 4 ,   D O I   1 0 . 2 3 0 7 / 2 0 9 4 3 9 3 ;   K a y e   B K ,   1 9 9 9 ,   S O C   S C I   C O M P U T   R E V ,   V 1 7 ,   P 3 2 3 ;   K a z m e r   M i c h e l l e   M ,   2 0 0 8 ,   I n f o r m a t i o n   C o m m u n i c a t i o n   &   S o c i e t y ,   V 1 1 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 0 8 0 1 9 4 6 3 3 3 ;   L a k h a n i   K .   R . ,   2 0 0 7 ,   0 7 0 5 0   H A R V   B U S   S C H ;   L a n c a s h i r e   D ,   2 0 0 1 ,   1   M O N D A Y ,   V 6 ;   L e v y   P . ,   1 9 9 7 ,   C O L L E C T I V E   I N T E L L I G E ;   L I E T S A L A   K ,   2 0 0 7 ,   M I N D T R E K   2 0 0 7   C   P ;   L i n d l o f   T .   R . ,   2 0 0 2 ,   Q U A L I T A T I V E   C O M M U N I C ;   M A C K   S ,   2 0 0 6 ,   C R O W D S O U R C I N G   T   1 1 1 4 ;   M i l e s   M . ,   1 9 9 4 ,   Q U A L I T A T I V E   D A T A   A N A ;   M u n i z   A M ,   2 0 0 1 ,   J   C O N S U M   R E S ,   V 2 7 ,   P 4 1 2 ;   N o v e c k   B . ,   2 0 0 6 ,   H A R V   J   L   T E C H ,   V 2 0 ,   P 1 2 3 ;   P a g e   S E ,   2 0 0 7 ,   D I F F E R E N C E :   H O W   T H E   P O W E R   O F   D I V E R S I T Y   C R E A T E S   B E T T E R   G R O U P S ,   F I R M S ,   S C H O O L S ,   A N D   S O C I E T I E S ,   P 1 ;   R u g g i e r o   T .   E . ,   2 0 0 0 ,   M A S S   C O M M U N I C A T I O N   S ,   V 3 ,   P 3 ,   D O I   D O I   1 0 . 1 2 0 7 / S 1 5 3 2 7 8 2 5 M C S 0 3 0 1 _ 0 2 ;   S c h i l l e w a e r t   N ,   1 9 9 8 ,   J   M A R K E T   R E S   S O C ,   V 4 0 ,   P 3 0 7 ;   S u l e r   J ,   2 0 0 4 ,   C Y B E R P S Y C H O L   B E H A V ,   V 7 ,   P 3 2 1 ,   D O I   1 0 . 1 0 8 9 / 1 0 9 4 9 3 1 0 4 1 2 9 1 2 9 5 ;   S u l e r   J   R ,   1 9 9 9 ,   C y b e r p s y c h o l   B e h a v ,   V 2 ,   P 3 8 5 ,   D O I   1 0 . 1 0 8 9 / c p b . 1 9 9 9 . 2 . 3 8 5 ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   S w o b o d a   W J ,   1 9 9 7 ,   S O C   S C I   C O M P U T   R E V ,   V 1 5 ,   P 2 4 2 ,   D O I   1 0 . 1 1 7 7 / 0 8 9 4 4 3 9 3 9 7 0 1 5 0 0 3 0 2 ;   T e r r a n o v a   T i z i a n a ,   2 0 0 4 ,   N E T W O R K   C U L T U R E   P O L I ;   T e r w i e s c h   C ,   2 0 0 8 ,   M A N A G E   S C I ,   V 5 4 ,   P 1 5 2 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 8 0 . 0 8 8 4 ;   T o f f l e r   A ,   1 9 8 0 ,   3   W A V E   C L A S S I C   S T U D Y ;   W h a n g   L S M ,   2 0 0 3 ,   C Y B E R P S Y C H O L   B E H A V ,   V 6 ,   P 1 4 3 ,   D O I   1 0 . 1 0 8 9 / 1 0 9 4 9 3 1 0 3 3 2 1 6 4 0 3 3 8 ;   W r i g h t   K e v i n ,   2 0 0 5 ,   J   C O M P U T E R   M E D I A T E D ,   V 1 0 	 4 6 	 2 9 	 3 0 	 R O U T L E D G E   J O U R N A L S ,   T A Y L O R   &   F R A N C I S   L T D 	 A B I N G D O N 	 4   P A R K   S Q U A R E ,   M I L T O N   P A R K ,   A B I N G D O N   O X 1 4   4 R N ,   O X F O R D S H I R E ,   E N G L A N D 	 1 3 6 9 - 1 1 8 X 	 	 	 I N F O R M   C O M M U N   S O C 	 I n f o .   C o m m u n .   S o c . 	 	 2 0 1 0 	 1 3 	 8 	 	 	 	 	 1 1 2 2 	 1 1 4 5 	 	 1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 1 0 0 3 6 2 4 0 9 0 	 	 2 4 	 C o m m u n i c a t i o n ;   S o c i o l o g y 	 C o m m u n i c a t i o n ;   S o c i o l o g y 	 7 4 3 A F 	 W O S : 0 0 0 2 8 8 9 8 6 4 0 0 0 0 3 	 	 
 J 	 G o o d c h i l d ,   M F ;   G l e n n o n ,   J A 	 	 	 	 G o o d c h i l d ,   M i c h a e l   F . ;   G l e n n o n ,   J .   A l a n 	 	 	 C r o w d s o u r c i n g   g e o g r a p h i c   i n f o r m a t i o n   f o r   d i s a s t e r   r e s p o n s e :   a   r e s e a r c h   f r o n t i e r 	 I N T E R N A T I O N A L   J O U R N A L   O F   D I G I T A L   E A R T H 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 e m e r g e n c y   m a n a g e m e n t ;   v o l u n t e e r e d   g e o g r a p h i c   i n f o r m a t i o n ;   c r o w d s o u r c i n g ;   W e b   2 ;   0 ;   n e o g e o g r a p h y ;   w i l d f i r e ;   S a n t a   B a r b a r a 	 	 G e o g r a p h i c   d a t a   a n d   t o o l s   a r e   e s s e n t i a l   i n   a l l   a s p e c t s   o f   e m e r g e n c y   m a n a g e m e n t :   p r e p a r e d n e s s ,   r e s p o n s e ,   r e c o v e r y ,   a n d   m i t i g a t i o n .   G e o g r a p h i c   i n f o r m a t i o n   c r e a t e d   b y   a m a t e u r   c i t i z e n s ,   o f t e n   k n o w n   a s   v o l u n t e e r e d   g e o g r a p h i c   i n f o r m a t i o n ,   h a s   r e c e n t l y   p r o v i d e d   a n   i n t e r e s t i n g   a l t e r n a t i v e   t o   t r a d i t i o n a l   a u t h o r i t a t i v e   i n f o r m a t i o n   f r o m   m a p p i n g   a g e n c i e s   a n d   c o r p o r a t i o n s ,   a n d   s e v e r a l   r e c e n t   p a p e r s   h a v e   p r o v i d e d   t h e   b e g i n n i n g s   o f   a   l i t e r a t u r e   o n   t h e   m o r e   f u n d a m e n t a l   i s s u e s   r a i s e d   b y   t h i s   n e w   s o u r c e .   D a t a   q u a l i t y   i s   a   m a j o r   c o n c e r n ,   s i n c e   v o l u n t e e r e d   i n f o r m a t i o n   i s   a s s e r t e d   a n d   c a r r i e s   n o n e   o f   t h e   a s s u r a n c e s   t h a t   l e a d   t o   t r u s t   i n   o f f i c i a l l y   c r e a t e d   d a t a .   D u r i n g   e m e r g e n c i e s   t i m e   i s   t h e   e s s e n c e ,   a n d   t h e   r i s k s   a s s o c i a t e d   w i t h   v o l u n t e e r e d   i n f o r m a t i o n   a r e   o f t e n   o u t w e i g h e d   b y   t h e   b e n e f i t s   o f   i t s   u s e .   A n   e x a m p l e   i s   d i s c u s s e d   u s i n g   t h e   f o u r   w i l d f i r e s   t h a t   i m p a c t e d   t h e   S a n t a   B a r b a r a   a r e a   i n   2 0 0 7 - 2 0 0 9 ,   a n d   l e s s o n s   a r e   d r a w n . 	 [ G o o d c h i l d ,   M i c h a e l   F . ;   G l e n n o n ,   J .   A l a n ]   U n i v   C a l i f   S a n t a   B a r b a r a ,   C t r   S p a t i a l   S t u d i e s ,   S a n t a   B a r b a r a ,   C A   9 3 1 0 6   U S A 	 G o o d c h i l d ,   M F   ( r e p r i n t   a u t h o r ) ,   U n i v   C a l i f   S a n t a   B a r b a r a ,   C t r   S p a t i a l   S t u d i e s ,   S a n t a   B a r b a r a ,   C A   9 3 1 0 6   U S A . 	 g o o d @ g e o g . u c s b . e d u 	 	 	 U S   N a t i o n a l   S c i e n c e   F o u n d a t i o n ;   U S   A r m y   R e s e a r c h   O f f i c e 	 T h i s   w o r k   i s   s u p p o r t e d   b y   g r a n t s   f r o m   t h e   U S   N a t i o n a l   S c i e n c e   F o u n d a t i o n   a n d   t h e   U S   A r m y   R e s e a r c h   O f f i c e . 	 G i l e s   J ,   2 0 0 5 ,   N A T U R E ,   V 4 3 8 ,   P 9 0 0 ,   D O I   1 0 . 1 0 3 8 / 4 3 8 9 0 0 a ;   G o o d c h i l d   M i c h a e l ,   2 0 0 9 ,   J o u r n a l   o f   L o c a t i o n   B a s e d   S e r v i c e s ,   V 3 ,   D O I   1 0 . 1 0 8 0 / 1 7 4 8 9 7 2 0 9 0 2 9 5 0 3 7 4 ;   G o o d c h i l d   M .   F . ,   1 9 8 9 ,   A C C U R A C Y   S P A T I A L   D A T ;   G o o d c h i l d   M F ,   2 0 0 8 ,   I N T   J   G E O G R   I N F   S C I ,   V 2 2 ,   P 1 0 3 9 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 5 8 8 1 0 7 0 1 8 5 0 4 9 7 ;   G o o d c h i l d   M . F . ,   2 0 0 7 ,   G E O J O U R N A L ,   V 6 9 ,   P 2 1 1 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 7 - 9 1 1 1 - Y ;   G o o d m a n   T T ,   2 0 0 7 ,   I N T   J   N A N O M E D ,   V 2 ,   P 2 6 5 ;   G u p t i l l   S . ,   1 9 9 5 ,   E L E M E N T S   S P A T I A L   D A T ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   N a t i o n a l   R e s e a r c h   C o u n c i l ,   2 0 0 7 ,   S U C C   R E S P   S T A R T S   M A P ;   S c h a r l   A . ,   2 0 0 7 ,   G E O S P A T I A L   W E B   G E O B R ;   S u i   D Z ,   2 0 0 4 ,   A N N   A S S O C   A M   G E O G R ,   V 9 4 ,   P 2 6 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 3 0 6 . 2 0 0 4 . 0 9 4 0 2 0 0 3 . x ;   T u r n e r   A . ,   2 0 0 6 ,   I N T R O   N E O G E O G R A P H Y ;   Z h a n g   J . ,   2 0 0 2 ,   U N C E R T A I N T Y   G E O G R A P H 	 1 3 	 7 3 	 7 8 	 T A Y L O R   &   F R A N C I S   L T D 	 A B I N G D O N 	 4   P A R K   S Q U A R E ,   M I L T O N   P A R K ,   A B I N G D O N   O X 1 4   4 R N ,   O X O N ,   E N G L A N D 	 1 7 5 3 - 8 9 4 7 	 	 	 I N T   J   D I G I T   E A R T H 	 I n t .   J .   D i g i t .   E a r t h 	 	 2 0 1 0 	 3 	 3 	 	 	 	 	 2 3 1 	 2 4 1 	 	 1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 1 0 0 3 7 5 9 2 5 5 	 	 1 1 	 G e o g r a p h y ,   P h y s i c a l ;   R e m o t e   S e n s i n g 	 P h y s i c a l   G e o g r a p h y ;   R e m o t e   S e n s i n g 	 6 4 1 X K 	 W O S : 0 0 0 2 8 1 1 6 5 7 0 0 0 0 3 	 	 
 S 	 V u k o v i c ,   M ;   B a r t o l i n i ,   C 	 	 M a r g a r i a ,   T ;   S t e f f e n ,   B 	 	 V u k o v i c ,   M a j a ;   B a r t o l i n i ,   C l a u d i o 	 	 	 T o w a r d s   a   R e s e a r c h   A g e n d a   f o r   E n t e r p r i s e   C r o w d s o u r c i n g 	 L E V E R A G I N G   A P P L I C A T I O N S   O F   F O R M A L   M E T H O D S ,   V E R I F I C A T I O N ,   A N D   V A L I D A T I O N ,   P T   I 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 4 t h   I n t e r n a t i o n a l   S y m p o s i u m   o n   L e v e r a g i n g   A p p l i c a t i o n s   o f   F o r m a l   M e t h o d s ,   V e r i f i c a t i o n   a n d   V a l i d a t i o n 	 O C T   1 8 - 2 1 ,   2 0 1 0 	 H e r a k l i o n ,   G R E E C E 	 E u r o p e a n   A s s o c   S o f t w a r e   S c i   &   T e c h n o l ,   T U   D o r t m u n d ,   U n i v   P o t s d a m 	 	 c r o w d s o u r c i n g ;   b u s i n e s s   p r o c e s s   m o d e l i n g 	 	 O v e r   t h e   p a s t   f e w   y e a r s   t h e   c r o w d s o u r c i n g   p a r a d i g m   h a s   e v o l v e d   f r o m   i t s   h u m b l e   b e g i n n i n g s   a s   i s o l a t e d   p u r p o s e - b u i l t   i n i t i a t i v e s ,   s u c h   a s   W i k i p e d i a   a n d   E l a n c e   a n d   M e c h a n i c a l   T u r k   t o   a   g r o w t h   i n d u s t r y   e m p l o y i n g   o v e r   2   m i l l i o n   k n o w l e d g e   w o r k e r s ,   c o n t r i b u t i n g   o v e r   h a l f   a   b i l l i o n   d o l l a r s   t o   t h e   d i g i t a l   e c o n o m y .   W e b   2 . 0   p r o v i d e s   t h e   t e c h n o l o g i c a l   f o u n d a t i o n s   u p o n   w h i c h   t h e   c r o w d s o u r c i n g   p a r a d i g m   e v o l v e s   a n d   o p e r a t e s ,   e n a b l i n g   n e t w o r k e d   e x p e r t s   t o   w o r k   c o l l a b o r a t i v e l y   t o   c o m p l e t e   a   s p e c i f i c   t a s k .   E n t e r p r i s e   c r o w d s o u r c i n g   p o s e s   i n t e r e s t i n g   c h a l l e n g e s   f o r   b o t h   a c a d e m i c   a n d   i n d u s t r i a l   r e s e a r c h   a l o n g   t h e   s o c i a l ,   l e g a l ,   a n d   t e c h n o l o g i c a l   d i m e n s i o n s .   I n   t h i s   p a p e r   w e   d e s c r i b e   t h e   c h a l l e n g e s   t h a t   r e s e a r c h e r s   a n d   p r a c t i t i o n e r s   f a c e   w h e n   t h i n k i n g   a b o u t   v a r i o u s   a s p e c t s   o f   e n t e r p r i s e   c r o w d s o u r c i n g .   F i r s t ,   t o   e s t a b l i s h   t e c h n o l o g i c a l   f o u n d a t i o n s ,   w h a t   a r e   t h e   i n t e r a c t i o n   m o d e l s   a n d   p r o t o c o l s   b e t w e e n   t h e   E n t e r p r i s e   a n d   t h e   c r o w d .   S e c o n d l y ,   h o w   i s   c r o w d s o u r c i n g   g o i n g   t o   f a c e   t h e   c h a l l e n g e s   i n   q u a l i t y   a s s u r a n c e ,   e n a b l i n g   E n t e r p r i s e s   t o   o p t i m a l l y   l e v e r a g e   t h e   s c a l a b l e   w o r k f o r c e .   T h i r d l y ,   w h a t   a r e   t h e   n o v e l   ( W e b )   a p p l i c a t i o n s   e n a b l e d   b y   E n t e r p r i s e   c r o w d s o u r c i n g . 	 [ V u k o v i c ,   M a j a ]   I B M   T J   W a t s o n   R e s ,   H a w t h o r n e ,   N Y   1 0 5 3 2   U S A 	 V u k o v i c ,   M   ( r e p r i n t   a u t h o r ) ,   I B M   T J   W a t s o n   R e s ,   1 9   S k y l i n e   D r ,   H a w t h o r n e ,   N Y   1 0 5 3 2   U S A . 	 m a j a @ u s . i b m . c o m ;   c l a u d i o . b a r t o l i n i @ h p . c o m 	 	 	 	 	 A r c h a k   N . ,   2 0 0 9 ,   P   3 0   I N T   C   I N F   S Y S T ;   B r a b h a m   D .   C . ,   2 0 0 8 ,   I N T   J   R E S   N E W   M E D I A ,   V 1 4 ,   P 7 5 ,   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   C A R P E N T E R   H ,   2 0 0 9 ,   4   M O D E L S   C O M P E T I T I V E ;   C H E N   K ,   2 0 1 0 ,   N E T W O R K   M A G A Z I N E   G L O ;   C h e n   K Y ,   2 0 0 3 ,   I N F O R M   S Y S T   F R O N T ,   V 5 ,   P 4 7 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 2 2 0 4 1 8 0 5 4 3 8 ;   J E P P E S E N   L ,   O R G   S C I   I N   P R E S S ,   V 2 0 ;   K A R N I N   E ,   2 0 1 0 ,   P   1   E N T   C R O W D S   W O R K S ;   K E R N   R ,   2 0 1 0 ,   P   1   E N T   C R O W D S   W O R K S ;   K I T T U R   A ,   2 0 0 8 ,   L N C S ,   V 5 2 3 6 ;   L A K H A N I   K ,   2 0 0 4 ,   M I T   S L O A N   M A N A G E M E N T ,   V 5 0 ;   L A V E C C H I A   G ,   2 0 1 0 ,   P   1   E N T   C R O W D S   W O R K S ;   L O P E Z   M ,   2 0 1 0 ,   I N T   C   S E R V   C O M P   M I A M ;   O L I V I E R A   F ,   2 0 1 0 ,   P   1   E N T   C R O W D S   W O R K S ;   S H E N G   V ,   2 0 0 8 ,   P   1 4   I N T   C   K N O W L   D I S ;   S n o w   R . ,   2 0 0 8 ,   E M N L P   2 0 0 8 ;   S O R O K I N   A ,   2 0 0 8 ,   P   C   C O M P   V I S   P A T T   R E ;   S t e w a r t   O . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 3 0 ,   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 8 9 5 ;   S u r o w i e c k i   J a m e s ,   2 0 0 5 ,   W I S D O M   C R O W D S ;   V O N L A W   A ,   2 0 0 9 ,   P   A C M   C   H U M   F A C T   C O M ,   P 1 1 9 7 ;   V U K O V I C   M ,   2 0 1 0 ,   C U R R E N T   T R E N D S   W E B   E ;   V U K O V I C   M ,   2 0 0 9 ,   7   I E E E   I N T   C   W E B   S E R ;   V U K O V I C   M ,   2 0 0 9 ,   1   I N T   W O R K S H   S O A   G L O 	 2 2 	 5 	 5 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 1 6 5 5 7 - 3 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 0 	 6 4 1 5 	 	 	 	 	 	 4 2 5 	 4 3 4 	 	 1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 6 5 5 8 - 0 _ 3 6 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B U J 1 4 	 W O S : 0 0 0 2 8 9 4 9 3 1 0 0 0 3 6 	 	 
 S 	 V e l a c s o ,   M ;   J u k i c ,   N 	 	 Z a v o r a l ,   F ;   Y a g h o b ,   J ;   P i c h a p p a n ,   P ;   E l Q a w a s m e h ,   E 	 	 V e l a c s o ,   M i g u e l ;   J u k i c ,   N e n a d 	 	 	 A   F r a m e w o r k   f o r   I n - H o u s e   P r e d i c t i o n   M a r k e t s 	 N E T W O R K E D   D I G I T A L   T E C H N O L O G I E S ,   P T   1 	 C o m m u n i c a t i o n s   i n   C o m p u t e r   a n d   I n f o r m a t i o n   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 2 n d   I n t e r n a t i o n a l   C o n f e r e n c e   o n   N e t w o r k e d   D i g i t a l   T e c h n o l o g i e s 	 J U L   0 7 - 0 9 ,   2 0 1 0 	 P r a g u e ,   C Z E C H   R E P U B L I C 	 S p r i n g e r 	 C h a r l e s   U n i v 	 P r e d i c t i o n   M a r k e t s ;   O r g a n i z a t i o n a l   I n f o r m a t i o n ;   D e c i s i o n   S u p p o r t ;   C r o w d s o u r c i n g 	 	 I n - h o u s e   p r e d i c t i o n   m a r k e t s   a r e   a   n e w   m e t h o d   f o r   c o l l e c t i n g   a n d   a g g r e g a t i n g   i n f o r m a t i o n   d i s p e r s e d   t h r o u g h o u t   a n   o r g a n i z a t i o n .   T h i s   m e t h o d   i s   c a p a b l e   o f   a c c e s s i n g   a n d   a g g r e g a t i n g   c e r t a i n   o r g a n i z a t i o n a l   i n f o r m a t i o n   t h a t   h a s   p r e v i o u s l y   n o t   b e e n   a t t a i n a b l e   v i a   t r a d i t i o n a l   m e t h o d s   s u c h   a s   s u r v e y s ,   p o l l s ,   g r o u p   m e e t i n g s ,   o r   s u g g e s t i o n   b o x e s .   S u c h   i n f o r m a t i o n   i s   o f t e n   o f   g r e a t   t a c t i c a l   a n d / o r   s t r a t e g i c   v a l u e .   E x i s t i n g   i n - h o u s e   p r e d i c t i o n   m a r k e t s ,   w h i c h   a r e   e i t h e r   o p e n e d   t o   a l l   m e m b e r s   o f   t h e   o r g a n i z a t i o n   o r   t o   p r e - s e l e c t e d   g r o u p s   o f   e x p e r t s   w i t h i n   t h e   o r g a n i z a t i o n ,   b a s e   p a r t i c i p a n t ' s   p o w e r   t o   i n f l u e n c e   t h e   m a r k e t   s t r i c t l y   o n   t h e   a m o u n t   o f   t h e i r   a s s e t s   ( u s u a l l y   i n   m o c k   c u r r e n c y ) .   W e   p r o p o s e   a   m o r e   n u a n c e d   d e s i g n   a p p r o a c h   t h a t   c o n s i d e r s   a d d i t i o n a l   f a c t o r s   f o r   d e t e r m i n i n g   t h e   p a r t i c i p a n t ' s   i n f l u e n c e   o n   t h e   m a r k e t   o v e r   t h e   l o n g   t e r m .   T h e   g o a l   o f   t h i s   d e s i g n   a p p r o a c h   i s   t o   i m p r o v e   t h e   a c c u r a c y   a n d   d e c i s i o n - s u p p o r t   v i a b i l i t y   o f   i n - h o u s e   p r e d i c t i o n   m a r k e t s . 	 [ V e l a c s o ,   M i g u e l ]   U n i v   M i n n e s o t a ,   C a r l s o n   S c h   M a n a g e m e n t ,   M i n n e a p o l i s ,   M N   5 5 4 5 5   U S A 	 V e l a c s o ,   M   ( r e p r i n t   a u t h o r ) ,   U n i v   M i n n e s o t a ,   C a r l s o n   S c h   M a n a g e m e n t ,   3 2 1   1 9 t h   A v e   S ,   M i n n e a p o l i s ,   M N   5 5 4 5 5   U S A . 	 v e l a 0 0 7 7 @ u m n . e d u ;   n j u k i c @ l u c . e d u 	 	 	 	 	 B e r g   J E ,   2 0 0 3 ,   I N F O R M   S Y S T   F R O N T ,   V 5 ,   P 7 9 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 2 2 0 0 2 1 0 7 2 5 5 ;   D Y E   R ,   2 0 0 8 ,   M C K I N S E Y   Q ,   P 8 3 ;   G r u c a   T .   S . ,   2 0 0 5 ,   E l e c t r o n i c   M a r k e t s ,   V 1 5 ,   D O I   1 0 . 1 0 8 0 / 1 0 1 9 6 7 8 0 5 0 0 0 3 4 9 3 9 ;   H O P M A N   J W ,   2 0 0 7 ,   I N T E L   T E C H N O L O G Y   J ,   V 1 1 ;   L a C o m b   C A ,   2 0 0 7 ,   I N F O R M   S Y S T   F R O N T ,   V 9 ,   P 2 4 5 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 9 6 - 0 0 7 - 9 0 2 4 - 9 ;   P e n n o c k   D .   M . ,   2 0 0 5 ,   P   6   A C M   C   E L   C O M M ,   P 5 8 ,   D O I   1 0 . 1 1 4 5 / 1 0 6 4 0 0 9 . 1 0 6 4 0 1 6 ;   R H O D E   P ,   2 0 0 4 ,   J   E C   P E R S P E C T I V E S ,   V 1 8 ;   S E R V A N S C H R E I B E R   W ,   2 0 0 4 ,   E L E C T   M A R K E T S ,   V 1 4 ;   S u n s t e i n   C .   R . ,   2 0 0 6 ,   I N F O T O P I A   M A N Y   M I N D S ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   S U R O W I E C K I   J ,   2 0 0 6 ,   N E W   Y O R K E R             0 9 2 5 ;   W o l f e r s   J ,   2 0 0 4 ,   J   E C O N   P E R S P E C T ,   V 1 8 ,   P 1 0 7 ,   D O I   1 0 . 1 2 5 7 / 0 8 9 5 3 3 0 0 4 1 3 7 1 3 2 1 ;   Z i t z e w i t z   E . ,   2 0 0 8 ,   U S I N G   P R E D I C T I O N   M A R 	 1 3 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 1 8 6 5 - 0 9 2 9 	 	 9 7 8 - 3 - 6 4 2 - 1 4 2 9 1 - 8 	 C O M M   C O M   I N F   S C 	 	 	 2 0 1 0 	 8 7 	 	 1 	 	 	 	 1 2 0 	 1 2 7 	 	 	 	 8 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B U I 4 2 	 W O S : 0 0 0 2 8 9 4 5 2 7 0 0 0 1 3 	 	 
 B 	 W r i g h t ,   T ;   W a t s o n ,   S ;   C a s t r a t a r o ,   D 	 	 T o m e ,   E 	 	 W r i g h t ,   T i m ;   W a t s o n ,   S t u a r t ;   C a s t r a t a r o ,   D a n i e l a 	 	 	 T o   T w e e t   o r   n o t   t o   T w e e t ,   t h a t   i s   t h e   Q u e s t i o n   -   S o c i a l   M e d i a   a s   a   M i s s e d   O p p o r t u n i t y   f o r   K n o w l e d g e   M a n a g e m e n t 	 P R O C E E D I N G S   O F   T H E   1 1 T H   E U R O P E A N   C O N F E R E N C E   O N   K N O W L E D G E   M A N A G E M E N T ,   V O L S   1   A N D   2 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 1 t h   E u r o p e a n   C o n f e r e n c e   o n   K n o w l e d g e   M a n a g e m e n t 	 S E P   0 2 - 0 3 ,   2 0 1 0 	 F a m a l i c a o ,   P O R T U G A L 	 	 U n i v   L u s i a d a   V i l a   N o v a   F a m a l i c a o 	 S o c i a l   M e d i a ;   S o c i a l   N e t w o r k i n g ;   K n o w l e d g e   M a n a g e m e n t ;   S t r a t e g i c   D e c i s i o n   M a k i n g ;   C r o w d s o u r c i n g ;   C o - c r e a t i o n ;   I n n o v a t i o n ;   W e b   2 . 0 	 	 A s   i n d i v i d u a l s   a n d   a s   s o c i a l   a g e n t s ,   m a n y   h a v e   e m b r a c e d   S o c i a l   M e d i a   ( S M ) ,   t h e   b e n e f i t s   o f   w h i c h   a r e   s e l f - a p p a r e n t   a n d   a r e   t a k e n   f o r   g r a n t e d   w i t h i n   t h e   c o n t e x t   o f   t h i s   p a p e r .   E v i d e n c e   w o u l d   s u g g e s t   t h a t   t h e   p e n e t r a t i o n   a n d   d e m o g r a p h i c   s p r e a d   o f   t h e   a d o p t i o n   o f   S M   c o n t i n u e s   t o   g r o w   r a p i d l y   w i t h i n   o u r   d a i l y   l i f e ,   n o t   o n l y   o n   a   p e r s o n a l   l e v e l ,   b u t   a l s o   i n   t h e   w o r k p l a c e .   H o w e v e r ,   t h e r e   i s   a   l a c k   o f   r e s e a r c h   r e l a t i n g   t o   S M   a n d   i t s   a p p l i c a t i o n   w i t h i n   s p e c i f i c   b u s i n e s s   a r e a s .   F i r s t l y ,   t h i s   p a p e r   i n t e n d s   t o   f o c u s   o n   t h e   u t i l i s a t i o n   o f   S M   t o   f o s t e r   K n o w l e d g e   M a n a g e m e n t   ( K M )   p o t e n t i a l   w i t h i n   o r g a n i s a t i o n s .   A n e c d o t a l l y ,   a n   i m p o r t a n t   c o n c e r n   o f   d e c i s i o n   m a k e r s   i s   t h e   r e p u t a t i o n a l   r i s k   a n d   t h r e a t   t o   t r a d i t i o n a l   m o d e l s   o f   I n t e l l e c t u a l   P r o p e r t y   m a n a g e m e n t   p o s e d   b y   t h e   u s e   o f   S M   i n   t h e   w o r k p l a c e .   I n   a d d i t i o n ,   t h e r e   i s   a   p e r c e p t i o n   t h a t   t h e   b u s i n e s s   u s e   o f   s o c i a l   n e t w o r k i n g   w e b s i t e s   i s   " t i m e   w a s t i n g "   a n d   n o t   c o s t - e f f e c t i v e ,   c o n s i d e r i n g   t h e   p e r c e i v e d   r e s o u r c e   r e q u i r e m e n t s   t o   m a n a g e   a n d   s u c c e s s f u l l y   e x p l o i t   t h e   p h e n o m e n o n   o f   S M .   H o w e v e r ,   w i t h i n   o r g a n i s a t i o n s ,   t h e r e   a r e   a   r a n g e   o f   s t a k e h o l d e r s   t h a t   c o u l d   p o t e n t i a l l y   p l a y   a n   i m p o r t a n t   r o l e   i n   i n f l u e n c i n g   d e c i s i o n   m a k e r s '   v i e w s   i n   t e r m s   o f   l i m i t i n g   t h e   r i s k   a n d   g a i n i n g   t h e   b u s i n e s s   o p p o r t u n i t i e s   w h i c h   S M   o f f e r s .   T h e   a u t h o r s   b e l i e v e   t h a t   S M   c a n   o f f e r   t r e m e n d o u s   b e n e f i t s   a n d   o p p o r t u n i t i e s   f o r   k n o w l e d g e - a w a r e   m a n a g e m e n t ,   i n c l u d i n g   n e w   k n o w l e d g e   c r e a t i o n ,   f r e s h   a p p r o a c h e s   t o   I n t e l l e c t u a l   P r o p e r t y   g e n e r a t i o n   a n d   i n n o v a t i o n ,   a n d   t h e   d e v e l o p m e n t   o f   v a l u a b l e   a n d   d e e p   i n s i g h t s   i n t o   c l i e n t   a n d   c u s t o m e r   p e r c e p t i o n .   E a c h   o f   t h e   a f o r e m e n t i o n e d   o p p o r t u n i t i e s   m a y   r e s u l t   i n   c o m m e r c i a l   b e n e f i t s   a n d   a d v a n t a g e s .   B u t ,   i n   t h e   a b s e n c e   o f   c l e a r   a n d   c o m p e l l i n g   m o d e l s   f o r   t h e   a p p l i c a t i o n   a n d   e x p l o i t a t i o n   o f   S M ,   t h e   u p t a k e   o f   t h e s e   t o o l s   c o u l d   r e m a i n   p a t c h y ,   a n d   t h e   p o t e n t i a l   f o r   K M   p r a c t i t i o n e r s   t o   i n f l u e n c e   d e c i s i o n   m a k e r s ,   r e g a r d i n g   f o c u s i n g   o n   t h e   p o s i t i v e   s i d e   o f   t h e   r i s k / o p p o r t u n i t y   e q u a t i o n ,   w i l l   b e   c h a l l e n g i n g .   S e c o n d l y ,   t h e   r e s u l t   o f   t h i s   p a p e r   i s   t o   i m p r o v e   t h e   u n d e r s t a n d i n g   o f   b u s i n e s s e s   p e r c e p t i o n   a n d   a d o p t i o n   o f   S M   a n d   t h e   r o l e   o f   K M   i n   t h a t .   T h e   a u t h o r s   d e v i s e d   a   s u r v e y   t h a t   s o u g h t   t o   c a p t u r e   t h e   s c o p e   a n d   n a t u r e   o f   t h e   u s e   o f   S M   i n   a   b u s i n e s s   c o n t e x t ,   t h e   a p p l i c a t i o n   a r e a s   o f   w o r k   t o   w h i c h   i t   i s   b e i n g   a p p l i e d ,   t h e   k e y   c h a m p i o n s   f o r   t h e   u s e   o f   S M   a n d   t h e   k e y   c o n s t r a i n t s   a n d   g u i d a n c e   o n   i t s   u s e .   I n   p a r t i c u l a r ,   t h e   a u t h o r s   a i m e d   t o   g a i n   i n s i g h t   i n t o   a n   o r g a n i s a t i o n ' s   p e r s p e c t i v e s   r e g a r d i n g   t h e   o p p o r t u n i t i e s   a n d   t h r e a t s   o f f e r e d   b y   S M   f o r   t h e   g e n e r a t i o n   o f   I n t e l l e c t u a l   A s s e t s   a n d   e s p e c i a l l y   o f   n e w   k n o w l e d g e .   T h e   i n t e n t   w a s   t o   g a i n   a n   " a s   i s "   v i e w   a n d   i d e n t i f y   c o m m o n a l i t i e s   t h a t   h a v e   r e s u l t e d   i n   a   p o s i t i v e   p e r c e p t i o n   o f   S M .   T h e   p a p e r   p r e s e n t s   t h e   f i n d i n g s   o f   t h i s   s u r v e y ,   i d e n t i f y i n g   t h e   k e y   a p p l i c a t i o n s   o f   S M ,   w h e r e   i t   i s   i m p l e m e n t e d   a n d   u t i l i s e d ,   t h e   p r e v a i l i n g   a t t i t u d e s   a n d   t h e   k e y   i n f l u e n c e r   f o r   d e c i s i o n   m a k e r s .   I n   a d d i t i o n ,   t h e   r e s u l t s   s p e c i f i c a l l y   i n t e n d   t o   d e m o n s t r a t e   t h e   a c t i v e   o r   p a s s i v e   r o l e   o f   t h e   K M   c o m m u n i t y   i n   t h e   w i d e r   b u s i n e s s   a p p l i c a t i o n   o f   S M ,   h i g h l i g h t i n g   a r e a s   w h e r e   t h e   a u t h o r s   b e l i e v e   o p p o r t u n i t y   e x i s t s   f o r   K M   p r a c t i t i o n e r s   t o   i n f l u e n c e   d e c i s i o n s   t h r o u g h   a   m o r e   e x t e n s i v e   u s e   o f   S M . 	 	 	 	 	 	 	 	 * A I I M ,   2 0 1 0 ,   A I I M   F I N D   C O N T R   O P T ;   D Y S A R T   J ,   2 0 0 8 ,   I N F O R M   T O D A Y   M E D F O R D ,   V 2 5 ,   P 3 2 ;   E M E R A L D   P U B L I S H I N G ,   2 0 0 9 ,   S T R A T E G I C   D I R E C T I O N ,   V 2 5 ,   P 2 0 ;   F i r e s t o n e   J .   M . ,   2 0 0 9 ,   I N S I D E   K N O W L E D G E ,   V 1 2 ;   G O A D   R ,   2 0 0 9 ,   H I T W I S E   I N T E L L I G E N C E ;   * I B M ,   2 0 0 7 ,   G E T T   S O C   S O F T W   T A K   E ;   * I N T ,   2 0 0 9 ,   D E V   E N T   S O C   C O M P   S T R ;   * J O U R N   C O   U K ,   2 0 1 0 ,   S U R V   S M A L L   B U S   D O N T ;   K a p l a n   A M ,   2 0 1 0 ,   B U S   H O R I Z O N S ,   V 5 3 ,   P 5 9 ,   D O I   1 0 . 1 0 1 6 / j . b u s h o r . 2 0 0 9 . 0 9 . 0 0 3 ;   L e v y   M ,   2 0 0 9 ,   J   K N O W L   M A N A G ,   V 1 3 ,   P 1 2 0 ,   D O I   1 0 . 1 1 0 8 / 1 3 6 7 3 2 7 0 9 1 0 9 3 1 2 1 5 ;   L i   C h a r l e n e ,   2 0 0 8 ,   G R O U N D S W E L L   W I N N I N G ;   M A N C I N I   J ,   2 0 1 0 ,   3 0   U S E   T W I T T E R   B U S I N ;   M C N A I R N   I ,   2 0 0 9 ,   U S I N G   S O C I A L   S O F T W A R ;   T A P S C O T   D ,   2 0 0 7 ,   W I K I N O M I C S   M A S S   C O L L ;   * U K   I P O ,   2 0 0 9 ,   I P   H E A L T H C H   S E R   C O N F ;   2 0 1 0 ,   S O C I A L   M E D I A   T O D A Y 	 1 6 	 0 	 0 	 A C A D E M I C   C O N F E R E N C E S   L T D 	 N R   R E A D I N G 	 C U R T I S   F A R M ,   K I D M O R E   E N D ,   N R   R E A D I N G ,   R G 4   9 A Y ,   E N G L A N D 	 	 	 9 7 8 - 1 - 9 0 6 6 3 8 - 7 0 - 2 	 	 	 	 2 0 1 0 	 	 	 	 	 	 	 1 1 0 6 	 1 1 1 2 	 	 	 	 7 	 B u s i n e s s ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 B u s i n e s s   &   E c o n o m i c s ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 B S E 1 0 	 W O S : 0 0 0 2 8 4 2 6 1 4 0 0 1 2 1 	 	 
 B 	 S c h a c h t ,   S ;   M a d c h e ,   A 	 	 T o m e ,   E 	 	 S c h a c h t ,   S i l v i a ;   M a e d c h e ,   A l e x a n d e r 	 	 	 B u i l d i n g   R e t i r e d   E m p l o y e e   E n t e r p r i s e   C o m m u n i t i e s 	 P R O C E E D I N G S   O F   T H E   1 1 T H   E U R O P E A N   C O N F E R E N C E   O N   K N O W L E D G E   M A N A G E M E N T ,   V O L S   1   A N D   2 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 1 t h   E u r o p e a n   C o n f e r e n c e   o n   K n o w l e d g e   M a n a g e m e n t 	 S E P   0 2 - 0 3 ,   2 0 1 0 	 F a m a l i c a o ,   P O R T U G A L 	 	 U n i v   L u s i a d a   V i l a   N o v a   F a m a l i c a o 	 s o c i a l   n e t w o r k s ;   c r o w d s o u r c i n g ;   r e t i r e d   e m p l o y e e s 	 I N N O V A T I O N ;   A L U M N I ;   M O D E L 	 T h e   d e m o g r a p h i c   c h a n g e   r e s u l t i n g   i n   a n   a g i n g   p o p u l a t i o n   p r e s e n t s   a   m a j o r   c h a l l e n g e   t o   s o c i e t i e s   a n d   c o m p a n i e s   i n   e a c h   d e v e l o p e d   c o u n t r y   a r o u n d   t h e   w o r l d .   D u e   t o   a   l o w   a v e r a g e   f e r t i l i t y   r a t e   o f   1 . 5   b i r t h s   p e r   w o m e n   e a c h   g e n e r a t i o n   i s   s m a l l e r   t h a n   i t s   p r e v i o u s   o n e .   O n   t h e   o t h e r   h a n d ,   i n c r e a s e d   l i f e   e x p e c t a n c y   r e s u l t s   i n   a n   a g i n g   s o c i e t y .   T h e r e f o r e ,   t h e   p o p u l a t i o n   i s   n o t   o n l y   s h r i n k i n g   b u t   a l s o   a g i n g ,   w h i c h   h a s   d i r e c t   i n f l u e n c e   o n   t h e   c o m p o s i t i o n   o f   c o m p a n i e s '   w o r k f o r c e .   C o m p a n i e s   a r e   c o n f r o n t e d   w i t h   t h e   l o s s   o f   r e s o u r c e s   a n d   k n o w l e d g e   b a s e   d u e   t o   t h e   i n c r e a s i n g   n u m b e r   o f   r e t i r i n g   e m p l o y e e s .   I n   o u r   o n g o i n g   r e s e a r c h   w o r k ,   w e   a d d r e s s   t h i s   p r o b l e m   a n d   f o c u s   o n   l e v e r a g i n g   t h e   c o m p e t e n c i e s ,   s k i l l s   a n d   r e s o u r c e s   o f   r e t i r e d   e m p l o y e e s .   W e   a d a p t   e x i s t i n g   s o c i a l   m e d i a   a n d   W e b   2 . 0   f u n c t i o n a l i t i e s   s u c h   a s   s o c i a l   n e t w o r k i n g   a n d   c r o w d s o u r c i n g   t o   t h e   n e e d s   o f   r e t i r e d   p e o p l e   a n d   p r o v i d e   t h e   p r o t o t y p e   s o f t w a r e   p l a t f o r m   E M P O W E R   t h a t   b u i l d s   o n   t o p   o f   e s t a b l i s h e d   e n t e r p r i s e   s o f t w a r e ,   s p e c i f i c a l l y   h u m a n   r e s o u r c e   m a n a g e m e n t   s y s t e m s .   T h e   a p p r o a c h   p u r s u e d   w i t h   E M P O W E R   c a n   b e   r o u g h l y   s p l i t   i n t o   t h e   f o l l o w i n g   t h r e e   m a j o r   s t e p s .   F i r s t l y ,   w e   p r o v i d e   m e a n s   t o   m a n a g e   b a s i c   p r o f i l e   d a t a   o f   p e n s i o n e r s .   T o d a y ,   m o s t   c o m p a n i e s   m a i n t a i n   t h e   m a s t e r   d a t a   o f   t h e i r   e m p l o y e e s   i n   H R   s y s t e m s .   A f t e r   r e t i r e m e n t ,   t h e   d a t a   o f   p e n s i o n e r s   h a s   t o   b e   e x t r a c t e d   f r o m   t h e   h u m a n   r e s o u r c e   i n f o r m a t i o n   s y s t e m   ( H R I S ) ,   f o r m a t t e d   a n d   p r o v i d e d   t h a t   t h e   r e t i r e e   c a n   m a i n t a i n   i t s   p r o f i l e   i n   a n   e x t e r n a l   s e l f - s e r v i c e .   T h e r e f o r e ,   l e g a l   a n d   s e c u r i t y   a s p e c t s   h a v e   t o   b e   c o n s i d e r e d .   S e c o n d l y ,   w e   f a c i l i t a t e   t h e   e s t a b l i s h m e n t   o f   s o c i a l   a l u m n i   n e t w o r k s ,   w h i c h   c a n   g e n e r a t e   b e n e f i t s   f o r   b o t h   p a r t i e s :   O n   t h e   o n e   h a n d   f o r m e r   e m p l o y e e s   c a n   b e   c o n n e c t e d   t o   t h e i r   e x - c o l l e a g u e s   a n d   t h e   c o m p a n y .   I n   a d d i t i o n ,   i f   a l u m n i   n e t w o r k s   a r e   s u p p o r t e d   w i t h   m o d e r n   s o c i a l   m e d i a   t o o l s ,   t h e r e   a l s o   r e m a i n s   t h e   p o s s i b i l i t y   o f   f o r m i n g   s p e c i a l   f o r u m s   o f   i n t e r e s t   a m o n g   t h e   p a r t i c i p a n t s ,   w h i c h   a l l o w s   t h e   a l u m n i   t o   b r o a d e n   t h e i r   h o r i z o n   i n   a   s p e c i a l i s t   a r e a .   O n   t h e   o t h e r   h a n d   -   f r o m   t h e   p e r s p e c t i v e   o f   t h e   c o m p a n y   -   t h r o u g h   s u c h   n e t w o r k s   a l u m n i   r e m a i n   a   p o t e n t i a l   s u p p l i e r   o f   k n o w l e d g e   a n d   i n n o v a t i o n .   T h e i r   e x p e r t i s e ,   i d e a s   a n d   s u g g e s t i o n s   o f   i m p r o v e m e n t s   o n   a l u m n i   n e t w o r k   f o r u m s   m a y   p r o v i d e   v a l u a b l e   i n p u t   f o r   t h e   d e v e l o p m e n t ,   m a n u f a c t u r i n g   a s   w e l l   a s   s a l e s   &   m a r k e t i n g   o f   t h e   c o m p a n y ' s   p r o d u c t s .   T h i r d l y ,   i t   i s   r e a s o n a b l e   t o   u s   t o   p r o v i d e   a   p r i v a t e   e n t e r p r i s e   c r o w d s o u r c i n g   p l a t f o r m   o n   t o p .   T h i s   f a c i l i t a t e s   p a r t i c i p a n t s   n o t   o n l y   t o   c o m m u n i c a t e   w i t h   e a c h   o t h e r   v i a   f o r u m s ,   b u t   a l s o   t o   u n d e r t a k e   t a s k s   w h i c h   a r e   a s s i g n e d   b y   t h e   c o m p a n y   f o r   s o m e   k i n d   o f   b e n e f i t s .   E s p e c i a l l y ,   o n   s u c h   p l a t f o r m s   c o m p a n i e s   c a n   o u t s o u r c e   t a s k s   t o   t h e   r e t i r e d   e m p l o y e e   c o m m u n i t y ,   w h e r e   p a r t i c i p a n t s   c a n   p r o v i d e   i n f o r m a t i o n   o n   t h e i r   i n t e r e s t s   a n d   c o m p e t e n c e .   A n y o n e   o f   t h e   r e t i r e e s   i n   t h e   c o m m u n i t y   w h o   i s   i n t e r e s t e d   i n   c o m p l e t i n g   a   t a s k   f o r   t h e   c o m p a n y   c a n   r e g i s t e r   w i t h   t h e   p l a t f o r m   a n d   s u b m i t   a   s o l u t i o n . 	 [ S c h a c h t ,   S i l v i a ;   M a e d c h e ,   A l e x a n d e r ]   U n i v   M a n n h e i m ,   M a n n h e i m ,   G e r m a n y 	 	 s c h a c h t @ e r i s . u n i - m a n n h e i m . d e ;   m a e d c h e @ e r i s . u n i - m a n n h e i m . d e 	 	 	 	 	 B a g o z z i   R .   P . ,   2 0 0 2 ,   J   I N T E R A C T   M A R K ,   V 1 6 ,   P 2 ,   D O I   D O I   1 0 . 1 0 0 2 / D I R . 1 0 0 0 6 ;   B A K E R   S ,   2 0 0 9 ,   B U S I N E S S W E E K   O N L I N E ;   B e n d e r   S . ,   2 0 0 0 ,   J o u r n a l   o f   K n o w l e d g e   M a n a g e m e n t ,   V 4 ,   D O I   1 0 . 1 1 0 8 / 1 3 6 7 3 2 7 0 0 1 0 3 7 2 2 5 1 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   C A N A B O U   C ,   2 0 0 2 ,   F A S T   C O ,   V 5 8 ,   P 2 8 ;   D i a m o n d   W D ,   1 9 9 7 ,   J   A P P L   S O C   P S Y C H O L ,   V 2 7 ,   P 9 1 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 5 9 - 1 8 1 6 . 1 9 9 7 . t b 0 0 2 7 8 . x ;   E R L I C H   A ,   2 0 0 8 ,   J   C O R P O R A T E   R E A L   E S T ,   V 1 0 ,   P 2 7 3 ,   D O I   1 0 . 1 1 0 8 / 1 4 6 3 0 0 1 0 8 1 0 9 2 5 1 3 6 ;   E u r o p e a n   C o m m i s s i o n ,   2 0 0 7 ,   E U R   D E M   F U T   F A C T S   F I ;   F r i e d m a n   T .   L . ,   2 0 0 5 ,   W O R L D   I S   F L A T ;   G r u e n   T . W . ,   2 0 0 5 ,   M A R K E T I N G   T H E O R Y ,   V 5 ,   P 3 3 ,   D O I   1 0 . 1 1 7 7 / 1 4 7 0 5 9 3 1 0 5 0 4 9 6 0 0 ;   H O L T S H O U S E   D ,   2 0 0 9 ,   K M   W O R L D ,   V 1 8 ,   P 1 ;   * J O I N T   P R O G R   I N ,   2 0 1 0 ,   M O R   Y E A R S   P O T   C H A L L ;   J u e   A .   L ,   2 0 0 9 ,   S O C I A L   M E D I A   W O R K   N E ;   K I R S N E R   S ,   2 0 0 2 ,   D A R W I N ,   V 2 ,   P 2 0 ;   M A E L   F ,   1 9 9 2 ,   J   O R G A N   B E H A V ,   V 1 3 ,   P 1 0 3 ,   D O I   1 0 . 1 0 0 2 / j o b . 4 0 3 0 1 3 0 2 0 2 ;   M I L E R   O ,   2 0 0 6 ,   C H I E F   L E A R N I N G   O F F I C ,   V 5 ,   P 2 8 ;   P a r i s e   S ,   2 0 0 6 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 7 ,   P 3 1 ;   S E R T O G L U   C ,   2 0 0 2 ,   H A R V A R D   B U S I N E S S   R E V ;   T e r w i e s c h   C ,   2 0 0 8 ,   M A N A G E   S C I ,   V 5 4 ,   P 1 5 2 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 8 0 . 0 8 8 4 ;   v o n   H i p p e l   E ,   2 0 0 6 ,   R & D   M A N A G E ,   V 3 6 ,   P 2 9 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 6 . 0 0 4 3 5 . x ;   W h i t l a   P . ,   2 0 0 9 ,   C O N T   M A N A G E M E N T   R E S ,   V 5 ,   P 1 5 ;   * X I N G ,   2 0 0 6 ,   C O R P   A L   N E T W   L E V   I N T 	 2 2 	 0 	 0 	 A C A D E M I C   C O N F E R E N C E S   L T D 	 N R   R E A D I N G 	 C U R T I S   F A R M ,   K I D M O R E   E N D ,   N R   R E A D I N G ,   R G 4   9 A Y ,   E N G L A N D 	 	 	 9 7 8 - 1 - 9 0 6 6 3 8 - 7 0 - 2 	 	 	 	 2 0 1 0 	 	 	 	 	 	 	 1 2 3 4 	 1 2 3 7 	 	 	 	 4 	 B u s i n e s s ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 B u s i n e s s   &   E c o n o m i c s ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 B S E 1 0 	 W O S : 0 0 0 2 8 4 2 6 1 4 0 0 1 3 6 	 	 
 B 	 J u ,   D H ;   S h e n ,   B J 	 	 K a k o u r i s ,   A 	 	 J u ,   D e h u a ;   S h e n ,   B e i j u n 	 	 	 I n n o v a t i o n   P l a t f o r m   D e s i g n   T h r o u g h   K n o w l e d g e   S e r v i c e s 	 P R O C E E D I N G S   O F   T H E   5 T H   E U R O P E A N   C O N F E R E N C E   O N   I N N O V A T I O N   A N D   E N T R E P R E N E U R S H I P 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 5 t h   E u r o p e a n   C o n f e r e n c e   o n   E n t r e p r e n e u r s h i p   a n d   I n n o v a t i o n 	 S E P ,   2 0 1 0 	 A t h e n s ,   G R E E C E 	 	 N a t l   &   K a p o d i s t r i a n   U n i v   A t h e n s 	 k n o w l e d g e   s e r v i c e ;   o p e n   i n n o v a t i o n ;   w i s d o m   o f   c r o w d s ;   C o P / C o I ;   b o d y   o f   k n o w l e d g e   ( B O K ) 	 	 C o n s u m m a t i n g   i n n o v a t i o n   s e r v i c e   p l a t f o r m s   t o   f o s t e r   i n n o v a t i v e   e n t e r p r i s e s   a n d   t a l e n t s   h a s   b e e n   l i s t e d   a s   a   m a i n   t a s k   i n   C h i n a ' s   T e c h n o l o g i c a l   I n n o v a t i o n   P r o j e c t .   A   n o v e l   s o l u t i o n   i s   p r o p o s e d   i n   t h i s   p a p e r ,   b a s e d   o n   a   k n o w l e d g e   s e r v i c e   a p p r o a c h   t o   s u p p o r t   k n o w l e d g e - b a s e   i n n o v a t i o n .   K n o w l e d g e   s e r v i c e s   p r o v i d e   a n   I C T - e n a b l e d   o p e n   a c c e s s i b l e   e n v i r o n m e n t   f o r   o n - d e m a n d   k n o w l e d g e   a c q u i s i t i o n .   T h e   B O K s - b a s e d   r i c h   k n o w l e d g e   r e s o u r c e s   r e p o s i t o r y   s u p p o r t s   o n e - s t o p   s e r v i c e   f o r   i n n o v a t i o n   a c r o s s   m u l t i p l e   d o m a i n s .   I n n o v a t i o n   k n o w l e d g e   s e r v i c e s   a r e   a l s o   p r o v i d e d   a s   a n   i n n o v a t i v e   g u i d e   a n d   t o o l s   f o r   k n o w l e d g e   w o r k e r s ,   i n n o v a t i o n   c h a m p i o n s   a n d   C x O s   b e i n g   i n v o l v e d   i n   i n n o v a t i o n   a c t i v i t i e s ,   i n c l u d i n g   i n n o v a t i o n   m a n a g e m e n t ,   i n n o v a t i o n   m e t h o d s ,   e n t r e p r e n e u r s h i p ,   n e w   p r o d u c t   d e v e l o p m e n t   e t c .   I n n o v a t i o n   s e r v i c e s   a r e   r e q u i r e d   t o   c o v e r   a l l   l e v e l   o f   D I K W   f r a m e w o r k   ( D a t a - I n f o r m a t i o n - K n o w l e d g e - W i s d o m )   t o   a v o i d   l o s s   a n y t h i n g   i n   l o w e r   l e v e l .   B e s i d e s   t h e   r e s o u r c e   l a y e r ,   a   n e t w o r k i n g   l a y e r   i s   p r o v i d e d   f o r   b u i l d i n g   C o P s   a n d   C o I s   f o r   c o l l a b o r a t i v e   l e a r n i n g   a n d   i n n o v a t i o n .   I t   i s   a n   o p e n   i n n o v a t i o n   p l a t f o r m   i n   w h i c h   s o l u t i o n   s e e k e r s   c a n   p o s t   t h e i r   i s s u e   t o   f i n d   w i s d o m   o f   c r o w d s   a n d   t h e   s y s t e m   p r o v i d e s   o n l i n e   a s s i s t a n c e   f o r   s o l v e r s   a n d   i d e a s   s e a r c h i n g .   T h e n   a   c o l l a b o r a t i v e   i n n o v a t i o n   n e t w o r k   c a n   b e   f o r m e d   d e p e n d e n t   o n   a t t r i b u t e s   o f   t h e   p r o b l e m   i s s u e .   I t   c a n   e i t h e r   b e   a   v o l u n t e e r - b a s e d   c o m m u n i t y   j u s t   m o t i v a t e d   w i t h   a   c o m m o n   i n t e r e s t ,   o r   a   b i d d i n g - b a s e d   k n o w l e d g e   m a r k e t p l a c e   f o r   c r o w d s o u r c i n g .   K n o w l e d g e   s e r v i c e s   a r e   l o o k e d   a s   a   p r i n c i p l e   i n f r a s t r u c t u r e   t o   p r o m o t e   i n t e l l e c t u a l   c a p i t a l   a n d   c o n t i n u o u s   i n n o v a t i o n   i n   k n o w l e d g e   e c o n o m y .   A   p i l o t   d e v e l o p m e n t   p r o j e c t   i s   u n d e r w a y   a n d   h a s   m a d e   s i g n i f i c a n t   p r o g r e s s .   A t   S h a n g h a i   w e   h a v e   c o l l e c t e d   a n d   d e v e l o p e d   a   s e t   o f   B O K s   i n   i n n o v a t i o n ,   s o f t w a r e   e n g i n e e r i n g ,   I T ,   a n d   m o d e r n   s e r v i c e s   d o m a i n s ,   i n c l u d i n g   N e w   P r o d u c t   D e v e l o p m e n t   B O K ,   C T O   B O K   a n d   C I O   c e r t i f i c a t e   p r o g r a m   e t c . 	 	 	 a s t i - g m @ o n l i n e . s h . c n ;   b j s h e n @ s j t u . e d u . c n 	 	 	 	 	 A n a n d   N ,   2 0 0 7 ,   A C A D   M A N A G E   J ,   V 5 0 ,   P 4 0 6 ;   C h e s b r o u g h   H . ,   2 0 0 3 ,   O P E N   I N N O V A T I O N   N E W ;   C h r i s t e n s e n   C .   M . ,   1 9 9 7 ,   I N N O V A T O R S   D I L E M M A ;   L i c h t e n t h a l e r   U ,   2 0 0 9 ,   R & D   M A N A G E ,   V 3 9 ,   P 3 1 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 9 . 0 0 5 6 1 . x ;   * S I P O ,   2 0 0 9 ,   G E N   I M P L   P L A N   S T A T   T 	 5 	 0 	 0 	 A C A D E M I C   C O N F E R E N C E S   L T D 	 N R   R E A D I N G 	 C U R T I S   F A R M ,   K I D M O R E   E N D ,   N R   R E A D I N G ,   R G 4   9 A Y ,   E N G L A N D 	 	 	 9 7 8 - 1 - 9 0 6 6 3 8 - 7 4 - 0 	 	 	 	 2 0 1 0 	 	 	 	 	 	 	 7 4 9 	 7 5 1 	 	 	 	 3 	 B u s i n e s s ;   M a n a g e m e n t ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 B u s i n e s s   &   E c o n o m i c s ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 B S E 1 3 	 W O S : 0 0 0 2 8 4 2 6 2 5 0 0 0 8 9 	 	 
 J 	 S c h n o e b e l e n ,   T ;   K u p e r m a n ,   V 	 	 	 	 S c h n o e b e l e n ,   T y l e r ;   K u p e r m a n ,   V i c t o r 	 	 	 U s i n g   A m a z o n   M e c h a n i c a l   T u r k   f o r   l i n g u i s t i c   r e s e a r c h 	 P S I H O L O G I J A 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c r o w d s o u r c i n g ;   A m a z o n   M e c h a n i c a l   T u r k ;   w e b   e x p e r i m e n t s ;   p r e d i c t a b i l i t y ;   s e m a n t i c   s i m i l a r i t y 	 E Y E - M O V E M E N T S ;   W O R D - F R E Q U E N C Y ;   M O D E L ;   P O T E N T I A L S ;   L A N G U A G E ;   I N T E R N E T ;   W E B 	 A m a z o n ' s   M e c h a n i c a l   T u r k   s e r v i c e   m a k e s   l i n g u i s t i c   e x p e r i m e n t a t i o n   q u i c k ,   e a s y ,   a n d   i n e x p e n s i v e .   H o w e v e r ,   r e s e a r c h e r s   h a v e   n o t   b e e n   c e r t a i n   a b o u t   i t s   r e l i a b i l i t y .   I n   a   s e r i e s   o f   e x p e r i m e n t s ,   t h i s   p a p e r   c o m p a r e s   d a t a   c o l l e c t e d   v i a   M e c h a n i c a l   T u r k   t o   t h o s e   o b t a i n e d   u s i n g   m o r e   t r a d i t i o n a l   m e t h o d s   O n e   s e t   o f   e x p e r i m e n t s   m e a s u r e d   t h e   p r e d i c t a b i l i t y   o f   w o r d s   i n   s e n t e n c e s   u s i n g   t h e   C l o z e   s e n t e n c e   c o m p l e t i o n   t a s k   ( T a y l o r ,   1 9 5 3 ) .   T h e   c o r r e l a t i o n   b e t w e e n   t r a d i t i o n a l   a n d   T u r k   C l o z e   s c o r e s   i s   h i g h   ( r h o = 0 . 8 2 3 )   a n d   b o t h   d a t a   s e t s   p e r f o r m   s i m i l a r l y   a g a i n s t   a l t e r n a t i v e   m e a s u r e s   o f   c o n t e x t u a l   p r e d i c t a b i l i t y .   F i v e   o t h e r   e x p e r i m e n t s   o n   t h e   s e m a n t i c   r e l a t e d n e s s   o f   v e r b s   a n d   p h r a s a l   v e r b s   ( h o w   m u c h   i s   " l i f t "   p a r t   o f   " l i f t   u p " )   m a n i p u l a t e   t h e   p r e s e n c e   o f   t h e   s e n t e n c e   c o n t e x t   a n d   t h e   c o m p o s i t i o n   o f   t h e   e x p e r i m e n t a l   l i s t .   T h e   r e s u l t s   i n d i c a t e   t h a t   T u r k   d a t a   c o r r e l a t e   w e l l   b e t w e e n   e x p e r i m e n t s   a n d   w i t h   d a t a   f r o m   t r a d i t i o n a l   m e t h o d s   ( r h o   u p   t o   0 . 9 ) ,   a n d   t h e y   s h o w   h i g h   i n t e r - r a t e r   c o n s i s t e n c y   a n d   a g r e e m e n t .   W e   c o n c l u d e   t h a t   M e c h a n i c a l   T u r k   i s   a   r e l i a b l e   s o u r c e   o f   d a t a   f o r   c o m p l e x   l i n g u i s t i c   t a s k s   i n   h e a v y   u s e   b y   p s y c h o l i n g u i s t s .   T h e   p a p e r   p r o v i d e s   s u g g e s t i o n s   f o r   b e s t   p r a c t i c e s   i n   d a t a   c o l l e c t i o n   a n d   s c r u b b i n g . 	 [ S c h n o e b e l e n ,   T y l e r ]   S t a n f o r d   U n i v ,   S t a n f o r d ,   C A   9 4 3 0 5   U S A ;   [ K u p e r m a n ,   V i c t o r ]   M c M a s t e r   U n i v ,   H a m i l t o n ,   O N   L 8 S   4 L 8 ,   C a n a d a 	 S c h n o e b e l e n ,   T   ( r e p r i n t   a u t h o r ) ,   S t a n f o r d   U n i v ,   S t a n f o r d ,   C A   9 4 3 0 5   U S A . 	 t y l e r s @ s t a n f o r d . e d u 	 K u p e r m a n ,   V i c t o r / F - 3 9 5 4 - 2 0 1 1 	 	 	 	 B A L D W I N   T ,   2 0 0 2 ,   P   6   C   N A T   L A N G   L E A R N ,   V 2 0 ,   P 1 ,   D O I   1 0 . 3 1 1 5 / 1 1 1 8 8 5 3 . 1 1 1 8 8 5 4 ;   B A N N A R D   C ,   2 0 0 2 ,   2 0 0 2 0 6   L I N G O ;   B i r n b a u m   M H ,   2 0 0 4 ,   A N N U   R E V   P S Y C H O L ,   V 5 5 ,   P 8 0 3 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v . p s y c h . 5 5 . 0 9 0 9 0 2 . 1 4 1 6 0 1 ;   B o l i n g e r   D w i g h t ,   1 9 7 1 ,   P H R A S A L   V E R B   E N G L I S H ;   B O S T O N   M ,   2 0 1 0 ,   D E P P A R S E   2   5 ;   B O S T O N   M ,   I N   P R E S S   L A N G U A G E   C O ;   B O S T O N   M ,   2 0 0 8 ,   P   4 6   A N N   M   A S S   C O M P ,   P 5 ,   D O I   1 0 . 3 1 1 5 / 1 5 5 7 6 9 0 . 1 5 5 7 6 9 3 ;   B o s t o n   M F ,   2 0 0 8 ,   J   E Y E   M O V E M E N T   R E S ,   V 2 ;   B U C H A N A N   T ,   1 9 9 8 ,   2 8   A N N   C O N V   S O C   C O M P ;   D a m b a c h e r   M ,   2 0 0 6 ,   B R A I N   R E S ,   V 1 0 8 4 ,   P 8 9 ,   D O I   1 0 . 1 0 1 6 / j . b r a i n r e s . 2 0 0 6 . 0 2 . 0 1 0 ;   D a n d u r a n d   F ,   2 0 0 8 ,   B E H A V   R E S   M E T H O D S ,   V 4 0 ,   P 4 2 8 ,   D O I   1 0 . 3 7 5 8 / B R M . 4 0 . 2 . 4 2 8 ;   E n g b e r t   R ,   2 0 0 5 ,   P S Y C H O L   R E V ,   V 1 1 2 ,   P 7 7 7 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 5 X . 1 1 2 . 4 . 7 7 7 ;   F R A S E R   B ,   1 9 7 4 ,   L A N G U A G E ,   V 5 0 ,   P 5 6 8 ,   D O I   1 0 . 2 3 0 7 / 4 1 2 2 2 4 ;   G i b s o n   E ,   1 9 9 8 ,   C O G N I T I O N ,   V 6 8 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / S 0 0 1 0 - 0 2 7 7 ( 9 8 ) 0 0 0 3 4 - 1 ;   G r i e s   S t e f a n   T h ,   2 0 0 3 ,   M U L T I F A C T O R I A L   A N A L ;   H a l e   J ,   2 0 0 1 ,   P   N A A C L ,   V 2 ,   P 1 5 9 ;   I P E I R O T I S   P ,   2 0 0 8 ,   C O M P   S C I   B U S I N E S S   S C ;   K E N N E D Y   A ,   1 9 2 0 ,   L A N G   L I T ,   V 1 ,   P 1 ;   K l i e g l   R ,   2 0 0 4 ,   E U R   J   C O G N   P S Y C H O L ,   V 1 6 ,   P 2 6 2 ,   D O I   1 0 . 1 0 8 0 / 0 9 5 4 1 4 4 0 3 4 0 0 0 0 2 1 3 ;   K l i e g l   R ,   2 0 0 6 ,   J   E X P   P S Y C H O L   G E N ,   V 1 3 5 ,   P 1 2 ,   D O I   1 0 . 1 0 3 7 / 0 0 9 6 - 3 4 4 5 . 1 3 5 . 1 . 1 2 ;   K r a n t z   J ,   2 0 0 0 ,   P S Y C H O L   E X P T   I N T E R N E ,   P 3 5 ,   D O I   1 0 . 1 0 1 6 / B 9 7 8 - 0 1 2 0 9 9 9 8 0 - 4 / 5 0 0 0 3 - 4 ;   L A N D I S   J R ,   1 9 7 7 ,   B I O M E T R I C S ,   V 3 3 ,   P 1 5 9 ,   D O I   1 0 . 2 3 0 7 / 2 5 2 9 3 1 0 ;   L e v y   R ,   2 0 0 8 ,   C O G N I T I O N ,   V 1 0 6 ,   P 1 1 2 6 ,   D O I   1 0 . 1 0 1 6 / j . c o g n i t i o n . 2 0 0 7 . 0 5 . 0 0 6 ;   L o h s e   B ,   2 0 0 4 ,   L A N G U A G E ,   V 8 0 ,   P 2 3 8 ,   D O I   1 0 . 1 3 5 3 / l a n . 2 0 0 4 . 0 0 8 9 ;   M C C A R T H Y   D ,   2 0 0 3 ,   P   A C L   2 0 0 3   W O R K S H   M U ,   V 1 8 ,   P 8 0 ;   M c G r a w   K O ,   2 0 0 0 ,   P S Y C H O L   S C I ,   V 1 1 ,   P 5 0 2 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 9 2 8 0 . 0 0 2 9 6 ;   R a y n e r   K ,   1 9 9 6 ,   P S Y C H O N   B   R E V ,   V 3 ,   P 5 0 4 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 2 1 4 5 5 5 ;   R e i c h l e   E D ,   1 9 9 8 ,   P S Y C H O L   R E V ,   V 1 0 5 ,   P 1 2 5 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 5 X . 1 0 5 . 1 . 1 2 5 ;   R e i c h l e   E D ,   2 0 0 9 ,   P S Y C H O N   B   R E V ,   V 1 6 ,   P 1 ,   D O I   1 0 . 3 7 5 8 / P B R . 1 6 . 1 . 1 ;   R e i p s   U D ,   2 0 0 2 ,   E X P   P S Y C H O L ,   V 4 9 ,   P 2 4 3 ,   D O I   1 0 . 1 0 2 7 / / 1 6 1 8 - 3 1 6 9 . 4 9 . 4 . 2 4 3 ;   R E I P S   U . - D . ,   2 0 0 2 ,   O N L I N E   S O C I A L   S C I ,   P 2 2 9 ;   R e s n i k   P ,   1 9 9 9 ,   J   A R T I F   I N T E L L   R E S ,   V 1 1 ,   P 9 5 ;   R o l a n d   D ,   2 0 0 7 ,   J   M E M   L A N G ,   V 5 7 ,   P 3 4 8 ,   D O I   1 0 . 1 0 1 6 / j . j m l . 2 0 0 7 . 0 3 . 0 0 2 ;   S c h i l l i n g   H E H ,   1 9 9 8 ,   M E M   C O G N I T I O N ,   V 2 6 ,   P 1 2 7 0 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 2 0 1 1 9 9 ;   S e n i o r   C ,   1 9 9 9 ,   B E H A V   R E S   M E T H   I N S   C ,   V 3 1 ,   P 3 4 1 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 2 0 7 7 3 0 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   T a y l o r   W L ,   1 9 5 3 ,   J O U R N A L I S M   Q U A R T ,   V 3 0 ,   P 4 1 5 ;   T s u r u o k a   Y ,   2 0 0 5 ,   P   H L T   E M N L P ,   P 4 6 7 ,   D O I   1 0 . 3 1 1 5 / 1 2 2 0 5 7 5 . 1 2 2 0 6 3 4 ;   V A N P E T T E N   C ,   1 9 9 0 ,   M E M   C O G N I T I O N ,   V 1 8 ,   P 3 8 0 	 3 9 	 6 	 6 	 A S S O C   S E R B I A N   P S Y C H O L O G I S T S 	 B E O G R A D 	 D U S I N A   7 - 3 ,   B E O G R A D ,   1 1 0 0 0 ,   S E R B I A 	 0 0 4 8 - 5 7 0 5 	 	 	 P S I H O L O G I J A 	 P s i h o l o g i j a 	 	 2 0 1 0 	 4 3 	 4 	 	 	 	 	 4 4 1 	 4 6 4 	 	 1 0 . 2 2 9 8 / P S I 1 0 0 4 4 4 1 S 	 	 2 4 	 P s y c h o l o g y ,   M u l t i d i s c i p l i n a r y 	 P s y c h o l o g y 	 7 0 3 L M 	 W O S : 0 0 0 2 8 5 9 7 9 4 0 0 0 0 6 	 	 
 S 	 L i n ,   H R ;   D a v i s ,   J 	 	 A r o y o ,   L ;   A n t o n i o u ,   G ;   H y v o n e n ,   E ;   T e n T e i j e ,   A ;   S t u c k e n s c h m i d t ,   H ;   C a b r a l ,   L ;   T u d o r a c h e ,   T 	 	 L i n ,   H u a i r e n ;   D a v i s ,   J o s e p h 	 	 	 C o m p u t a t i o n a l   a n d   C r o w d s o u r c i n g   M e t h o d s   f o r   E x t r a c t i n g   O n t o l o g i c a l   S t r u c t u r e   f r o m   F o l k s o n o m y 	 S E M A N T I C   W E B :   R E S E A R C H   A N D   A P P L I C A T I O N S ,   P T   2 ,   P R O C E E D I N G S 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 7 t h   E x t e n d e d   S e m a n t i c   W e b   C o n f e r e n c e   ( E S W C 2 0 1 0 ) 	 M A Y   3 0 - J U N   0 3 ,   2 0 1 0 	 H e r a k l i o n ,   G R E E C E 	 N a t l   &   K a p o d i s t r i a n   U n i v   A t h e n s ,   b e i n f o r m e d ,   C R C   P r e s s ,   D E R I ,   E l s e v i e r ,   F O R T H ,   I n s t   C o m p   S c i ,   F r a n z ,   I M C   T e c h n o l o g i e s ,   I O S   P r e s s ,   K M i ,   N o T u b e ,   O N T O R U L E ,   O n t o t e x t ,   P a t h f i n d e r ,   P a s c a l 2 ,   P h a i s t o s   N e t w o r k ,   S e e d k a ,   S e m s p h e r e ,   S O A 4 A L L ,   S T I ,   I n n s b r u c k ,   S T I ,   I n t ,   t a l i s ,   Y a h o o   R e s 	 	 	 	 T h i s   p a p e r   i n v e s t i g a t e s   t h e   u n i f i c a t i o n   o f   f o l k s o n o m i e s   a n d   o n t o l o g i e s   i n   s u c h   a   w a y   t h a t   t h e   r e s u l t i n g   s t r u c t u r e s   c a n   b e t t e r   s u p p o r t   e x p l o r a t i o n   a n d   s e a r c h   o n   t h e   W o r l d   W i d e   W e b .   F i r s t ,   a n   i n t e g r a t e d   c o m p u t a t i o n a l   m e t h o d   i s   e m p l o y e d   t o   e x t r a c t   t h e   o n t o l o g i c a l   s t r u c t u r e s   f r o m   f o l k s o n o m i e s .   I t   e x p l o i t s   t h e   p o w e r   o f   l o w   s u p p o r t   a s s o c i a t i o n   r u l e   m i n i n g   s u p p l e m e n t e d   b y   a n   u p p e r   o n t o l o g y   s u c h   a s   W o r d   N e t .   P r o m i s i n g   r e s u l t s   h a v e   b e e n   o b t a i n e d   f r o m   e x p e r i m e n t s   u s i n g   t a g   d a t a s e t s   f r o m   F l i c k r   a n d   C i t e u l i k e .   N e x t ;   a   c r o w d s o u r c i n g   m e t h o d   i s   i n t r o d u c e d   t o   c h a n n e l   o n l i n e   u s e r s '   s e a r c h   e f f o r t s   t o   h e l p   e v o l v e   t h e   e x t r a c t e d   o n t o l o g y . 	 [ L i n ,   H u a i r e n ;   D a v i s ,   J o s e p h ]   U n i v   S y d n e y ,   K n o w l e d g e   D i s c o v e r y   &   M a n a g e m e n t   R e s   G r p ,   S c h   I T ,   S y d n e y ,   N S W   2 0 0 6 ,   A u s t r a l i a 	 L i n ,   H R   ( r e p r i n t   a u t h o r ) ,   U n i v   S y d n e y ,   K n o w l e d g e   D i s c o v e r y   &   M a n a g e m e n t   R e s   G r p ,   S c h   I T ,   S y d n e y ,   N S W   2 0 0 6 ,   A u s t r a l i a . 	 l i n @ i t . u s y d . e d u . a u ;   j d a v i s @ i t . u s y d . e d u . a u 	 	 	 	 	 A N G E L E T O N   S ,   2 0 0 8 ,   C I S W E B ,   P 6 5 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B R A U N   S ,   2 0 0 7 ,   O N T O L O G Y   M A T U R I N G   C O ;   C a t t u t o   C ,   2 0 0 8 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 3 1 8 ,   P 6 1 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 8 8 5 6 4 - 1 _ 3 9 ;   H e y m a n n   P . ,   2 0 0 6 ,   C O L L A B O R A T I V E   C R E A T I ;   L i m p e n s   F ,   2 0 0 9 ,   2 0 0 9   I E E E / W I C / A C M   I N T E R N A T I O N A L   J O I N T   C O N F E R E N C E S   O N   W E B   I N T E L L I G E N C E   ( W I )   A N D   I N T E L L I G E N T   A G E N T   T E C H N O L O G I E S   ( I A T ) ,   V O L   1 ,   P 1 3 2 ;   L i n   H R ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 5 5 4 ,   P 6 5 4 ;   N I E P E R T   M ,   2 0 0 9 ,   W O R K I N G   C R O W D   D E S I G N ;   S C H M I T Z   C ,   2 0 0 6 ,   1 0   I F C S   C   S T U D   C L A S S ;   S I O R P A E S   K ,   2 0 0 7 ,   3   I N T   I F I P   W O R K S H ;   v o n   A h n   L ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 1 ,   P 1 4 6 5 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 0 3 7 9 ;   W U   H ,   2 0 0 6 ,   7   C   H Y P   H Y P   O D   D E N M ;   W u   X . ,   2 0 0 6 ,   P   1 5   I N T   C   W O R L D   W I D ,   P 4 1 7 ,   D O I   1 0 . 1 1 4 5 / 1 1 3 5 7 7 7 . 1 1 3 5 8 3 9 	 1 3 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 1 3 4 8 8 - 3 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 0 	 6 0 8 9 	 	 I I 	 	 	 	 4 7 2 	 4 7 7 	 	 	 	 6 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B P P 5 5 	 W O S : 0 0 0 2 7 9 5 9 5 5 0 0 0 4 6 	 	 
 S 	 K e r n ,   R ;   T h i e s ,   H ;   S a t z g e r ,   G 	 	 M a g l i o ,   P P ;   W e s k e ,   M ;   Y a n g ,   J ;   F a n t i n a t o ,   M 	 	 K e r n ,   R o b e r t ;   T h i e s ,   H a n s ;   S a t z g e r ,   G e r h a r d 	 	 	 S t a t i s t i c a l   Q u a l i t y   C o n t r o l   f o r   H u m a n - B a s e d   E l e c t r o n i c   S e r v i c e s 	 S E R V I C E - O R I E N T E D   C O M P U T I N G   -   I C S O C   2 0 1 0 ,   P R O C E E D I N G S 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 8 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S e r v i c e   O r i e n t e d   C o m p u t i n g 	 D E C   0 7 - 1 0 ,   2 0 1 0 	 S a n   F r a n c i s c o ,   C A 	 	 	 	 C O N T I N U O U S   S A M P L I N G   P L A N S ;   C S P - 1 	 C r o w d s o u r c i n g   i n   f o r m   o f   h u m a n - b a s e d   e l e c t r o n i c   s e r v i c e s   ( p e o p l e   s e r v i c e s )   p r o v i d e s   a   p o w e r f u l   w a y   o f   o u t s o u r c i n g   t a s k s   t o   a   l a r g e   c r o w d   o f   r e m o t e   w o r k e r s   o v e r   t h e   I n t e r n e t .   R e s e a r c h   h a s   s h o w n   t h a t   m u l t i p l e   r e d u n d a n t   r e s u l t s   d e l i v e r e d   b y   d i f f e r e n t   w o r k e r s   c a n   b e   a g g r e g a t e d   i n   o r d e r   t o   a c h i e v e   a   r e l i a b l e   r e s u l t .   H o w e v e r ,   e x i s t i n g   i m p l e m e n t a t i o n s   o f   t h i s   a p p r o a c h   a r e   r a t h e r   i n e f f i c i e n t   a s   t h e y   m u l t i p l y   t h e   e f f o r t   f o r   t a s k   e x e c u t i o n   a n d   a r e   n o t   a b l e   t o   g u a r a n t e e   a   c e r t a i n   q u a l i t y   l e v e l .   A s   a ,   s t a r t i n g   p o i n t   t o w a r d s   a n   i n t e g r a t e d   a p p r o a c h   f o r   q u a l i t y   m a n a g e m e n t   o f   p e o p l e   s e r v i c e s   w e   h a v e   d e v e l o p e d   a   q u a l i t y   m a n a g e m e n t   m o d e l   t h a t   c o m b i n e s   e l e m e n t s   o f   s t a t i s t i c a l   q u a l i t y   c o n t r o l   ( S Q C )   w i t h   g r o u p   d e c i s i o n   t h e o r y .   T h e   c o n t r i b u t i o n s   o f   t h e   w o r k e r s   a r e   t r a c k e d   a n d   w e i g h t e d   i n d i v i d u a l l y   i n   o r d e r   t o   m i n i m i z e   t h e   q u a l i t y   m a n a g e m e n t   e f f o r t   w h i l e   g u a r a n t e i n g   a   w e l l - d e f i n e d   l e v e l   o f   o v e r a l l   r e s u l t   q u a l i t y .   A   q u a n t i t a t i v e   a n a l y s i s   o f   t h e   a p p r o a c h   b a s e d   o n   a n   o p t i c a l   c h a r a c t e r   r e c o g n i t i o n   ( O C R )   s c e n a r i o   c o n f i r m s   t h e   e f f i c i e n c y   a n d   r e a c h   o f   t h e   a p p r o a c h . 	 [ K e r n ,   R o b e r t ;   T h i e s ,   H a n s ;   S a t z g e r ,   G e r h a r d ]   K I T ,   K a r l s r u h e   S e r v   R e s   I n s t ,   D - 7 6 1 3 1   K a r l s r u h e ,   G e r m a n y 	 K e r n ,   R   ( r e p r i n t   a u t h o r ) ,   K I T ,   K a r l s r u h e   S e r v   R e s   I n s t ,   E n g l e r s t r   1 1 ,   D - 7 6 1 3 1   K a r l s r u h e ,   G e r m a n y . 	 r o b e r t . k e r n @ k i t . e d u ;   h a n s . t h i e s @ g m x . d e ;   g e r h a r d . s a t z g e r @ k i t . e d u 	 	 	 	 	 B L A C K W E L L   M T R ,   1 9 7 7 ,   T E C H N O M E T R I C S ,   V 1 9 ,   P 2 5 9 ,   D O I   1 0 . 2 3 0 7 / 1 2 6 7 6 9 5 ;   D a w i d   A . P . ,   1 9 7 9 ,   J   R O Y A L   S T A T   S O C   C ,   V 2 8 ,   P 2 0 ;   D e   C o n d o r c e t   M ,   1 7 8 5 ,   E S S A I   A P P L   A N A L   P R O B ;   D o d g e   H .   F . ,   1 9 5 1 ,   I N D   Q U A L I T Y   C O N T R O L ,   V 7 ,   P 7 ;   G o s h   D .   T . ,   1 9 9 6 ,   I N D I A N   J   S T A T ,   V 5 8 ,   P 1 0 5 ;   G r u c a   T .   S . ,   2 0 0 5 ,   E l e c t r o n i c   M a r k e t s ,   V 1 5 ,   D O I   1 0 . 1 0 8 0 / 1 0 1 9 6 7 8 0 5 0 0 0 3 4 9 3 9 ;   I P E I R O T I S   P G ,   2 0 1 0 ,   Q U A L I T Y   M A N A G E M E N T   A ;   J u r a n   J .   M . ,   2 0 0 0 ,   J U R A N S   Q U A L I T Y   H D B ;   K E R N   R ,   2 0 1 0 ,   P   1 6   A M   C   I   I N   P R E S S ;   K e r n   R ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 4 7 2 ,   P 3 0 4 ;   L a t i f - S h a b g a h i   G ,   2 0 0 4 ,   I E E E   T   R E L I A B ,   V 5 3 ,   P 3 1 9 ,   D O I   1 0 . 1 1 0 9 / T R . 2 0 0 4 . 8 3 2 8 1 9 ;   L I E B E R M A N   G J ,   1 9 5 5 ,   A N N   M A T H   S T A T ,   V 2 6 ,   P 6 8 6 ,   D O I   1 0 . 1 2 1 4 / a o m s / 1 1 7 7 7 2 8 4 2 8 ;   L i t t l e   G . ,   2 0 0 9 ,   P   A C M   S I G K D D   W O R K S H ,   P 2 9 ,   D O I   1 0 . 1 1 4 5 / 1 6 0 0 1 5 0 . 1 6 0 0 1 5 9 ;   L I T T L E S T O N E   N ,   1 9 9 4 ,   I N F O R M   C O M P U T ,   V 1 0 8 ,   P 2 1 2 ,   D O I   1 0 . 1 0 0 6 / i n c o . 1 9 9 4 . 1 0 0 9 ;   M c S h a n e   L .   M . ,   1 9 9 1 ,   T e c h n o m e t r i c s ,   V 3 3 ,   D O I   1 0 . 2 3 0 7 / 1 2 6 9 4 1 2 ;   M o n t g o m e r y   D .   C ,   2 0 0 8 ,   I N T R O   S T A T   Q U A L I T Y   C ;   R a y k a r   V C ,   2 0 1 0 ,   J   M A C H   L E A R N   R E S ,   V 1 1 ,   P 1 2 9 7 ;   R e v o w   M ,   1 9 9 6 ,   I E E E   T   P A T T E R N   A N A L ,   V 1 8 ,   P 5 9 2 ,   D O I   1 0 . 1 1 0 9 / 3 4 . 5 0 6 4 1 0 ;   R o s s   J . ,   2 0 1 0 ,   P   2 8   I N T   C   H U M   F A C T ,   P 2 8 6 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 5 3 8 4 6 . 1 7 5 3 8 7 3 . A C C E S S E D ;   R o w e   G ,   1 9 9 9 ,   I N T   J   F O R E C A S T I N G ,   V 1 5 ,   P 3 5 3 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 9 - 2 0 7 0 ( 9 9 ) 0 0 0 1 8 - 7 ;   S n o w   R . ,   2 0 0 8 ,   E M N L P ,   P 2 5 4 ;   S o r o k i n   A ,   2 0 0 8 ,   C V P R W   2 0 0 8 ,   P 1 ,   D O I   D O I   1 0 . 1 1 0 9 / C V P R W . 2 0 0 8 . 4 5 6 2 9 5 3 ;   S U R O W I E C K I   J A M E S ,   2 0 0 4 ,   W I S D O M   C R O W D S ;   W a n g   R C ,   1 9 9 7 ,   J   A P P L   S T A T ,   V 2 4 ,   P 5 3 9 ;   W h i t e h i l l   J . ,   2 0 0 9 ,   A D V   N E U R A L   I N F O R M   P R ,   V 2 2 ,   P 2 0 3 5 	 2 5 	 5 	 5 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 1 7 3 5 7 0 8 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 0 	 6 4 7 0 	 	 	 	 	 	 2 4 3 	 2 5 7 	 	 	 	 1 5 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B T E 8 6 	 W O S : 0 0 0 2 8 6 6 9 1 6 0 0 0 1 7 	 	 
 S 	 V u k o v i c ,   M ;   L o p e z ,   M ;   L a r e d o ,   J 	 	 D a n ,   A ;   G i t t l e r ,   F ;   T o u m a n i ,   F 	 	 V u k o v i c ,   M a j a ;   L o p e z ,   M a r i a n a ;   L a r e d o ,   J i m 	 	 	 P e o p l e C l o u d   f o r   t h e   G l o b a l l y   I n t e g r a t e d   E n t e r p r i s e 	 S E R V I C E - O R I E N T E D   C O M P U T I N G :   I C S O C / S E R V I C E   W A V E   2 0 0 9   W O R K S H O P S 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I n t e r n a t i o n a l   W o r k s h o p s   S e r v i c e - O r i e n t e d   C o m p u t i n g / S e r v i c e   W a v e 	 N O V   2 3 - 2 7 ,   2 0 0 9 	 S t o c k h o l m ,   S W E D E N 	 	 	 C o l l a b o r a t i v e   i n t e l l i g e n c e ;   C r o w d s o u r c i n g ;   G l o b a l i z a t i o n 	 	 C r o w d s o u r c i n g   h a s   e m e r g e d   a s   t h e   n e w   o n - l i n e   d i s t r i b u t e d   p r o d u c t i o n   m o d e l   i n   w h i c h   p e o p l e   c o l l a b o r a t e   a n d   m a y   b e   a w a r d e d   t o   c o m p l e t e   a   t a s k .   W h i l e   m a n y   e x i s t i n g   s e r v i c e s   e n a b l e   e n t e r p r i s e s   t o   e m p l o y   t h e   w i s d o m   o f   c r o w d ,   t h e r e   i s   n o   e x i s t i n g   p r a c t i c e   d e f i n e d   f o r   i n t e g r a t i o n   o f   c r o w d s o u r c i n g   w i t h   t h e   b u s i n e s s   p r o c e s s e s .   W e   p r o p o s e   P e o p l e C l o u d ,   a s   t h e   ( 1 )   m e c h a n i s m   t o   e n a b l e   a c c e s s   t o   s c a l a b l e   w o r k f o r c e   o n - l i n e ,   c o n n e c t i n g   i t   t o   t h e   e n t e r p r i s e   a n d   ( 2 )   a n   i n t e r f a c e   t o   s e r v i c e s   r e q u i r e d   f o r   c r o w d s o u r c i n g   t a s k s .   W e   d e f i n e   r e q u i r e m e n t s   f o r   P e o p l e C l o u d ,   b a s e d   o n   o u r   e x p e r i e n c e s   i n   e m p l o y i n g   w i s d o m   o f   c r o w d   t o   s o u r c e   b u s i n e s s   a n d   I T   i n f o r m a t i o n   w i t h i n   t h e   e n t e r p r i s e . 	 [ V u k o v i c ,   M a j a ;   L a r e d o ,   J i m ]   I B M   T J   W a t s o n   R e s ,   H a w t h o r n e ,   N Y   1 0 5 3 2   U S A 	 V u k o v i c ,   M   ( r e p r i n t   a u t h o r ) ,   I B M   T J   W a t s o n   R e s ,   H a w t h o r n e ,   N Y   1 0 5 3 2   U S A . 	 m a j a @ u s . i b m . c o m ;   n a n a l q @ g m a i l . c o m ;   l a r e d o j @ u s . i b m . c o m 	 	 	 	 	 A r g o t e   L . ,   1 9 9 9 ,   O R G   L E A R N I N G   C R E A T I N ;   B r a b h a m   D .   C . ,   2 0 0 8 ,   I N T   J   R E S   N E W   M E D I A ,   V 1 4 ,   P 7 5 ,   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   C H R I S T O P H E R   A B ,   2 0 0 0 ,   T R A N S N A T I O N A L   M A N A G E ;   D I P A L A N T I N O   D ,   2 0 0 9 ,   P   1 0   A C M   C   E L   C O M M   E ;   D O N   T ,   2 0 0 6 ,   W I K I N O M I C S   M A S S   C O L L ;   G a l e g h e r   J .   E . ,   1 9 9 0 ,   I N T E L L E C T U A L   T E A M W O R ;   H O W E   J ,   W I R E D ,   V 1 4 ;   K i t t u r   A . ,   2 0 0 8 ,   P   2 6   A N N   S I G C H I   C   H U ;   S u r o w i e c k i   J a m e s ,   2 0 0 5 ,   W I S D O M   C R O W D S ;   V U K O V I C   M ,   2 0 0 9 ,   I N T   W O R K S H   C L O U D   S E R ;   G O L D C O R P   C H A L L E N G E 	 1 1 	 2 	 2 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 1 6 1 3 1 - 5 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 0 	 6 2 7 5 	 	 	 	 	 	 1 0 9 	 1 1 4 	 	 	 	 6 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B T F 3 3 	 W O S : 0 0 0 2 8 6 7 8 3 2 0 0 0 1 0 	 	 
 B 	 C a r t e r e t t e ,   B ;   S o b o r o f f ,   I 	 	 C h e n ,   H H ;   E f t h i m i a d i s ,   E N ;   S a v o y ,   J ;   C r e s t a n i ,   F ;   M a r c h a n d M a i l l e t ,   S 	 	 C a r t e r e t t e ,   B e n ;   S o b o r o f f ,   I a n 	 	 	 T h e   E f f e c t   o f   A s s e s s o r   E r r o r s   o n   I R   S y s t e m   E v a l u a t i o n 	 S I G I R   2 0 1 0 :   P R O C E E D I N G S   O F   T H E   3 3 R D   A N N U A L   I N T E R N A T I O N A L   A C M   S I G I R   C O N F E R E N C E   O N   R E S E A R C H   D E V E L O P M E N T   I N   I N F O R M A T I O N   R E T R I E V A L 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 3 3 r d   A n n u a l   I n t e r n a t i o n a l   A C M   S I G I R   C o n f e r e n c e   o n   R e s e a r c h   a n d   D e v e l o p m e n t   i n   I n f o r m a t i o n   R e t r i e v a l 	 J U L   1 9 - 2 3 ,   2 0 1 0 	 G e n e v a ,   S W I T Z E R L A N D 	 S p e c i a l   I n t e r e s t   G r p   I n f o r m a t   R e t r i e v a l ,   A s s o c   C o m p   M a c h i n e r y ,   B a i d u ,   G o o g l e ,   M i c r o s o f t   R e s ,   Y a h o o ,   I n f o r m a t   R e t r i e v a l   F a c ,   I B M   R e s ,   F N S N F ,   S w i s s   N a t l   S c i   F d n 	 	 a s s e s s o r   e r r o r ;   r e t r i e v a l   t e s t   c o l l e c t i o n s 	 	 R e c e n t   e f f o r t s   i n   t e s t   c o l l e c t i o n   b u i l d i n g   h a v e   f o c u s e d   o n   s c a l i n g   b a c k   t h e   n u m b e r   o f   n e c e s s a r y   r e l e v a n c e   j u d g m e n t s   a n d   t h e n   s c a l i n g   u p   t h e   n u m b e r   o f   s e a r c h   t o p i c s .   S i n c e   t h e   l a r g e s t   s o u r c e   o f   v a r i a t i o n   i n   a   C r a n f i e l d - s t y l e   e x p e r i m e n t   c o m e s   f r o m   t h e   t o p i c s ,   t h i s   i s   a   r e a s o n a b l e   a p p r o a c h .   H o w e v e r ,   a s   t o p i c   s e t   s i z e s   g r o w ,   a n d   r e s e a r c h e r s   l o o k   t o   c r o w d s o u r c i n g   a n d   A m a z o n ' s   M e c h a n i c a l   T u r k   t o   c o l l e c t   r e l e v a n c e   j u d g m e n t s ,   w e   a r e   f a c e d   w i t h   i s s u e s   o f   q u a l i t y   c o n t r o l .   T h i s   p a p e r   e x a m i n e s   t h e   r o b u s t n e s s   o f   t h e   T R E C   M i l l i o n   Q u e r y   t r a c k   m e t h o d s   w h e n   s o m e   a s s e s s o r s   m a k e   s i g n i f i c a n t   a n d   s y s t e m a t i c   e r r o r s .   W e   f i n d   t h a t   w h i l e   a v e r a g e s   a r e   r o b u s t ,   a s s e s s o r   e r r o r s   c a n   h a v e   a   l a r g e   e f f e c t   o n   s y s t e m   r a n k i n g s . 	 [ C a r t e r e t t e ,   B e n ]   U n i v   D e l a w a r e ,   D e p t   C o m p   &   I n f o r m a t   S c i ,   N e w a r k ,   D E   1 9 7 1 6   U S A 	 C a r t e r e t t e ,   B   ( r e p r i n t   a u t h o r ) ,   U n i v   D e l a w a r e ,   D e p t   C o m p   &   I n f o r m a t   S c i ,   N e w a r k ,   D E   1 9 7 1 6   U S A . 	 c a r t e r e t @ c i s . u d e l . e d u ;   i a n . s o b o r o f f @ n i s t . g o v 	 	 	 	 	 A L L A N   J . ,   2 0 0 8 ,   P   T R E C ;   A s l a r r r   J .   A . ,   2 0 0 6 ,   P r o c e e d i n g s   o f   t h e   T w e n t y - N i n t h   A n n u a l   I n t e r n a t i o n a l   A C M   S I G I R   C o n f e r e n c e   o n   R e s e a r c h   a n d   D e v e l o p m e n t   i n   I n f o r m a t i o n   R e t r i e v a l ,   D O I   1 0 . 1 1 4 5 / 1 1 4 8 1 7 0 . 1 1 4 8 2 6 3 ;   A S L A M   J A ,   P R A C T I C A L   S A M P L I N G   S ;   B a i l e y   P . ,   2 0 0 8 ,   P   3 1   A N N   I N T   A C M   S I G ,   P 6 6 7 ,   D O I   1 0 . 1 1 4 5 / 1 3 9 0 3 3 4 . 1 3 9 0 4 4 7 ;   C a r t e r e t t e   B . ,   2 0 0 6 ,   P r o c e e d i n g s   o f   t h e   T w e n t y - N i n t h   A n n u a l   I n t e r n a t i o n a l   A C M   S I G I R   C o n f e r e n c e   o n   R e s e a r c h   a n d   D e v e l o p m e n t   i n   I n f o r m a t i o n   R e t r i e v a l ,   D O I   1 0 . 1 1 4 5 / 1 1 4 8 1 7 0 . 1 1 4 8 2 1 9 ;   C a r t e r e t t e   B . ,   2 0 0 8 ,   P   3 1   A N N   I N T   A C M   S I G ,   P 6 5 1 ,   D O I   1 0 . 1 1 4 5 / 1 3 9 0 3 3 4 . 1 3 9 0 4 4 5 ;   C A R T E R E T T E   B ,   2 0 0 7 ,   P   S I G I R ;   C o r m a c k   G .   V . ,   1 9 9 8 ,   P r o c e e d i n g s   o f   t h e   2 1 s t   A n n u a l   I n t e r n a t i o n a l   A C M   S I G I R   C o n f e r e n c e   o n   R e s e a r c h   a n d   D e v e l o p m e n t   i n   I n f o r m a t i o n   R e t r i e v a l ,   D O I   1 0 . 1 1 4 5 / 2 9 0 9 4 1 . 2 9 1 0 0 9 ;   H A R M A N   D ,   1 9 9 5 ,   N I S T   S P E C I A L   P U B L I C A ,   V 5 0 0 ,   P 1 ;   S A N D E R S O N   M . ,   2 0 0 5 ,   P   S I G I R ,   P 1 8 6 ;   S o b o r o f f   I a n ,   2 0 0 1 ,   P   2 4   A N N   I N T   A C M   S I G ,   P 6 6 ,   D O I   1 0 . 1 1 4 5 / 3 8 3 9 5 2 . 3 8 3 9 6 1 ;   V o o r h e e s   E ,   2 0 0 5 ,   T R E C   E X P T   E V A L U A T I O N ;   V o o r h e e s   E .   M . ,   1 9 9 8 ,   P r o c e e d i n g s   o f   t h e   2 1 s t   A n n u a l   I n t e r n a t i o n a l   A C M   S I G I R   C o n f e r e n c e   o n   R e s e a r c h   a n d   D e v e l o p m e n t   i n   I n f o r m a t i o n   R e t r i e v a l ,   D O I   1 0 . 1 1 4 5 / 2 9 0 9 4 1 . 2 9 1 0 1 7 ;   V O O R H E E S   E M ,   2 0 0 2 ,   C L E F   0 1   R E V   P A P   2   W O ,   P 3 5 5 ;   Y i l m a z   E ,   2 0 0 6 ,   P   1 5   A C M   I N T   C   I N F   K ,   P 1 0 2 ,   D O I   1 0 . 1 1 4 5 / 1 1 8 3 6 1 4 . 1 1 8 3 6 3 3 ;   Z h a i   J . ,   2 0 0 8 ,   P   1 7   A C M   C   I N F   K N O W L ,   P 5 9 1 ,   D O I   1 0 . 1 1 4 5 / 1 4 5 8 0 8 2 . 1 4 5 8 1 6 0 ;   Z o b e l   J . ,   1 9 9 8 ,   P r o c e e d i n g s   o f   t h e   2 1 s t   A n n u a l   I n t e r n a t i o n a l   A C M   S I G I R   C o n f e r e n c e   o n   R e s e a r c h   a n d   D e v e l o p m e n t   i n   I n f o r m a t i o n   R e t r i e v a l ,   D O I   1 0 . 1 1 4 5 / 2 9 0 9 4 1 . 2 9 1 0 1 4 	 1 7 	 4 	 4 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 1 5 1 5   B R O A D W A Y ,   N E W   Y O R K ,   N Y   1 0 0 3 6 - 9 9 9 8   U S A 	 	 	 9 7 8 - 1 - 6 0 5 5 8 - 8 9 6 - 4 	 	 	 	 2 0 1 0 	 	 	 	 	 	 	 5 3 9 	 5 4 6 	 	 	 	 8 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 B T G 5 2 	 W O S : 0 0 0 2 8 6 9 0 4 1 0 0 0 7 0 	 	 
 B 	 P o t t h a s t ,   M 	 	 C h e n ,   H H ;   E f t h i m i a d i s ,   E N ;   S a v o y ,   J ;   C r e s t a n i ,   F ;   M a r c h a n d M a i l l e t ,   S 	 	 P o t t h a s t ,   M a r t i n 	 	 	 C r o w d s o u r c i n g   a   W i k i p e d i a   V a n d a l i s m   C o r p u s 	 S I G I R   2 0 1 0 :   P R O C E E D I N G S   O F   T H E   3 3 R D   A N N U A L   I N T E R N A T I O N A L   A C M   S I G I R   C O N F E R E N C E   O N   R E S E A R C H   D E V E L O P M E N T   I N   I N F O R M A T I O N   R E T R I E V A L 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 3 3 r d   A n n u a l   I n t e r n a t i o n a l   A C M   S I G I R   C o n f e r e n c e   o n   R e s e a r c h   a n d   D e v e l o p m e n t   i n   I n f o r m a t i o n   R e t r i e v a l 	 J U L   1 9 - 2 3 ,   2 0 1 0 	 G e n e v a ,   S W I T Z E R L A N D 	 S p e c i a l   I n t e r e s t   G r p   I n f o r m a t   R e t r i e v a l ,   A s s o c   C o m p   M a c h i n e r y ,   B a i d u ,   G o o g l e ,   M i c r o s o f t   R e s ,   Y a h o o ,   I n f o r m a t   R e t r i e v a l   F a c ,   I B M   R e s ,   F N S N F ,   S w i s s   N a t l   S c i   F d n 	 	 W i k i p e d i a ;   V a n d a l i s m   D e t e c t i o n ;   E v a l u a t i o n ;   C o r p u s 	 	 W e   r e p o r t   o n   t h e   c o n s t r u c t i o n   o f   t h e   P A N   W i k i p e d i a   v a n d a l i s m   c o r p u s ,   P A N - W V C - 1 0 ,   u s i n g   A m a z o n ' s   M e c h a n i c a l   T u r k .   T h e   c o r p u s   c o m p i l e s   3 2   4 5 2   e d i t s   o n   2 8   4 6 8   W i k i p e d i a   a r t i c l e s ,   a m o n g   w h i c h   2   3 9 1   v a n d a l i s m   e d i t s   h a v e   b e e n   i d e n t i f i e d .   7 5 3   h u m a n   a n n o t a t o r s   c a s t   a   t o t a l   o f   1 9 3   0 2 2   v o t e s   o n   t h e   e d i t s ,   s o   t h a t   e a c h   e d i t   w a s   r e v i e w e d   b y   a t   l e a s t   3   a n n o t a t o r s ,   w h e r e a s   t h e   a c h i e v e d   l e v e l   o f   a g r e e m e n t   w a s   a n a l y z e d   i n   o r d e r   t o   l a b e l   a n   e d i t   a s   " r e g u l a r "   o r   " v a n d a l i s m . "   T h e   c o r p u s   i s   a v a i l a b l e   f r e e   o f   c h a r g e . ( 1 ) 	 B a u h a u s   U n i v   W e i m a r ,   D - 9 9 4 2 1   W e i m a r ,   G e r m a n y 	 P o t t h a s t ,   M   ( r e p r i n t   a u t h o r ) ,   B a u h a u s   U n i v   W e i m a r ,   D - 9 9 4 2 1   W e i m a r ,   G e r m a n y . 	 m a r t i n . p o t t h a s t @ u n i - w e i m a r . d e 	 	 	 	 	 A L O N S O   O ,   P   S I G I R   0 9 ;   G E I G E R   R S ,   P   C S C W   1 0 ;   I T A K U R A   K Y ,   P   S I G I R   0 9 ;   P O T T H A S T   M ,   2 0 0 8 ,   P   E C I R   0 8 ;   P O T T H A S T   M ,   2 0 0 7 ,   W E B I S W V C 0 7 ;   P R I E D H O R S K Y   R ,   P   G R O U P   0 7 ;   S M E T S   K ,   P   W I K I A L   A A A I   0 8 	 7 	 1 	 1 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 1 5 1 5   B R O A D W A Y ,   N E W   Y O R K ,   N Y   1 0 0 3 6 - 9 9 9 8   U S A 	 	 	 9 7 8 - 1 - 6 0 5 5 8 - 8 9 6 - 4 	 	 	 	 2 0 1 0 	 	 	 	 	 	 	 7 8 9 	 7 9 0 	 	 	 	 2 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 B T G 5 2 	 W O S : 0 0 0 2 8 6 9 0 4 1 0 0 1 4 0 	 	 
 B 	 C a r t e r e t t e ,   B ;   K a n o u l a s ,   E ;   Y i l m a z ,   E 	 	 C h e n ,   H H ;   E f t h i m i a d i s ,   E N ;   S a v o y ,   J ;   C r e s t a n i ,   F ;   M a r c h a n d M a i l l e t ,   S 	 	 C a r t e r e t t e ,   B e n ;   K a n o u l a s ,   E v a n g e l o s ;   Y i l m a z ,   E m i n e 	 	 	 L o w   C o s t   E v a l u a t i o n   i n   I n f o r m a t i o n   R e t r i e v a l 	 S I G I R   2 0 1 0 :   P R O C E E D I N G S   O F   T H E   3 3 R D   A N N U A L   I N T E R N A T I O N A L   A C M   S I G I R   C O N F E R E N C E   O N   R E S E A R C H   D E V E L O P M E N T   I N   I N F O R M A T I O N   R E T R I E V A L 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 3 3 r d   A n n u a l   I n t e r n a t i o n a l   A C M   S I G I R   C o n f e r e n c e   o n   R e s e a r c h   a n d   D e v e l o p m e n t   i n   I n f o r m a t i o n   R e t r i e v a l 	 J U L   1 9 - 2 3 ,   2 0 1 0 	 G e n e v a ,   S W I T Z E R L A N D 	 S p e c i a l   I n t e r e s t   G r p   I n f o r m a t   R e t r i e v a l ,   A s s o c   C o m p   M a c h i n e r y ,   B a i d u ,   G o o g l e ,   M i c r o s o f t   R e s ,   Y a h o o ,   I n f o r m a t   R e t r i e v a l   F a c ,   I B M   R e s ,   F N S N F ,   S w i s s   N a t l   S c i   F d n 	 	 i n f o r m a t i o n   r e t r i e v a l ;   e v a l u a t i o n ;   t e s t   c o l l e c t i o n s 	 	 S e a r c h   c o r p o r a   a r e   g r o w i n g   l a r g e r   a n d   l a r g e r :   o v e r   t h e   l a s t   1 0   y e a r s ,   t h e   I R   r e s e a r c h   c o m m u n i t y   h a s   m o v e d   f r o m   t h e   s e v e r a l   h u n d r e d   t h o u s a n d   d o c u m e n t s   o n   t h e   T R E C   d i s k s   t o   t h e   t e n s   o f   m i l l i o n s   o f   U . S .   g o v e r n m e n t   w e b   p a g e s   o f   G O V 2   t o   t h e   o n e   b i l l i o n   g e n e r a l - i n t e r e s t   w e b   p a g e s   i n   t h e   n e w   C l u e W e b 0 9   c o l l e c t i o n .   B u t   t r a d i t i o n a l   m e a n s   o f   a c q u i r i n g   r e l e v a n c e   j u d g m e n t s   a n d   e v a l u a t i n g   -   e . g .   p o o l i n g   d o c u m e n t s   t o   c a l c u l a t e   a v e r a g e   p r e c i s i o n   -   d o   n o t   s e e m   t o   s c a l e   w e l l   t o   t h e s e   n e w   l a r g e   c o l l e c t i o n s .   T h e y   r e q u i r e   s u b s t a n t i a l l y   m o r e   c o s t   i n   h u m a n   a s s e s s m e n t s   f o r   t h e   s a m e   r e l i a b i l i t y   i n   e v a l u a t i o n ;   i f   t h e   a d d i t i o n a l   c o s t   g o e s   o v e r   t h e   a s s e s s i n g   b u d g e t ,   e r r o r s   i n   e v a l u a t i o n   a r e   i n e v i t a b l e .   S o m e   a l t e r n a t i v e s   t o   p o o l i n g   t h a t   s u p p o r t   l o w - c o s t   a n d   r e l i a b l e   e v a l u a t i o n   h a v e   r e c e n t l y   b e e n   p r o p o s e d .   A   n u m b e r   o f   t h e m   h a v e   a l r e a d y   b e e n   u s e d   i n   T R E C   a n d   o t h e r   e v a l u a t i o n   f o r u m s   ( T R E C   M i l l i o n   Q u e r y ,   L e g a l ,   C h e m i c a l ,   W e b ,   R e l e v a n c e   F e e d b a c k   T r a c k s ,   C L E F   P a t e n t   I R ,   I N E X ) .   E v a l u a t i o n   v i a   i m p l i c i t   u s e r   f e e d b a c k   ( e . g .   c l i c k s )   a n d   c r o w d s o u r c i n g   h a v e   a l s o   r e c e n t l y   g a i n e d   a t t e n t i o n   i n   t h e   c o m m u n i t y .   T h u s   i t   i s   i m p o r t a n t   t h a t   t h e   m e t h o d o l o g i e s ,   t h e   a n a l y s i s   t h e y   s u p p o r t ,   a n d   t h e i r   s t r e n g t h s   a n d   w e a k n e s s e s   a r e   w e l l - u n d e r s t o o d   b y   t h e   I R   c o m m u n i t y .   F u r t h e r m o r e ,   t h e s e   a p p r o a c h e s   c a n   s u p p o r t   s m a l l   r e s e a r c h   g r o u p s   a t t e m p t i n g   t o   s t a r t   i n v e s t i g a t i n g   n e w   t a s k s   o n   n e w   c o r p o r a   w i t h   r e l a t i v e l y   l o w   c o s t .   E v e n   g r o u p s   t h a t   d o   n o t   p a r t i c i p a t e   i n   T R E C ,   C L E F ,   o r   o t h e r   e v a l u a t i o n   c o n f e r e n c e s   c a n   b e n e f i t   f r o m   u n d e r s t a n d i n g   h o w   t h e s e   m e t h o d s   w o r k ,   h o w   t o   u s e   t h e m ,   a n d   w h a t   t h e y   m e a n   a s   t h e y   b u i l d   t e s t   c o l l e c t i o n s   f o r   t a s k s   t h e y   a r e   i n t e r e s t e d   i n .   T h e   g o a l   o f   t h i s   t u t o r i a l   i s   t o   p r o v i d e   a t t e n d e e s   w i t h   a   c o m p r e h e n s i v e   o v e r v i e w   o f   t e c h n i q u e s   t o   p e r f o r m   l o w   c o s t   ( i n   t e r m s   o f   j u d g m e n t   e f f o r t )   e v a l u a t i o n .   A   n u m b e r   o f   t o p i c s   w i l l   b e   c o v e r e d ,   i n c l u d i n g   a l t e r n a t i v e s   t o   p o o l i n g ,   e v a l u a t i o n   m e a s u r e s   r o b u s t   t o   i n c o m p l e t e   j u d g m e n t s ,   e v a l u a t i n g   w i t h   n o   r e l e v a n c e   j u d g m e n t s ,   s t a t i s t i c a l   i n f e r e n c e   o f   e v a l u a t i o n   m e t r i c s ,   i n f e r e n c e   o f   r e l e v a n c e   j u d g m e n t s ,   q u e r y   s e l e c t i o n ,   t e c h n i q u e s   t o   t e s t   t h e   r e l i a b i l i t y   o f   t h e   e v a l u a t i o n   a n d   r e u s a b i l i t y   o f   t h e   c o n s t r u c t e d   c o l l e c t i o n s .   T h e   t u t o r i a l   s h o u l d   b e   o f   i n t e r e s t   t o   a   w i d e   r a n g e   o f   a t t e n d e e s .   T h o s e   n e w   t o   t h e   f i e l d   w i l l   c o m e   a w a y   w i t h   a   s o l i d   u n d e r s t a n d i n g   o f   h o w   l o w   c o s t   e v a l u a t i o n   m e t h o d s   c a n   b e   a p p l i e d   t o   c o n s t r u c t   i n e x p e n s i v e   t e s t   c o l l e c t i o n s   a n d   e v a l u a t e   n e w   I R   t e c h n o l o g y ,   w h i l e   t h o s e   w i t h   i n t e r m e d i a t e   k n o w l e d g e   w i l l   g a i n   d e e p e r   i n s i g h t s   a n d   f u r t h e r   u n d e r s t a n d   t h e   r i s k s   a n d   g a i n s   o f   l o w   c o s t   e v a l u a t i o n .   A t t e n d e e s   s h o u l d   h a v e   a   b a s i c   k n o w l e d g e   o f   t h e   t r a d i t i o n a l   e v a l u a t i o n   f r a m e w o r k   ( C r a n f i e l d )   a n d   m e t r i c s   ( s u c h   a s   a v e r a g e   p r e c i s i o n   a n d   n D C G ) ,   a l o n g   w i t h   s o m e   b a s i c   k n o w l e d g e   o n   p r o b a b i l i t y   t h e o r y   a n d   s t a t i s t i c s .   M o r e   a d v a n c e d   c o n c e p t s   w i l l   b e   e x p l a i n e d   d u r i n g   t h e   t u t o r i a l . 	 [ C a r t e r e t t e ,   B e n ]   U n i v   D e l a w a r e ,   N e w a r k ,   D E   1 9 7 1 6   U S A 	 C a r t e r e t t e ,   B   ( r e p r i n t   a u t h o r ) ,   U n i v   D e l a w a r e ,   N e w a r k ,   D E   1 9 7 1 6   U S A . 	 c a r t e r e t @ c i s . u d e l . e d u ;   e . k a n o u l a s @ s h e f f i e l d . a c . u k ;   e m i n e y @ m i c r o s o f t . c o m 	 	 	 	 	 	 0 	 0 	 0 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 1 5 1 5   B R O A D W A Y ,   N E W   Y O R K ,   N Y   1 0 0 3 6 - 9 9 9 8   U S A 	 	 	 9 7 8 - 1 - 6 0 5 5 8 - 8 9 6 - 4 	 	 	 	 2 0 1 0 	 	 	 	 	 	 	 9 0 3 	 9 0 3 	 	 	 	 1 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 B T G 5 2 	 W O S : 0 0 0 2 8 6 9 0 4 1 0 0 1 9 7 	 	 
 B 	 A n d e r s o n ,   E 	 A n d e r s o n ,   E 	 	 	 A n d e r s o n ,   E r i c 	 A n d e r s o n ,   E 	 	 C r o w d s o u r c i n g   a n d   S c h e l l i n g ' s   T h e o r y   o f   S e l f - C o m m a n d 	 S O C I A L   M E D I A   M A R K E T I N G :   G A M E   T H E O R Y   A N D   T H E   E M E R G E N C E   O F   C O L L A B O R A T I O N 	 	 	 E n g l i s h 	 A r t i c l e ;   B o o k   C h a p t e r 	 	 	 	 	 	 	 	 C o o r d i n a t i o n   g a m e s   r e q u i r e   a   d e g r e e   o f   s e l f :   r e s t r a i n t ;   m a r k e t e r s   f a c e   a   n a t u r a l   t e m p t a t i o n   t o   d e f e c t   i n   t h e   i n t e r e s t s   o f   s h o r t - t e r m   g a i n s .   T h o m a s   S c h e l l i n g ' s   c o n c e p t   o f   s e l f - c o m m a n d   p r o v i d e s   a   p o t e n t i a l   a n t i d o t e ;   a   p l a y e r   c o m p e l s   t h e m s e l v e s   t o   c o o p e r a t e   b y   s e t t i n g   c o n d i t i o n s   t h a t   m a k e   d e f e c t i o n   c o s t l y   o r   d i f f i c u l t .   S u c c e s s f u l   s e l f - c o m m a n d   o f t e n   i n v o l v e s   e n l i s t i n g   a   g r o u p   i n   t h e   e n f o r c e m e n t   o f   n o r m s ;   b r a n d s   h a v e   d o n e   s o   b y   o p e n i n g   t h e m s e l v e s   u p   t o   c o n s u m e r   f e e d b a c k   o n   b l o g s ,   b u t   t h e   m o r e   d r a m a t i c   u s e   o f   s e l f - c o m m a n d   o c c u r s   i n   t h e   p h e n o m e n o n   k n o w n   a s   c r o w d s o u r c i n g .   I n   c r o w d s o u r c i n g ,   m a r k e t e r s   s o l i c i t   d i r e c t   c o l l a b o r a t i o n   w i t h   c o n s u m e r s   i n   i d e n t i f y i n g   a n d   d e v e l o p i n g   b r a n d   a s s e t s ,   c u s t o m e r   s e r v i c e   f e a t u r e s ,   a n d   e v e n   p r o d u c t s .   C r o w d s o u r c i n g   m u s t   o p e r a t e   w i t h i n   c e r t a i n   r u l e s   o f   e n g a g e m e n t   i n   o r d e r   t o   b e   s u c c c e s s f u l ,   b u t   i t   h a s   t h e   p o t e n t i a l   t o   b e   t r a n s f o r m a t i v e   i n   m a r k e t e r - c o n s u m e r   r e l a t i o n s h i p s . 	 	 A n d e r s o n ,   E   ( r e p r i n t   a u t h o r ) ,   3 0 3 6   N E   A i n s w o r t h   S t ,   P o r t l a n d ,   O R   9 7 2 1 1   U S A . 	 e a n d e r s o n @ w h i t e h o r s e . c o m ;   e a n d e r s o n @ w h i t e h o r s e . c o m 	 	 	 	 	 	 0 	 0 	 0 	 S P R I N G E R 	 N E W   Y O R K 	 2 3 3   S P R I N G   S T R E E T ,   N E W   Y O R K ,   N Y   1 0 0 1 3 ,   U N I T E D   S T A T E S 	 	 	 9 7 8 - 3 - 6 4 2 - 1 3 2 9 8 - 8 	 	 	 	 2 0 1 0 	 	 	 	 	 	 	 8 7 	 1 0 0 	 	 1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 3 2 9 9 - 5 _ 6 	 1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 3 2 9 9 - 5 	 1 4 	 B u s i n e s s 	 B u s i n e s s   &   E c o n o m i c s 	 B Q J 3 8 	 W O S : 0 0 0 2 8 1 1 6 4 1 0 0 0 0 6 	 	 
 S 	 M e m m e l ,   M ;   W o l p e r s ,   M ;   C o n d o t t a ,   M ;   N i e m a n n ,   K ;   S c h i r r u ,   R 	 	 W o l p e r s ,   M ;   K i r s c h n e r ,   P A ;   S c h e f f e l ,   M ;   L i n d s t a e d t ,   S ;   D i m i t r o v a ,   V 	 	 M e m m e l ,   M a r t i n ;   W o l p e r s ,   M a r t i n ;   C o n d o t t a ,   M a s s i m i l i a n o ;   N i e m a n n ,   K a t j a ;   S c h i r r u ,   R a f a e l 	 	 	 I n t r o d u c i n g   a   S o c i a l   B a c k b o n e   t o   S u p p o r t   A c c e s s   t o   D i g i t a l   R e s o u r c e s 	 S U S T A I N I N G   T E L :   F R O M   I N N O V A T I O N   T O   L E A R N I N G   A N D   P R A C T I C E 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 5 t h   E u r o p e a n   C o n f e r e n c e   o n   T e c h n o l o g y   E n h a n c e d   L e a r n i n g 	 S E P   2 8 - O C T   0 1 ,   2 0 1 0 	 B a r c e l o n a ,   S P A I N 	 	 	 	 M E T A D A T A 	 S o c i a l   m e d i a   t e c h n o l o g i e s   o f f e r   p o t e n t i a l   b e n e f i t s   f o r   a   v a r i e t y   o f   s c e n a r i o s   t o   s u p p o r t   a c c e s s   t o   d i g i t a l   r e s o u r c e s .   T h e   i n v o l v e m e n t   o f   u s e r s   t h a t   d o   n o t   o n l y   c o n s u m e ,   b u t   a l s o   p a r t i c i p a t e   a n d   c o n t r i b u t e   i n f o r m a t i o n ,   a l l o w s   f o r   p r o m i s i n g   a p p r o a c h e s   s u c h   a s   s o c i a l   b r o w s i n g   a n d   c r o w d s o u r c i n g .   Y e t ,   a   l o t   o f   r e s o u r c e s   a n d   m e t a d a t a   a r e   c o n t a i n e d   i n   d i s t r i b u t e d   a n d   h e t e r o g e n e o u s   r e p o s i t o r i e s   t h a t   f o l l o w   a   t r a d i t i o n a l   t o p - d o w n   a p p r o a c h   i n   w h i c h   o n l y   e x p e r t s   c a n   c o n t r i b u t e   i n f o r m a t i o n .   A   s o c i a l   h u b   t h a t   c a n   a g g r e g a t e   s u c h   i n f o r m a t i o n ,   w h i l e   a t   t h e   s a m e   t i m e   o f f e r i n g   s o c i a l   m e d i a   t e c h n o l o g i e s ,   e n a b l e s   n e w   w a y s   t o   s e a r c h   a n d   b r o w s e   t h e s e   c o n t e n t s ,   a n d   t o   m a i n t a i n   u n d e r l y i n g   s t r u c t u r e s .   W e   w i l l   p r e s e n t   h o w   t h e   A L O E   s y s t e m   t h a t   r e a l i s e s   s u c h   a   s o c i a l   b a c k b o n e   w a s   i n t e g r a t e d   i n t o   t h e   M A C E   p o r t a l .   F i r s t   e v a l u a t i o n   r e s u l t s   p r o v i d e   e v i d e n c e   a b o u t   t h e   u s e f u l n e s s   o f   t h e   p r e s e n t e d   a p p r o a c h . 	 [ M e m m e l ,   M a r t i n ;   S c h i r r u ,   R a f a e l ]   D F K I   G m b H ,   K n o w l e d g e   M a n a g e m e n t   D e p t ,   D - 6 7 6 6 3   K a i s e r s l a u t e r n ,   G e r m a n y 	 M e m m e l ,   M   ( r e p r i n t   a u t h o r ) ,   D F K I   G m b H ,   K n o w l e d g e   M a n a g e m e n t   D e p t ,   T r i p p s t a d t e r   S t r   1 2 2 ,   D - 6 7 6 6 3   K a i s e r s l a u t e r n ,   G e r m a n y . 	 m a r t i n . m e m m e l @ d f k i . d e ;   m a r t i n . w o l p e r s @ f i t . f r a u n h o f e r . d e ;   m a s s i m i l i a n o . c o n d o t t a @ i v a v . i t ;   k a t j a . n i e m a n n @ f i t . f r a u n h o f e r . d e ;   r a f a e l . s c h i r r u @ d f k i . d e ;   m a r t i n . w o l p e r s @ f i t . f r a u n h o f e r . d e 	 	 	 	 	 S P I G A I   V ,   2 0 0 8 ,   P   J O I N T   C I B   C   P E R F   K ,   P 2 7 3 ;   S t e f a n e r   M . ,   2 0 0 9 ,   M A C E   J O I N T   D E L I V E R A B ;   W o l p e r s   M a r t i n ,   2 0 1 0 ,   I n t e r n a t i o n a l   J o u r n a l   o f   T e c h n o l o g y   E n h a n c e d   L e a r n i n g ,   V 2 ,   D O I   1 0 . 1 5 0 4 / I J T E L . 2 0 1 0 . 0 3 1 2 6 4 ;   W o l p e r s   M ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 7 9 4 ,   P 1 1 2 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 4 6 3 6 - 0 _ 1 3 ;   W o l p e r s   M ,   2 0 0 7 ,   E D U C   T E C H N O L   S O C ,   V 1 0 ,   P 1 0 6 	 5 	 1 	 1 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 1 6 0 1 9 - 6 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 0 	 6 3 8 3 	 	 	 	 	 	 5 6 0 	 5 6 5 	 	 	 	 6 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B U H 5 7 	 W O S : 0 0 0 2 8 9 3 2 3 3 0 0 0 5 4 	 	 
 S 	 V u k o v i c ,   M ;   L a r e d o ,   J ;   R a j a g o p a l ,   S 	 	 B e n a t a l l a h ,   B ;   C a s a t i ,   F ;   K a p p e l ,   G ;   R o s s i ,   G 	 	 V u k o v i c ,   M a j a ;   L a r e d o ,   J i m ;   R a j a g o p a l ,   S r i r a m 	 	 	 C h a l l e n g e s   a n d   E x p e r i e n c e s   i n   D e p l o y i n g   E n t e r p r i s e   C r o w d s o u r c i n g   S e r v i c e 	 W E B   E N G I N E E R I N G 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 0 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   W e b   E n g i n e e r i n g 	 J U L   0 5 - 0 9 ,   2 0 1 0 	 V i e n n a ,   A U S T R I A 	 V i e n n a   U n i v   T e c h n o l ,   B u s i n e s s   I n f o r m a t   G r p ,   A u s t r i a n   C o m p   S o c ,   A u s t r i a n   F e d   M i n i s t   S c i   &   R e s ,   A u s t r i a n   F e d   M i n i s t   T r a n s p o r t ,   I n n o v a t   &   T e c h n o l ,   V i e n n a   C o n v e n t   B u r ,   S I E M E N S   A G ,   G o o g l e ,   A u s t r i a n   A i r l i n e s 	 	 E n t e r p r i s e   c r o w d s o u r c i n g ;   G o v e r n a n c e ;   C r o w d s o u r c i n g   P r o c e s s 	 	 T h e   v a l u e   o f   c r o w d s o u r c i n g ,   a r i s i n g   f r o m   a n   i n s t a n t   a c c e s s   t o   a   s c a l a b l e   e x p e r t   n e t w o r k   o n - l i n e ,   h a s   b e e n   d e m o n s t r a t e d   b y   m a n y   s u c c e s s   s t o r i e s ,   s u c h   a s   G o l d C o r p ,   N e t f l i x ,   a n d   T o p   C o d e r .   F o r   e n t e r p r i s e s ,   c r o w d s o u r c i n g   p r o m i s e s   s i g n i f i c a n t   c o s t - s a v i n g s ,   q u i c k e r   t a s k   c o m p l e t i o n   t i m e s ,   a n d   f o r m a t i o n   o f   e x p e r t   c o m m u n i t i e s   ( b o t h   w i t h i n   a n d   o u t s i d e   t h e   e n t e r p r i s e ) .   M a n y   a s p e c t s   o f   t h e   v i s i o n   o f   e n t e r p r i s e   c r o w d s o u r c i n g   a r e   u n d e r   v i g o r o u s   r e f i n e m e n t .   T h e   r e a s o n s   f o r   t h i s   l a c k   o f   p r o g r e s s ,   b e y o n d   t h e   i s o l a t e d   a n d   p u r p o s e - s p e c i f i c   c r o w d s o u r c i n g   e f f o r t s ,   a r e   m a n i f o l d .   I n   t h i s   p a p e r ,   w e   p r e s e n t   o u r   e x p e r i e n c e   i n   d e p l o y i n g   a n   e n t e r p r i s e   c r o w d s o u r c i n g   s e r v i c e   i n   t h e   I T   I n v e n t o r y   M a n a g e m e n t   d o m a i n .   W e   f o c u s   o n   t h e   t e c h n i c a l   a n d   s o c i o l o g i c a l   c h a l l e n g e s   o f   c r e a t i n g   e n t e r p r i s e   c r o w d s o u r c i n g   s e r v i c e   t h a t   a r e   g e n e r a l - p u r p o s e ,   a n d   t h a t   e x t e n d   b e y o n d   m e r e   s p e c i f i c - p u r p o s e ,   r u n - o n c e   p r o t o t y p e s .   S u c h   s y s t e m s   a r e   d e p l o y e d   t o   t h e   e x t e n t   t h a t   t h e y   b e c o m e   a n   i n t e g r a t e d   p a r t   o f   b u s i n e s s   p r o c e s s e s .   O n l y   w h e n   s u c h   d e g r e e   o f   i n t e g r a t i o n   i s   a c h i e v e d ,   t h e   e n t e p r i s e s   c a n   f u l l y   a d o p t   c r o w d s o u r c i n g   a n d   r e a p   i t s   b e n e f i t s .   W e   d i s c u s s   t h e   c h a l l e n g e s   i n   c r e a t i n g   a n d   d e p l o y i n g   t h e   e n t e r p r i s e   c r o w d s o u r c i n g   p l a t f o r m ,   a n d   a r t i c u l a t e   c u r r e n t   t e c h n i c a l ,   g o v e r n a n c e   a n d   s o c i o l o g i c a l   i s s u e s   t o w a r d s   d e f i n i n g   a   r e s e a r c h   a g e n d a . 	 [ V u k o v i c ,   M a j a ;   L a r e d o ,   J i m ]   I B M   T J   W a t s o n   R e s   C t r ,   H a w t h o r n e ,   N Y   1 0 5 3 2   U S A 	 V u k o v i c ,   M   ( r e p r i n t   a u t h o r ) ,   I B M   T J   W a t s o n   R e s   C t r ,   1 9   S k y l i n e   D r ,   H a w t h o r n e ,   N Y   1 0 5 3 2   U S A . 	 m a j a @ u s . i b m . c o m ;   l a r e d o j @ u s . i b m . c o m ;   s r i r r a j a @ i n . i b m . c o m 	 C a s a t i ,   F a b i o / I - 7 9 5 2 - 2 0 1 3 	 	 	 	 A r g u e l l o   J . ,   2 0 0 6 ,   C o n f e r e n c e   o n   H u m a n   F a c t o r s   i n   C o m p u t i n g   S y s t e m s .   C H I 2 0 0 6 ;   B O B R O W   D G ,   2 0 0 2 ,   J   S O C   O R G   L E A R N I N G   M ,   V 4 ;   B r a b h a m   D .   C . ,   2 0 0 8 ,   I N T   J   R E S   N E W   M E D I A ,   V 1 4 ,   P 7 5 ,   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B R Y A N T   S L ,   2 0 0 5 ,   P   G R O U P   0 5   S A N   I S L   F ;   C H R I S T O P H E R   A B ,   2 0 0 0 ,   T R A N S N A T I O N A L   M A N A G E ;   C O S L E Y   D ,   2 0 0 7 ,   P   1 2   A C M   I N T   C   I N T   U ;   D O N   T ,   2 0 0 6 ,   P O R T F O L I O   H A R D C O   D E C ;   K i t t u r   A . ,   2 0 0 8 ,   C H I   0 8 ;   K R A U T   B ,   2 0 0 7 ,   D E A L I N G   N E W C O M E R S ;   O L L E R O S   F X ,   2 0 0 8 ,   P   2 0 0 8   I N T   M C E T E C H   C ;   V U K O V I C   M ,   2 0 0 9 ,   7   I C S O C   1   I N T   W O R K S H 	 1 1 	 2 	 2 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 1 3 9 1 0 - 9 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 0 	 6 1 8 9 	 	 	 	 	 	 4 6 0 	 4 6 7 	 	 	 	 8 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B T B 9 2 	 W O S : 0 0 0 2 8 6 4 0 8 9 0 0 0 3 1 	 	 
 S 	 A r e l l a n o ,   C ;   D i a z ,   O ;   I t u r r i o z ,   J 	 	 C h e n ,   L ;   T r i a n t a f i l l o u ,   P ;   S u e l ,   T 	 	 A r e l l a n o ,   C r i s t o b a l ;   D i a z ,   O s c a r ;   I t u r r i o z ,   J o n 	 	 	 C r o w d s o u r c e d   W e b   A u g m e n t a t i o n :   A   S e c u r i t y   M o d e l 	 W E B   I N F O R M A T I O N   S Y S T E M   E N G I N E E R I N G - W I S E   2 0 1 0 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 1 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   W e b   I n f o r m a t i o n   S y s t e m s   E n g i n e e r i n g 	 D E C   1 2 - 1 4 ,   2 0 1 0 	 H o n g   K o n g ,   P E O P L E S   R   C H I N A 	 C r o u c h e r   F d n ,   K C   W o n g   E d u c   F d n 	 	 A u g m e n t a t i o n ;   S a n d b o x ;   J a v a S c r i p t ;   C r o w d s o u r c i n g ;   W e b 2 . 0 	 	 W e b   a u g m e n t a t i o n   a l t e r s   t h e   r e n d e r i n g   o f   e x i s t i n g   W e b   a p p l i c a t i o n s   a t   t h e   b a c k   o f   t h e s e   a p p l i c a t i o n s .   C h a n g i n g   t h e   l a y o u t ,   a d d i n g / r e m o v i n g   c o n t e n t   o r   p r o v i d i n g   a d d i t i o n a l   h y p e r l i n k s / w i d g e r s   a r e   e x a m p l e s   o f   W e b   a u g m e n t a t i o n   t h a t   a c c o u n t   f o r   a   m o r e   p e r s o n a l i z e d   u s e r   e x p e r i e n c e .   C r o w d s o u r c e d   W e b   a u g m e n t a t i o n   c o n s i d e r s   e n d   u s e r s   n o t   o n l y   t h e   b e n e f i c i a r i e s   b u t   a l s o   t h e   c o n t r i b u t o r s   o f   a u g m e n t a t i o n   s c r i p t s .   T h e   f u n d a m e n t a l   p r o b l e m   w i t h   s o   a u g m e n t e d   W e b   a p p l i c a t i o n s   i s   t h a t   c o d e   f r o m   n u m e r o u s   a n d   p o s s i b l y   u n t r u s t e d   u s e r s   a r e   p l a c e d   i n t o   t h e   s a m e   s e c u r i t y   d o m a i n ,   h e n c e ,   r a i s i n g   s e c u r i t y   a n d   i n t e g r i t y   c o n c e r n s .   C u r r e n t   s o l u t i o n s   e i t h e r   c o e x i s t   w i t h   t h e   d a n g e r   ( e . g .   G r e a s e m o n k e y ,   w h e r e   s c r i p t s   w o r k   o n   t h e   s a m e   s e c u r i t y   d o m a i n   t h a t   t h e   h o s t i n g   a p p l i c a t i o n )   o r   l i m i t   a u g m e n t a t i o n   p o s s i b i l i t i e s   ( e . g .   v i r t u a l   i f r a m e s   i n   G o o g l e ' s   C a j a ,   w h e r e   t h e   w i d g e t   i s   p r e v e n t e d   f r o m   a c c e s s i n g   t h e   a p p l i c a t i o n   s p a c e ) .   T h i s   w o r k   i n t r o d u c e s   M o d d i n g   I n t e r f a c e s :   a p p l i c a t i o n - s p e c i f i c   i n t e r f a c e s   t h a t   r e g u l a t e   i n f l o w   a n d   o u t f l o w   c o m m u n i c a t i o n   b e t w e e n   t h e   h o s t i n g   c o d e   a n d   t h e   u s e r   c o d e .   T h e   p a p e r   s h o w s   h o w   t h e   c o m b i n e d   u s e   o f   s a n d b o x e d   i f r a m e s   a n d   " m o d d i n g - i n t e r f a c e "   H T M L 5   c h a n n e l s   e n s u r e s   a p p l i c a t i o n   i n t e g r i t y   w h i l e   p e r m i t t i n g   c o n t r o l l e d   a u g m e n t a t i o n   o n   t h e   h o s t i n g   a p p l i c a t i o n . 	 [ A r e l l a n o ,   C r i s t o b a l ;   D i a z ,   O s c a r ;   I t u r r i o z ,   J o n ]   U n i v   B a s q u e   C o u n t r y ,   O N E K I N   R e s   G r p ,   S a n   S e b a s t i a n ,   S p a i n 	 A r e l l a n o ,   C   ( r e p r i n t   a u t h o r ) ,   U n i v   B a s q u e   C o u n t r y ,   O N E K I N   R e s   G r p ,   S a n   S e b a s t i a n ,   S p a i n . 	 c r i s t o b a l . a r e l l a n o @ e h u . e s ;   o s c a r . d i a z @ e h u . e s ;   j o n . i t u r r i o z @ e h u . e s 	 D i a z ,   O s c a r / D - 2 8 2 2 - 2 0 1 1 	 	 	 	 B O U V I N   N O ,   1 9 9 9 ,   P   1 0   A C M   C   H Y P   H Y P   H ;   D I A Z   O ,   2 0 0 8 ,   1 7   I N T   C   W O R L D   W I D   W ;   * D O J ,   S E C   M A S H   D O J   S E C ;   * G O O G L   I N C ,   G O O G L   C A J   S O U R C   T O   S ;   H O F F M A N   B ,   2 0 0 7 ,   A J A X   S E C U R I T Y ,   P 2 9 5 ;   * J C P ,   J S R   1 6 8   P O R T L E T   S P E C ;   M A V E R   J ,   2 0 0 9 ,   E S S E N T I A L   F A C E B O O K   D ;   * M I C R   C O R P ,   M I C R   W E B   S A N D B   Q O S   L ;   * M I C R   C O R P ,   M I C R   W E B   S A N D B ;   M O L L E R   K ,   2 0 0 7 ,   S E M A N T I C   W E B   C   O N T O L ;   S c a c c h i   W . ,   2 0 1 0 ,   1   M O N D A Y ,   V 1 5 ;   S m i t h   M . K . ,   2 0 0 4 ,   O W L   W E B   O N T O L O G Y   L A N ;   V o a s   J ,   1 9 9 9 ,   I E E E   S O F T W A R E ,   V 1 6 ,   P 2 2 ,   D O I   1 0 . 1 1 0 9 / M S . 1 9 9 9 . 7 7 6 9 4 4 ;   * W 3 C D O M W G ,   W 3 C   D O M   L E V   2 ;   Y u   J ,   2 0 0 8 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 2 ,   P 4 4 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 0 8 . 1 1 4 	 1 5 	 1 	 1 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 1 7 6 1 5 - 9 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 0 	 6 4 8 8 	 	 	 	 	 	 2 9 4 	 3 0 7 	 	 	 	 1 4 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B T C 7 1 	 W O S : 0 0 0 2 8 6 4 8 4 4 0 0 0 2 7 	 	 
 J 	 R o m a n ,   D 	 	 	 	 R o m a n ,   D a v i d 	 	 	 C r o w d s o u r c i n g   a n d   t h e   Q u e s t i o n   o f   E x p e r t i s e 	 C O M M U N I C A T I O N S   O F   T H E   A C M 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 0 	 0 	 0 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 2   P E N N   P L A Z A ,   S T E   7 0 1 ,   N E W   Y O R K ,   N Y   1 0 1 2 1 - 0 7 0 1   U S A 	 0 0 0 1 - 0 7 8 2 	 	 	 C O M M U N   A C M 	 C o m m u n .   A C M 	 D E C 	 2 0 0 9 	 5 2 	 1 2 	 	 	 	 	 1 2 	 1 2 	 	 	 	 1 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 5 3 0 W I 	 W O S : 0 0 0 2 7 2 6 2 2 6 0 0 0 0 9 	 	 
 J 	 H u b e r m a n ,   B A ;   R o m e r o ,   D M ;   W u ,   F 	 	 	 	 H u b e r m a n ,   B e r n a r d o   A . ;   R o m e r o ,   D a n i e l   M . ;   W u ,   F a n g 	 	 	 C r o w d s o u r c i n g ,   a t t e n t i o n   a n d   p r o d u c t i v i t y 	 J O U R N A L   O F   I N F O R M A T I O N   S C I E N C E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c r o w d s o u r c i n g ;   s o c i a l   a t t e n t i o n 	 	 W e   s h o w   t h r o u g h   a n   a n a l y s i s   o f   a   m a s s i v e   d a t a   s e t   f r o m   Y o u T u b e   t h a t   t h e   p r o d u c t i v i t y   e x h i b i t e d   i n   c r o w d - s o u r c i n g   e x h i b i t s   a   s t r o n g   p o s i t i v e   d e p e n d e n c e   o n   a t t e n t i o n ,   m e a s u r e d   b y   t h e   n u m b e r   o f   d o w n l o a d s .   C o n v e r s e l y ,   a   l a c k   o f   a t t e n t i o n   l e a d s   t o   a   d e c r e a s e   i n   t h e   n u m b e r   o f   v i d e o s   u p l o a d e d   a n d   t h e   c o n s e q u e n t   d r o p   i n   p r o d u c t i v i t y ,   w h i c h   i n   m a n y   c a s e s   a s y m p t o t e s   t o   n o   u p l o a d s   w h a t s o e v e r .   M o r e o v e r ,   s h o r t - t e r m   c o n t r i b u t o r s   c o m p a r e   t h e i r   p e r f o r m a n c e   t o   t h e   a v e r a g e   c o n t r i b u t o r ' s   p e r f o r m a n c e   w h i l e   l o n g - t e r m   c o n t r i b u t o r s   c o m p a r e   i t   t o   t h e i r   o w n   m e d i a . 	 [ H u b e r m a n ,   B e r n a r d o   A . ;   W u ,   F a n g ]   H P   L a b s ,   S o c i a l   C o m p   L a b ,   P a l o   A l t o ,   C A   U S A ;   [ R o m e r o ,   D a n i e l   M . ]   C o r n e l l   U n i v ,   C t r   A p p l   M a t h ,   I t h a c a ,   N Y   1 4 8 5 3   U S A 	 H u b e r m a n ,   B A   ( r e p r i n t   a u t h o r ) ,   1 5 0 1   P a g e   M i l l   R d ,   P a l o   A l t o ,   C A   9 4 3 0 4   U S A . 	 b e r n a r d o . h u b e r m a n @ h p . c o m 	 	 	 	 	 A d a r   E . ,   2 0 0 0 ,   1   M O N D A Y ,   V 5 ;   A n d e r s s o n   I ,   2 0 0 7 ,   B R E A S T   C A R E ,   V 2 ,   P 4 ,   D O I   1 0 . 1 1 5 9 / 0 0 0 0 9 9 3 6 6 ;   A s v a n u n d   A ,   2 0 0 4 ,   I N F O R M   S Y S T   R E S ,   V 1 5 ,   P 1 5 5 ,   D O I   1 0 . 1 2 8 7 / i s r e . 1 0 4 0 . 0 0 2 0 ;   F r a n c k   G ,   1 9 9 9 ,   S C I E N C E ,   V 2 8 6 ,   P 5 3 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 2 8 6 . 5 4 3 7 . 5 3 ;   G L A N C E   N S ,   1 9 9 4 ,   S C I   A M ,   V 2 7 0 ,   P 7 6 ;   G r a n g e r   C .   W .   J . ,   1 9 6 9 ,   E C O N O M E T R I C A ,   V 3 7 ,   P 4 2 4 ,   D O I   D O I   1 0 . 2 3 0 7 / 1 9 1 2 7 9 1 ;   H A R D I N   G ,   1 9 6 8 ,   S C I E N C E ,   V 1 6 2 ,   P 1 2 4 3 ;   H u b e r m a n   B A ,   2 0 0 4 ,   S O C   P S Y C H O L   Q U A R T ,   V 6 7 ,   P 1 0 3 ;   H u g h e s   D . ,   2 0 0 5 ,   I E E E   D I S T R I B U T E D   S Y S ,   V 6 ;   L a m p e l   J . ,   2 0 0 7 ,   J   C O M P U T E R   M E D I A T E D ,   V 1 2 ,   P 4 3 5 ;   L E V I N E   S S ,   2 0 0 4 ,   A N N   M   A M   S O C   A S S ;   M o c k u s   A ,   2 0 0 2 ,   A C M   T   S O F T W   E N G   M E T H ,   V 1 1 ,   P 3 0 9 ,   D O I   1 0 . 1 1 4 5 / 5 6 7 7 9 3 . 5 6 7 7 9 5 ;   R A Y M O N D   E S ,   1 9 9 9 ,   H O M E S T E A D I N G   N O O S P H E ;   S T R E E T   J O ,   1 9 8 8 ,   A M   S T A T ,   V 4 2 ,   P 1 5 2 ,   D O I   1 0 . 2 3 0 7 / 2 6 8 4 4 9 1 ;   S Z A B O   G ,   2 0 0 9 ,   C O M M U N I C A T I   I N   P R E S S ;   W i l k i n s o n   D .   M . ,   2 0 0 8 ,   P   9   A C M   C   E L   C O M M ,   P 3 0 2 ,   D O I   1 0 . 1 1 4 5 / 1 3 8 6 7 9 0 . 1 3 8 6 8 3 7 	 1 6 	 3 3 	 3 3 	 S A G E   P U B L I C A T I O N S   L T D 	 L O N D O N 	 1   O L I V E R S   Y A R D ,   5 5   C I T Y   R O A D ,   L O N D O N   E C 1 Y   1 S P ,   E N G L A N D 	 0 1 6 5 - 5 5 1 5 	 	 	 J   I N F   S C I 	 J .   I n f .   S c i . 	 D E C 	 2 0 0 9 	 3 5 	 6 	 	 	 	 	 7 5 8 	 7 6 5 	 	 1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 0 9 3 4 6 7 8 6 	 	 8 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 C o m p u t e r   S c i e n c e ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 5 2 3 L K 	 W O S : 0 0 0 2 7 2 0 7 4 6 0 0 0 0 8 	 	 
 J 	 B o n a b e a u ,   E 	 	 	 	 B o n a b e a u ,   E r i c 	 	 	 D e c i s i o n s   2 . 0 :   T h e   P o w e r   o f   C o l l e c t i v e   I n t e l l i g e n c e 	 M I T   S L O A N   M A N A G E M E N T   R E V I E W 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 B U S I N E S S 	 C o m p a n i e s   h a v e   l o n g   u s e d   t e a m s   t o   s o l v e   p r o b l e m s :   f o c u s   g r o u p s   t o   e x p l o r e   c u s t o m e r   n e e d s ,   c o n s u m e r   s u r v e y s   t o   u n d e r s t a n d   t h e   m a r k e t   a n d   a n n u a l   m e e t i n g s   t o   l i s t e n   t o   s h a r e h o l d e r s .   B u t   t h e   w o r d s   " s o l v e , "   " e x p l o r e , "   " u n d e r s t a n d "   a n d   " l i s t e n "   h a v e   n o w   t a k e n   o n   a   w h o l e   n e w   m e a n i n g .   T h a n k s   t o   r e c e n t   t e c h n o l o g i e s ,   i n c l u d i n g   m a n y   W e b   2 . 0   a p p l i c a t i o n s ,   c o m p a n i e s   c a n   n o w   t a p   i n t o   " t h e   c o l l e c t i v e "   o n   a   g r e a t e r   s c a l e   t h a n   e v e r   b e f o r e .   I n d e e d ,   t h e   i n c r e a s i n g   u s e   o f   i n f o r m a t i o n   m a r k e t s ,   w i k i s ,   c r o w d s o u r c i n g ,   " t h e   w i s d o m   o f   c r o w d s "   c o n c e p t s ,   s o c i a l   n e t w o r k s ,   c o l l a b o r a t i v e   s o f t w a r e   a n d   o t h e r   W e b - b a s e d   t o o l s   c o n s t i t u t e s   a   p a r a d i g m   s h i f t   i n   t h e   w a y   t h a t   m a n y   c o m p a n i e s   m a k e   d e c i s i o n s .   C a l l   i t   t h e   e m e r g i n g   e r a   o f   " D e c i s i o n s   2 . 0 . "   B u t   t h e   p r o l i f e r a t i o n   o f   s u c h   t e c h n o l o g i e s   n e c e s s i t a t e s   a   f r a m e w o r k   f o r   u n d e r s t a n d i n g   w h a t   t y p e   o f   c o l l e c t i v e   i n t e l l i g e n c e   i s   p o s s i b l e   ( o r   n o t ) ,   d e s i r a b l e   ( o r   n o t )   a n d   a f f o r d a b l e   ( o r   n o t )   -   a n d   u n d e r   w h a t   c o n d i t i o n s .   A t   a   m i n i m u m ,   m a n a g e r s   n e e d   t o   c o n s i d e r   t h e   f o l l o w i n g   k e y   i s s u e s :   l o s s   o f   c o n t r o l ,   d i v e r s i t y   v e r s u s   e x p e r t i s e ,   e n g a g e m e n t ,   p o l i c i n g ,   i n t e l l e c t u a l   p r o p e r t y   a n d   m e c h a n i s m   d e s i g n .   B y   u n d e r s t a n d i n g   s u c h   i m p o r t a n t   i s s u e s ,   c o m p a n i e s   l i k e   A f f i n n o v a ,   G o o g l e ,   I n n o C e n t i v e ,   M a r k e t o c r a c y   a n d   T h r e a d l e s s   h a v e   s u c c e s s f u l l y   i m p l e m e n t e d   D e c i s i o n s   2 . 0   a p p l i c a t i o n s   f o r   a   v a r i e t y   o f   p u r p o s e s ,   i n c l u d i n g   r e s e a r c h   a n d   d e v e l o p m e n t ,   m a r k e t   r e s e a r c h ,   c u s t o m e r   s e r v i c e   a n d   k n o w l e d g e   m a n a g e m e n t .   T h e   b o t t o m   l i n e   i s   t h i s :   F o r   m a n y   p r o b l e m s   t h a t   a   c o m p a n y   f a c e s ,   t h e r e   c o u l d   w e l l   b e   a   s o l u t i o n   o u t   t h e r e   s o m e w h e r e ,   f a r   o u t s i d e   o f   t h e   t r a d i t i o n a l   p l a c e s   t h a t   m a n a g e r s   m i g h t   s e a r c h ,   w i t h i n   o r   o u t s i d e   t h e   o r g a n i z a t i o n .   T h e   t r i c k ,   t h o u g h ,   i s   t o   d e v e l o p   t h e   r i g h t   t o o l   f o r   l o c a t i n g   t h a t   s o u r c e   a n d   t h e n   t a p   i n t o   i t . 	 I c o s y s t   C o r p ,   C a m b r i d g e ,   M A   U S A 	 B o n a b e a u ,   E   ( r e p r i n t   a u t h o r ) ,   I c o s y s t   C o r p ,   C a m b r i d g e ,   M A   U S A . 	 	 	 	 	 	 B O L L I E R   D ,   2 0 0 7 ,   1 6   A S P   I   R O U N D T   I N F ;   B o n a b e a u   E ,   2 0 0 1 ,   H A R V A R D   B U S   R E V ,   V 7 9 ,   P 1 0 6 ;   C o o k   S ,   2 0 0 8 ,   H A R V A R D   B U S   R E V ,   V 8 6 ,   P 6 0 ;   D o n   T a p s c o t t ,   2 0 0 8 ,   W I K I N O M I C S   M A S S   C O L L ;   D Y E   R ,   2 0 0 8 ,   M C K I N S E Y   Q ,   P 8 3 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   L a k h a n i   K .   R . ,   2 0 0 7 ,   I N N O V A T I O N S   T E C H N O L O ,   V 2 ,   P 9 7 ,   D O I   1 0 . 1 1 6 2 / i t g g . 2 0 0 7 . 2 . 3 . 9 7 ;   L i   C h a r l e n e ,   2 0 0 8 ,   G R O U N D S W E L L   W I N N I N G ;   L i b e r t   B . ,   2 0 0 7 ,   W E   A R E   S M A R T E R   M E   U N ;   M a l o n e   T .   W . ,   2 0 0 4 ,   F U T U R E   W O R K   N E W   O R D E ;   M c a f e e   A P ,   2 0 0 6 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 7 ,   P 2 1 ;   M y e r s   D G ,   2 0 0 4 ,   I N T U I T I O N   I T S   P O W E R S ;   O L E A R Y   D E ,   2 0 0 8 ,   C O M P U T E R                   F E B ,   P 3 4 ;   P a g e   S E ,   2 0 0 7 ,   D I F F E R E N C E :   H O W   T H E   P O W E R   O F   D I V E R S I T Y   C R E A T E S   B E T T E R   G R O U P S ,   F I R M S ,   S C H O O L S ,   A N D   S O C I E T I E S ,   P 1 ;   S H I R K Y   C L A Y ,   2 0 0 8 ,   H E R E   C O M E S   E V E R Y B O D Y ;   S h u e n   A . ,   2 0 0 8 ,   W E B   2   0   S T R A T E G Y   G U I ;   S t e p h e n s o n   D . ,   2 0 0 7 ,   H O M E L A N D   S E C U R I T Y   A F ,   V 3 ,   P 1 ;   S u n s t e i n   C .   R . ,   2 0 0 6 ,   I N F O T O P I A   M A N Y   M I N D S ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   v o n   H i p p e l   E r i c ,   2 0 0 5 ,   D E M O C R A T I Z I N G   I N N O V A ;   W Y L I E   I ,   2 0 0 2 ,   W H O   R U N S   T H I S   T E A M   A 	 2 1 	 3 7 	 3 7 	 S L O A N   M A N A G E M E N T   R E V I E W   A S S O C ,   M I T   S L O A N   S C H O O L   M A N A G E M E N T 	 C A M B R I D G E 	 7 7   M A S S A C H U S E T T S   A V E ,   E 6 0 - 1 0 0 ,   C A M B R I D G E ,   M A   0 2 1 3 9 - 4 3 0 7   U S A 	 1 5 3 2 - 9 1 9 4 	 	 	 M I T   S L O A N   M A N A G E   R E V 	 M I T   S l o a n   M a n a g e .   R e v . 	 W I N 	 2 0 0 9 	 5 0 	 2 	 	 	 	 	 4 5 	 + 	 	 	 	 9 	 B u s i n e s s ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 3 9 6 O H 	 W O S : 0 0 0 2 6 2 6 0 0 5 0 0 0 1 7 	 	 
 J 	 H u d s o n - S m i t h ,   A ;   B a t t y ,   M ;   C r o o k s ,   A ;   M i l t o n ,   R 	 	 	 	 H u d s o n - S m i t h ,   A n d r e w ;   B a t t y ,   M i c h a e l ;   C r o o k s ,   A n d r e w ;   M i l t o n ,   R i c h a r d 	 	 	 M a p p i n g   f o r   t h e   M a s s e s   A c c e s s i n g   W e b   2 . 0   T h r o u g h   C r o w d s o u r c i n g 	 S O C I A L   S C I E N C E   C O M P U T E R   R E V I E W 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 n e t w o r k   e c o n o m i e s ;   w e b - b a s e d   s e r v i c e s ;   m a p   m a s h u p s ;   c r o w d s o u r c i n g ;   c r o w d c a s t i n g ;   o n l i n e   G I S 	 	 T h e   a u t h o r s   d e s c r i b e   h o w   w e   a r e   h a r n e s s i n g   t h e   p o w e r   o f   w e b   2 . 0   t e c h n o l o g i e s   t o   c r e a t e   n e w   a p p r o a c h e s   t o   c o l l e c t i n g ,   m a p p i n g ,   a n d   s h a r i n g   g e o c o d e d   d a t a .   T h e   a u t h o r s   b e g i n   w i t h   G M a p C r e a t o r   t h a t   l e t s   u s e r s   f a s h i o n   n e w   m a p s   u s i n g   G o o g l e   M a p s   a s   a   b a s e .   T h e   a u t h o r s   t h e n   d e s c r i b e   M a p T u b e   t h a t   e n a b l e s   u s e r s   t o   a r c h i v e   m a p s   a n d   d e m o n s t r a t e   h o w   i t   c a n   b e   u s e d   i n   a   v a r i e t y   o f   c o n t e x t s   t o   s h a r e   m a p   i n f o r m a t i o n ,   t o   p u t   e x i s t i n g   m a p s   i n t o   a   f o r m   t h a t   c a n   b e   s h a r e d ,   a n d   t o   c r e a t e   n e w   m a p s   f r o m   t h e   b o t t o m - u p   u s i n g   a   c o m b i n a t i o n   o f   c r o w d c a s t i n g ,   c r o w d s o u r c i n g ,   a n d   t r a d i t i o n a l   b r o a d c a s t i n g .   T h e   a u t h o r s   c o n c l u d e   b y   a r g u i n g   t h a t   s u c h   t o o l s   a r e   h e l p i n g   t o   d e f i n e   a   n e o g e o g r a p h y   t h a t   i s   e s s e n t i a l l y   " m a p p i n g   f o r   t h e   m a s s e s , ' '   w h i l e   n o t i n g   t h a t   t h e r e   a r e   m a n y   i s s u e s   o f   q u a l i t y ,   a c c u r a c y ,   c o p y r i g h t ,   a n d   t r u s t   t h a t   w i l l   i n f l u e n c e   t h e   i m p a c t   o f   t h e s e   t o o l s   o n   m a p - b a s e d   c o m m u n i c a t i o n . 	 [ H u d s o n - S m i t h ,   A n d r e w ]   U C L ,   C t r   A d v   S p a t i a l   A n a l ,   N a t l   C t r   E   S o c i a l   S c i ,   L o n d o n ,   E n g l a n d 	 H u d s o n - S m i t h ,   A   ( r e p r i n t   a u t h o r ) ,   U C L ,   C t r   A d v   S p a t i a l   A n a l ,   N a t l   C t r   E   S o c i a l   S c i ,   L o n d o n ,   E n g l a n d . 	 a s m i t h @ g e o g . u c l . a c . u k ;   m . b a t t y @ u c l . a c . u k ;   a n d r e w . c r o o k s @ u c l . a c . u k ;   r i c h a r d . m i l t o n @ u c l . a c . u k 	 B a t t y ,   M i c h a e l / I - 5 6 3 8 - 2 0 1 4 	 	 	 	 C a r v a l h o   R ,   2 0 0 6 ,   J   S T A T   M E C H - T H E O R Y   E ,   D O I   1 0 . 1 0 8 8 / 1 7 4 2 - 5 4 6 8 / 2 0 0 6 / 1 0 / P 1 0 0 1 2 ;   E I S N O R   D ,   2 0 0 6 ,   W H A T   I S   N E O G E O G R A P H Y ;   G i b i n   M . ,   2 0 0 8 ,   A P P L   S P A T   A N A L   P O L I C ,   V 1 ,   P 8 5 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 2 0 6 1 - 0 0 8 - 9 0 0 5 - 5 ;   G o o d c h i l d   M . F . ,   2 0 0 7 ,   G E O J O U R N A L ,   V 6 9 ,   P 2 1 1 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 7 - 9 1 1 1 - Y ;   H a k l a y   M u k i ,   2 0 0 8 ,   G E O G R A P H Y   C O M P A S S ,   V 2 ,   P 2 0 1 1 ,   D O I   D O I   1 0 . 1 1 1 1 / J . 1 7 4 9 - 8 1 9 8 . 2 0 0 8 . 0 0 1 6 7 . X ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   K e e n   A . ,   2 0 0 7 ,   C U L T   A M A T E U R ;   L O N G L E Y   P A ,   U R B A N   S T U D I   I N   P R E S S ;   S H I R K Y   C L A Y ,   2 0 0 8 ,   H E R E   C O M E S   E V E R Y B O D Y ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   T a p s c o t t   D . ,   2 0 0 6 ,   W I K I N O M I C S   M A S S   C O L L ;   T u r n e r   A . ,   2 0 0 6 ,   I N T R O   N E O G E O G R A P H Y 	 1 2 	 1 6 	 1 6 	 S A G E   P U B L I C A T I O N S   I N C 	 T H O U S A N D   O A K S 	 2 4 5 5   T E L L E R   R D ,   T H O U S A N D   O A K S ,   C A   9 1 3 2 0   U S A 	 0 8 9 4 - 4 3 9 3 	 	 	 S O C   S C I   C O M P U T   R E V 	 S o c .   S c i .   C o m p u t .   R e v . 	 N O V 	 2 0 0 9 	 2 7 	 4 	 	 	 	 	 5 2 4 	 5 3 8 	 	 1 0 . 1 1 7 7 / 0 8 9 4 4 3 9 3 0 9 3 3 2 2 9 9 	 	 1 5 	 C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e ;   S o c i a l   S c i e n c e s ,   I n t e r d i s c i p l i n a r y 	 C o m p u t e r   S c i e n c e ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e ;   S o c i a l   S c i e n c e s   -   O t h e r   T o p i c s 	 5 0 9 A W 	 W O S : 0 0 0 2 7 0 9 8 4 3 0 0 0 0 6 	 	 
 J 	 J o u r e t ,   G 	 	 	 	 J o u r e t ,   G u i d o 	 	 	 I n s i d e   C i s c o ' s   S e a r c h   f o r   t h e   N e x t   B i g   I d e a 	 H A R V A R D   B U S I N E S S   R E V I E W 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 	 	 C i s c o   S y s t e m s   h a s   p l e n t y   o f   e x p e r i e n c e   d e v e l o p i n g   n e w   t e c h n o l o g y   i n t e r n a l l y ;   i t   h a s   a l s o   p r o v e d   a d e p t   a t   g r o w i n g   i t s   p r o d u c t   o f f e r i n g s   t h r o u g h   t a r g e t e d   a c q u i s i t i o n s   o f   t e c h   s t a r t - u p s .   N o t   t o o   l o n g   a g o ,   t h e   c o m p a n y   b e g a n   r u n n i n g   a n   i n t e r n a l   i n n o v a t i o n   c o m p e t i t i o n ,   o f f e r i n g   c a s h   r e w a r d s   f o r   t h e   b e s t   n e w   p r o d u c t   i d e a s .   A f t e r   a   f e w   y e a r s ,   t h o u g h ,   C i s c o   s o u g h t   t o   r e a c h   b e y o n d   i t s   w a l l s   t o   s e e   w h a t   s o r t s   o f   i d e a s   -   a n d   d i f f e r e n t   p e r s p e c t i v e s   -   t h e   w i d e r   w o r l d   h a d   t o   o f f e r .   I n   l a t e   2 0 0 7 ,   i t   a n n o u n c e d   t h e   I - P r i z e   c o m p e t i t i o n .   T h e   g o a l   w a s   t o   b u i l d   a   n e w   b i l l i o n - d o l l a r   C i s c o   b u s i n e s s   a r o u n d   t h e   w i n n i n g   i d e a   t o   e m e r g e   f r o m   a m o n g   m a n y   o u t s i d e   c o n t r i b u t i o n s .   T h e   c o n t e s t   c a l l e d   f o r   a n   i d e a   t h a t   w o u l d   a l i g n   w i t h   C i s c o ' s   s t r a t e g y   a n d   t a k e   a d v a n t a g e   o f   i t s   l e a d e r s h i p   p o s i t i o n   i n   i n t e r n e t   t e c h n o l o g y .   A   t o t a l   o f   m o r e   t h a n   2 , 5 0 0   p e o p l e   f r o m   1 0 4   c o u n t r i e s   r e g i s t e r e d   o n   t h e   I - P r i z e   w e b s i t e   a n d   s u b m i t t e d   m o r e   t h a n   1 , 2 0 0   i d e a s .   A f t e r   a   c h a l l e n g i n g ,   n e a r l y   y e a r l o n g   p r o c e s s   o f   w i n n o w i n g   a n d   e v a l u a t i o n ,   a n   i n - h o u s e   j u d g i n g   p a n e l   c h o s e   a n   i d e a   f o r   c r e a t i n g   a   " s m a r t "   e l e c t r i c i t y   g r i d   -   a   n a t u r a l   f i t   w i t h   C i s c o ' s   c o m p e t e n c i e s   a n d   l o n g - t e r m   s t r a t e g y .   I n   t h i s   a r t i c l e ,   I - P r i z e   i m p r e s a r i o   J o u r e t ,   c h i e f   t e c h n o l o g y   o f f i c e r   o f   C i s c o ' s   E m e r g i n g   T e c h n o l o g i e s   G r o u p ,   d e s c r i b e s   t h e   e x p e r i e n c e   o f   d e a l i n g   w i t h   t h e   u n e x p e c t e d   c o m p l e x i t i e s   -   a n d   l a b o r - i n t e n s i v e n e s s   -   o f   c r o w d s o u r c i n g :   " T h e   m i s c o n c e p t i o n   a b o u t   c r o w d s o u r c i n g   i s   t h a t   m e r e l y   b y   t u r n i n g   o n   a   w e l o s i t e   a n d   p u t t i n g   u p   a   r e w a r d ,   i n   n o   t i m e   y o u ' l l   h a v e   r e c i p e s   f o r   c o l d   f u s i o n   b y   t h e   b u c k e t   l o a d .   T h a t ' s   n o t   w h a t   h a p p e n s . " 	 	 	 	 	 	 	 	 	 0 	 6 	 6 	 H A R V A R D   B U S I N E S S   S C H O O L   P U B L I S H I N G   C O R P O R A T I O N 	 W A T E R T O W N 	 3 0 0   N O R T H   B E A C O N   S T R E E T ,   W A T E R T O W N ,   M A   0 2 4 7 2   U S A 	 0 0 1 7 - 8 0 1 2 	 	 	 H A R V A R D   B U S   R E V 	 H a r v .   B u s .   R e v . 	 S E P 	 2 0 0 9 	 8 7 	 9 	 	 	 	 	 4 3 	 + 	 	 	 	 4 	 B u s i n e s s ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 4 8 6 Y K 	 W O S : 0 0 0 2 6 9 2 3 6 8 0 0 0 1 3 	 	 
 J 	 E b n e r ,   W ;   L e i m e i s t e r ,   J M ;   K r c m a r ,   H 	 	 	 	 E b n e r ,   W i n f r i e d ;   L e i m e i s t e r ,   J a n   M a r c o ;   K r c m a r ,   H e l m u t 	 	 	 C o m m u n i t y   e n g i n e e r i n g   f o r   i n n o v a t i o n s :   t h e   i d e a s   c o m p e t i t i o n   a s   a   m e t h o d   t o   n u r t u r e   a   v i r t u a l   c o m m u n i t y   f o r   i n n o v a t i o n s 	 R   &   D   M A N A G E M E N T 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 T O O L K I T S ;   U S E R S ;   D E S I G N 	 ' C r o w d s o u r c i n g '   i s   c u r r e n t l y   o n e   o f   t h e   m o s t   d i s c u s s e d   k e y   w o r d s   w i t h i n   t h e   o p e n   i n n o v a t i o n   c o m m u n i t y .   T h e   m a j o r   q u e s t i o n   f o r   b o t h   r e s e a r c h   a n d   b u s i n e s s   i s   h o w   t o   f i n d   a n d   l e v e r   t h e   e n o r m o u s   p o t e n t i a l   o f   t h e   ' c o l l e c t i v e   b r a i n '   t o   b r o a d e n   t h e   s c o p e   o f   ' o p e n   R & D ' .   B a s e d   o n   a   l i t e r a t u r e   r e v i e w   i n   t h e   f i e l d s   o f   C o m m u n i t y   B u i l d i n g   a n d   I n n o v a t i o n   M a n a g e m e n t ,   t h i s   w o r k   d e v e l o p s   a n   i n t e g r a t e d   f r a m e w o r k   c a l l e d   ' C o m m u n i t y   E n g i n e e r i n g   f o r   I n n o v a t i o n s ' .   T h i s   f r a m e w o r k   i s   e v a l u a t e d   i n   a n   A c t i o n   R e s e a r c h   p r o j e c t   -   t h e   c a s e   o f   a n   i d e a s   c o m p e t i t i o n   f o r   a n   E R P   S o f t w a r e   c o m p a n y .   T h e   c a s e   ' S A P i e n s '   i n c l u d e s   t h e   d e s i g n ,   i m p l e m e n t a t i o n   a n d   e v a l u a t i o n   o f   a n   I T - s u p p o r t e d   i d e a s   c o m p e t i t i o n   w i t h i n   t h e   S A P   U n i v e r s i t y   C o m p e t e n c e   C e n t e r   ( U C C )   U s e r   G r o u p .   T h i s   g r o u p   c o n s i s t s   o f   a p p r o x i m a t e l y   6 0 , 0 0 0   p e o p l e   ( l e c t u r e r s   a n d   s t u d e n t s )   u s i n g   S A P   S o f t w a r e   f o r   e d u c a t i o n a l   p u r p o s e s .   T h e   c u r r e n t   c h a l l e n g e s   a r e   t w o f o l d :   o n   t h e   o n e   h a n d ,   t h e r e   i s   n o t   m u c h   a c t i v i t y   y e t   i n   t h i s   c o m m u n i t y .   O n   t h e   o t h e r ,   S A P   h a s   n o t   a t t e m p t e d   t o   s y s t e m a t i c a l l y   a d d r e s s   t h i s   h i g h l y   e d u c a t e d   g r o u p   f o r   i d e a   g e n e r a t i o n   o r   i n n o v a t i o n   d e v e l o p m e n t   s o   f a r .   T h e r e f o r e ,   t h e   o b j e c t i v e   o f   t h i s   r e s e a r c h   i s   t o   d e v e l o p   a   f r a m e w o r k   f o r   a   c o m m u n i t y - b a s e d   i n n o v a t i o n   d e v e l o p m e n t   t h a t   g e n e r a t e s   i n n o v a t i o n s ,   p r o c e s s   a n d   p r o d u c t   i d e a s   i n   g e n e r a l   a n d   f o r   S A P   R e s e a r c h ,   i n   p a r t i c u l a r ,   c o m b i n i n g   t h e   c o n c e p t s   o f   i d e a   c o m p e t i t i o n s   a n d   v i r t u a l   c o m m u n i t i e s .   F u r t h e r m o r e ,   t h e   c o n c e p t   a i m s   a t   p r o v i d i n g   a n   i n t e r f a c e   t o   S A P   H u m a n   R e s o u r c e s   p r o c e s s e s   i n   o r d e r   t o   i d e n t i f y   t h e   m o s t   p r o m i s i n g   s t u d e n t s   i n   t h i s   v i r t u a l   c o m m u n i t y .   T h i s   p a p e r   i s   t h e   f i r s t   t o   p r e s e n t   a n   i n t e g r a t e d   c o n c e p t   f o r   I T - s u p p o r t e d   i d e a   c o m p e t i t i o n s   i n   v i r t u a l   c o m m u n i t i e s   f o r   l e v e r a g i n g   t h e   p o t e n t i a l   o f   c r o w d s   t h a t   i s   e v a l u a t e d   i n   a   r e a l - w o r l d   s e t t i n g . 	 [ E b n e r ,   W i n f r i e d ]   D e u t s c h   T e l e k o m   A G ,   D - 5 3 1 1 3   B o n n ,   G e r m a n y ;   [ L e i m e i s t e r ,   J a n   M a r c o ]   U n i v   K a s s e l ,   D - 3 4 1 2 7   K a s s e l ,   G e r m a n y ;   [ K r c m a r ,   H e l m u t ]   T e c h   U n i v   M u n i c h ,   M u n i c h ,   G e r m a n y 	 E b n e r ,   W   ( r e p r i n t   a u t h o r ) ,   D e u t s c h   T e l e k o m   A G ,   F r i e d r i c h   E b e r t   A l l e e   7 1 - 7 7 ,   D - 5 3 1 1 3   B o n n ,   G e r m a n y . 	 w i n f e i e d . e b n e r @ t e l e k o m . d e ;   l e i m e i s t e r @ u n i - k a s s e l . d e ;   k r c m a r @ i n . t u m . d e 	 	 	 	 	 A b d u l - R a h m a n   A . ,   2 0 0 0 ,   P   3 3   H A W   I N T   C   S Y S T ;   B a l a s u b r a m a n i a n   S ,   2 0 0 1 ,   I N T   J   E L E C T R O N   C O M M ,   V 5 ,   P 1 0 3 ;   B R U N O L D   J ,   2 0 0 0 ,   W W W   C Y B E R   C O M M U N I T I E ;   B U L L I N G E R   H J ,   2 0 0 2 ,   B U S I N E S S   C O M M U N I T I E S ;   C h e s b r o u g h   H . ,   2 0 0 3 ,   O P E N   I N N O V A T I O N   N E W ;   C h e s b r o u g h   H W ,   2 0 0 3 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 4 ,   P 3 5 ;   D O R I N G   N ,   2 0 0 3 ,   S O Z I A L P S Y C H O L O G I E   I N ;   E B N E R   W ,   2 0 0 8 ,   4 1   H A W   I N T   C   S Y S T   S C ;   E B N E R   W ,   2 0 0 4 ,   3 7   H A W   I N T   C   S Y S T   S C ;   E N K E L   E ,   2 0 0 6 ,   Z   F U H R U N G   O R G ,   V 7 5 ,   P 1 3 2 ;   E R N S T   H ,   2 0 0 4 ,   P R O D U K T E N T W I C K L U N G   V ,   V 1 1 ,   P 3 7 5 ;   F I G A L L O   C ,   1 9 9 8 ,   1   I N T   C   V I R T   C O M M   B A ;   F r a n k e   N ,   2 0 0 4 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 1 ,   P 4 0 1 ,   D O I   1 0 . 1 1 1 1 / j . 0 7 3 7 - 6 7 8 2 . 2 0 0 4 . 0 0 0 9 4 . x ;   G a m b e t t a   D . ,   1 9 9 0 ,   C A N   W E   T R U S T   T R U S T   T ;   G a s s m a n n   O l i v e r ,   2 0 0 6 ,   Z   F U H R U N G   O R G ,   V 7 5 ,   P 1 3 2 ;   H a g e l   J . ,   1 9 9 7 ,   N E T   G A I N   E X P A N D I N G   M ;   H A Z A R D   I ,   2 0 0 7 ,   W E   M E   W E   A R E   S M A R T E R ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   V 6 ,   P 1 7 6 ;   H u m m e l   J . ,   2 0 0 2 ,   3 5   H A W   I N T   C   S Y S T   S C ;   J e p p e s e n   L B ,   2 0 0 6 ,   O R G A N   S C I ,   V 1 7 ,   P 4 5 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 5 0 . 0 1 5 6 ;   K A G E R M A N N   H ,   2 0 0 6 ,   E D I T O R I A L   M A G A Z I N E   S ,   P 3 ;   K i m   A . J ,   2 0 0 0 ,   C O M M U N I T Y   B U I L D I N G   W ;   L a u   F ,   1 9 9 7 ,   I N F O R M A T I O N   S Y S T E M S   A N D   Q U A L I T A T I V E   R E S E A R C H ,   P 3 1 ;   L A U B A C H E R   R ,   2 0 0 7 ,   M I T   C T R   C O L L E C T I V E   I ;   L e i m e i s t e r   J .   M . ,   2 0 0 5 ,   V I R T U E L L E   C O M M U N I T I E ;   L e i m e i s t e r   J M ,   2 0 0 5 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 1 ,   P 1 0 1 ;   M A L O N E Y K R I C H M A R   D ,   2 0 0 3 ,   H U M A N   C O M P U T E R   I N T E R ,   P 5 9 6 ;   M O H R   M ,   2 0 0 6 ,   W I R T S C H A F T S I N F ,   P 1 ;   P i l l e r   F T ,   2 0 0 6 ,   R & D   M A N A G E ,   V 3 6 ,   P 3 0 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 6 . 0 0 4 3 2 . x ;   P r e e c e   J ,   2 0 0 0 ,   O N L I N E   C O M M U N I T I E S   D ;   P R U F E R   D ,   2 0 0 4 ,   I D E E N   W E T T B E W E R B   B I O ;   R a p o p o r t   R .   N . ,   1 9 7 0 ,   H U M   R E L A T ,   V 2 3 ,   P 4 9 9 ,   D O I   1 0 . 1 1 7 7 / 0 0 1 8 7 2 6 7 7 0 0 2 3 0 0 6 0 1 ;   R e i c h w a l d   R . ,   2 0 0 6 ,   I N T E R A K T I V E   W E R T S C H O ;   R I E D L   S ,   2 0 0 7 ,   S A P   C O M M U N I T Y   P O R T A L ;   S C H R A D E R   H ,   2 0 0 5 ,   S A P   I N F O ,   P 1 3 2 ;   S C H R A D E R   H ,   2 0 0 7 ,   S A P   I N F O ,   V 1 4 6 ,   P 2 4 ;   S u r o w i e c k i   J ,   2 0 0 5 ,   W I S D O M   C R O W D S   W H Y   M A ;   S U T H H O F   A ,   2 0 0 5 ,   I D E E N W E T T B E W E R B   V O R B ;   T i d d   J . ,   2 0 0 5 ,   M A N A G I N G   I N N O V A T I O N ;   T s e n g   M . M . ,   2 0 0 3 ,   A D V   M A S S   C U S T O M I Z A T I ;   U l r i c h   H . ,   1 9 8 1 ,   F U H R U N G   B E T R I E B E S ,   P 1 ;   v o n   H i p p e l   E r i c ,   2 0 0 5 ,   D E M O C R A T I Z I N G   I N N O V A ;   v o n   H i p p e l   E ,   2 0 0 2 ,   M A N A G E   S C I ,   V 4 8 ,   P 8 2 1 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 8 . 7 . 8 2 1 . 2 8 1 7 ;   W a g n e r   C . ,   2 0 0 7 ,   P   4 0   H A W   I N T   C   S Y S T ;   W a l c h e r   D . ,   2 0 0 7 ,   I D E E N W E T T B E W E R B   A L S ;   W E S T   J ,   2 0 0 7 ,   4 0   A N N   H A W   I N T   C   S Y S ;   W e s t   J . ,   2 0 0 5 ,   3 8   A N N   H A W   I N T   C   S Y S ;   Y E O W   A ,   2 0 0 6 ,   I N T   C   I N F   S Y S T   2 7   I C 	 4 8 	 4 7 	 4 8 	 W I L E Y - B L A C K W E L L   P U B L I S H I N G ,   I N C 	 M A L D E N 	 C O M M E R C E   P L A C E ,   3 5 0   M A I N   S T ,   M A L D E N   0 2 1 4 8 ,   M A   U S A 	 0 0 3 3 - 6 8 0 7 	 	 	 R & D   M A N A G E 	 R   D   M a n a g e . 	 S E P 	 2 0 0 9 	 3 9 	 4 	 	 	 	 	 3 4 2 	 3 5 6 	 	 	 	 1 5 	 B u s i n e s s ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 4 8 0 D Z 	 W O S : 0 0 0 2 6 8 7 1 3 6 0 0 0 0 4 	 	 
 J 	 F r i t z ,   S ;   M c C a l l u m ,   I ;   S c h i l l ,   C ;   P e r g e r ,   C ;   G r i l l m a y e r ,   R ;   A c h a r d ,   F ;   K r a x n e r ,   F ;   O b e r s t e i n e r ,   M 	 	 	 	 F r i t z ,   S t e f f e n ;   M c C a l l u m ,   I a n ;   S c h i l l ,   C h r i s t i a n ;   P e r g e r ,   C h r i s t o p h ;   G r i l l m a y e r ,   R o l a n d ;   A c h a r d ,   F r e d e r i c ;   K r a x n e r ,   F l o r i a n ;   O b e r s t e i n e r ,   M i c h a e l 	 	 	 G e o - W i k i . O r g :   T h e   U s e   o f   C r o w d s o u r c i n g   t o   I m p r o v e   G l o b a l   L a n d   C o v e r 	 R E M O T E   S E N S I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 l a n d   c o v e r ;   v o l u n t e e r   g e o g r a p h i c   i n f o r m a t i o n ;   c r o w d s o u r c i n g ;   w e b   2 . 0 ;   v a l i d a t i n g   l a n d   c o v e r ;   w w w . g e o - w i k i . o r g 	 	 G l o b a l   l a n d   c o v e r   i s   o n e   o f   t h e   e s s e n t i a l   t e r r e s t r i a l   b a s e l i n e   d a t a s e t s   a v a i l a b l e   f o r   e c o s y s t e m   m o d e l i n g ,   h o w e v e r   u n c e r t a i n t y   r e m a i n s   a n   i s s u e .   T o o l s   s u c h   a s   G o o g l e   E a r t h   o f f e r   e n o r m o u s   p o t e n t i a l   f o r   l a n d   c o v e r   v a l i d a t i o n .   W i t h   a n   e v e r   i n c r e a s i n g   a m o u n t   o f   v e r y   f i n e   s p a t i a l   r e s o l u t i o n   i m a g e s   ( u p   t o   5 0   c m   x   5 0   c m )   a v a i l a b l e   o n   G o o g l e   E a r t h ,   i t   i s   b e c o m i n g   p o s s i b l e   f o r   e v e r y   I n t e r n e t   u s e r   ( i n c l u d i n g   n o n   r e m o t e   s e n s i n g   e x p e r t s )   t o   d i s t i n g u i s h   l a n d   c o v e r   f e a t u r e s   w i t h   a   h i g h   d e g r e e   o f   r e l i a b i l i t y .   S u c h   a n   a p p r o a c h   i s   i n e x p e n s i v e   a n d   a l l o w s   I n t e r n e t   u s e r s   f r o m   a n y   r e g i o n   o f   t h e   w o r l d   t o   g e t   i n v o l v e d   i n   t h i s   g l o b a l   v a l i d a t i o n   e x e r c i s e .   T h e   G e o - W i k i   P r o j e c t   i s   a   g l o b a l   n e t w o r k   o f   v o l u n t e e r s   w h o   w i s h   t o   h e l p   i m p r o v e   t h e   q u a l i t y   o f   g l o b a l   l a n d   c o v e r   m a p s .   S i n c e   l a r g e   d i f f e r e n c e s   o c c u r   b e t w e e n   e x i s t i n g   g l o b a l   l a n d   c o v e r   m a p s ,   c u r r e n t   e c o s y s t e m   a n d   l a n d - u s e   s c i e n c e   l a c k s   c r u c i a l   a c c u r a t e   d a t a   ( e . g . ,   t o   d e t e r m i n e   t h e   p o t e n t i a l   o f   a d d i t i o n a l   a g r i c u l t u r a l   l a n d   a v a i l a b l e   t o   g r o w   c r o p s   i n   A f r i c a ) ,   v o l u n t e e r s   a r e   a s k e d   t o   r e v i e w   h o t s p o t   m a p s   o f   g l o b a l   l a n d   c o v e r   d i s a g r e e m e n t   a n d   d e t e r m i n e ,   b a s e d   o n   w h a t   t h e y   a c t u a l l y   s e e   i n   G o o g l e   E a r t h   a n d   t h e i r   l o c a l   k n o w l e d g e ,   i f   t h e   l a n d   c o v e r   m a p s   a r e   c o r r e c t   o r   i n c o r r e c t .   T h e i r   i n p u t   i s   r e c o r d e d   i n   a   d a t a b a s e ,   a l o n g   w i t h   u p l o a d e d   p h o t o s ,   t o   b e   u s e d   i n   t h e   f u t u r e   f o r   t h e   c r e a t i o n   o f   a   n e w   a n d   i m p r o v e d   h y b r i d   g l o b a l   l a n d   c o v e r   m a p . 	 [ F r i t z ,   S t e f f e n ;   M c C a l l u m ,   I a n ;   K r a x n e r ,   F l o r i a n ;   O b e r s t e i n e r ,   M i c h a e l ]   I n t   I n s t   A p p l   S y s t   A n a l ,   F o r e s t r y   P r o g r a m ,   A - 2 3 6 1   L a x e n b u r g ,   A u s t r i a ;   [ S c h i l l ,   C h r i s t i a n ]   U n i v   F r e i b e r g ,   D e p t   R e m o t e   S e n s i n g   &   L a n d s c a p e   I n f o r m a t   S y s t   F c L ,   F r e i b e r g ,   G e r m a n y ;   [ P e r g e r ,   C h r i s t o p h ;   G r i l l m a y e r ,   R o l a n d ]   U n i v   A p p l   S c i   W i e n e r   N e u s t a d t   B u s i n e s s   &   E n g n   L t d ,   W i e n e r   N e u s t a d t ,   A u s t r i a ;   [ A c h a r d ,   F r e d e r i c ]   E u r o p e a n   C o m m i s s ,   J o i n t   R e s   C t r ,   I n s t   E n v i r o n m   &   S u s t a i n a b i l ,   I s p r a ,   I t a l y 	 F r i t z ,   S   ( r e p r i n t   a u t h o r ) ,   I n t   I n s t   A p p l   S y s t   A n a l ,   F o r e s t r y   P r o g r a m ,   A - 2 3 6 1   L a x e n b u r g ,   A u s t r i a . 	 f r i t z @ i i a s a . a c . a t ;   M c C a l l u m @ i i a s a . a c . a t ;   c h r i s t i a n . s c h i l l @ f e l i s . u n i - f r e i b u r g . d e ;   c h r i s t o p h . p e r g e r @ f h w n . a c . a t ;   f r e d e r i c . a c h a r d @ j r c . e c . e u r o p a . e u 	 	 	 E u r o p e a n   C o m m u n i t y   [ 0 3 7 0 6 3 ] ;   G l o b a l   E a r t h   O b s e r v a t i o n   -   B e n e f i t   E s t i m a t i o n :   N o w ,   N e x t   a n d   E m e r g i n g   ( G E O B E N E ) ;   E u r o G E O S S 	 T h e   r e s e a r c h   l e a d i n g   t o   t h e s e   r e s u l t s   h a s   r e c e i v e d   f u n d i n g   f r o m   t h e   E u r o p e a n   C o m m u n i t y ' s   S i x t h   a n d   S e v e n t h   F r a m e w o r k   P r o g r a m m e   ( F P 6 / F P 7 )   u n d e r   g r a n t   a g r e e m e n t   n o   0 3 7 0 6 3   ( G O C E ) ,   G l o b a l   E a r t h   O b s e r v a t i o n   -   B e n e f i t   E s t i m a t i o n :   N o w ,   N e x t   a n d   E m e r g i n g   ( G E O B E N E )   a n d   E u r o G E O S S .   F u r t h e r m o r e   w e   w o u l d   l i k e   t o   t h a n k   A n s s i   P e k k a r i n e n   f o r   h i s   a d v i c e   a n d   h e l p .   T h a n k s   a l s o   t o   D a m i e n   S u l l a - M e n a s h e   f o r   p r o v i d i n g   t h e   M O D I S   5 0 0 m - V . 5 - 2 0 0 5   p r o d u c t . 	 A r i n o   O . ,   M O S T   D E T A I L E D   P O R T R A ;   B a r t h o l o m e   E ,   2 0 0 5 ,   I N T   J   R E M O T E   S E N S ,   V 2 6 ,   P 1 9 5 9 ,   D O I   1 0 . 1 0 8 0 / 0 1 4 3 1 1 6 0 4 1 2 3 3 1 2 9 1 2 9 7 ;   B i s h r   M o h a m e d ,   2 0 0 8 ,   G E O J O U R N A L ,   V 7 2 ,   P 2 2 9 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 8 - 9 1 8 2 - 4 ;   B u t l e r   D ,   2 0 0 6 ,   N A T U R E ,   V 4 3 9 ,   P 7 7 6 ,   D O I   1 0 . 1 0 3 8 / 4 3 9 7 7 6 a ;   D e f o u r n y   P . P . ,   2 0 0 9 ,   A C C U R A C Y   A S S E S S M E N T ;   E v a   H . D . ,   I S P R S   I N T   J   I N   P R E S S ;   E v a   H D ,   2 0 0 4 ,   G L O B A L   C H A N G E   B I O L ,   V 1 0 ,   P 7 3 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 2 9 - 8 8 1 7 . 2 0 0 3 . 0 0 7 7 4 . x ;   C a r v e r   S ,   2 0 0 1 ,   E N V I R O N   P L A N N   B ,   V 2 8 ,   P 9 0 7 ,   D O I   1 0 . 1 0 6 8 / b 2 7 5 1 t ;   F l a n a g i n   A . ,   2 0 0 8 ,   G E O J O U R N A L ,   V 7 2 ,   P 1 3 7 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 8 - 9 1 8 8 - Y ;   F r i e d l   M A ,   2 0 0 2 ,   R E M O T E   S E N S   E N V I R O N ,   V 8 3 ,   P 2 8 7 ,   D O I   1 0 . 1 0 1 6 / S 0 0 3 4 - 4 2 5 7 ( 0 2 ) 0 0 0 7 8 - 0 ;   F r i t z   S ,   2 0 0 8 ,   G L O B A L   C H A N G E   B I O L ,   V 1 4 ,   P 1 0 5 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 4 8 6 . 2 0 0 7 . 0 1 5 1 9 . x ;   G i l e s   J ,   2 0 0 6 ,   N A T U R E ,   V 4 4 3 ,   P 4 9 3 ,   D O I   1 0 . 1 0 3 8 / 4 4 3 4 9 3 a ;   G o o d c h i l d   M . ,   2 0 0 8 ,   G E O J O U R N A L ,   V 7 2 ,   P 2 3 9 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 8 - 9 1 9 0 - 4 ;   G o o d c h i l d   M F ,   2 0 0 7 ,   A N N   A S S O C   A M   G E O G R ,   V 9 7 ,   P 2 5 0 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 3 0 6 . 2 0 0 7 . 0 0 5 3 4 . x ;   G o o d c h i l d   M . F . ,   2 0 0 7 ,   G E O J O U R N A L ,   V 6 9 ,   P 2 1 1 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 7 - 9 1 1 1 - Y ;   H a k l a y   M u k i ,   2 0 0 8 ,   G E O G R A P H Y   C O M P A S S ,   V 2 ,   P 2 0 1 1 ,   D O I   D O I   1 0 . 1 1 1 1 / J . 1 7 4 9 - 8 1 9 8 . 2 0 0 8 . 0 0 1 6 7 . X ;   H u d s o n - S m i t h   A ,   2 0 0 9 ,   S O C   S C I   C O M P U T   R E V ,   V 2 7 ,   P 5 2 4 ,   D O I   1 0 . 1 1 7 7 / 0 8 9 4 4 3 9 3 0 9 3 3 2 2 9 9 ;   I w a o   K ,   2 0 0 6 ,   G E O P H Y S   R E S   L E T T ,   V 3 3 ,   D O I   [ 1 0 . 1 0 2 9 / 2 0 0 6 G L 0 2 7 7 6 8 ,   1 0 . 1 0 2 9 / 2 0 0 6 G L 0 2 7 7 6 8 , ] ;   M a y a u x   P ,   2 0 0 6 ,   I E E E   T   G E O S C I   R E M O T E ,   V 4 4 ,   P 1 7 2 8 ,   D O I   1 0 . 1 1 0 9 / T G R S . 2 0 0 6 . 8 6 4 3 7 0 ;   M a y a u x   P ,   2 0 0 4 ,   J   B I O G E O G R ,   V 3 1 ,   P 8 6 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 6 9 9 . 2 0 0 4 . 0 1 0 7 3 . x ;   M c C a l l u m   I ,   2 0 0 6 ,   I N T   J   A P P L   E A R T H   O B S ,   V 8 ,   P 2 4 6 ,   D O I   1 0 . 1 0 1 6 / j . j a g . 2 0 0 5 . 1 2 . 0 0 2 ;   P e k k a r i n e n   A ,   2 0 0 9 ,   I S P R S   J   P H O T O G R A M M ,   V 6 4 ,   P 1 7 1 ,   D O I   1 0 . 1 0 1 6 / j . i s p r s j p r s . 2 0 0 8 . 0 9 . 0 0 4 ;   P o t e r e   D ,   2 0 0 8 ,   S E N S O R S - B A S E L ,   V 8 ,   P 7 9 7 3 ,   D O I   1 0 . 3 3 9 0 / s 8 1 2 7 9 7 3 ;   R i d d e r   R M ,   2 0 0 7 ,   O P T I O N S   R E C O M M E N D A T I ;   S e e   L M ,   2 0 0 6 ,   I E E E   T   G E O S C I   R E M O T E ,   V 4 4 ,   P 1 7 4 0 ,   D O I   1 0 . 1 1 0 9 / T G R S . 2 0 0 6 . 8 7 4 7 5 0 ;   S e e g e r   C .   J . ,   2 0 0 8 ,   G e o J o u r n a l ,   V 7 2 ,   P 1 9 9 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 0 8 - 0 0 8 - 9 1 8 4 - 2 ;   S u i   D Z ,   2 0 0 8 ,   C O M P U T   E N V I R O N   U R B A N ,   V 3 2 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / j . c o m p e n v u r b s y s . 2 0 0 7 . 1 2 . 0 0 1 ;   W a l s h   J . ,   2 0 0 8 ,   G E O   C O N N E X I O N ,   V 7 ,   P 2 8 	 2 8 	 3 8 	 4 1 	 M D P I   A G 	 B A S E L 	 P O S T F A C H ,   C H - 4 0 0 5   B A S E L ,   S W I T Z E R L A N D 	 2 0 7 2 - 4 2 9 2 	 	 	 R E M O T E   S E N S - B A S E L 	 R e m o t e   S e n s . 	 S E P 	 2 0 0 9 	 1 	 3 	 	 	 	 	 3 4 5 	 3 5 4 	 	 1 0 . 3 3 9 0 / r s 1 0 3 0 3 4 5 	 	 1 0 	 R e m o t e   S e n s i n g 	 R e m o t e   S e n s i n g 	 V 2 4 H C 	 W O S : 0 0 0 2 0 8 4 0 0 5 0 0 0 1 3 	 	 
 J 	 B r a d l e y ,   J C ;   M i r z a ,   K ;   G u h a ,   R ;   L a n g ,   A ;   W i l l i a m s ,   A 	 	 	 	 B r a d l e y ,   J e a n - C l a u d e ;   M i r z a ,   K h a l i d ;   G u h a ,   R a j a r s h i ;   L a n g ,   A n d r e w ;   W i l l i a m s ,   A . 	 	 	 C I N F   1 5 - C r o w d s o u r c i n g   n o n a q u e o u s   s o l u b i l i t y   a n d   s y n t h e s i s   u s i n g   O p e n   N o t e b o o k   S c i e n c e 	 A B S T R A C T S   O F   P A P E R S   O F   T H E   A M E R I C A N   C H E M I C A L   S O C I E T Y 	 	 	 E n g l i s h 	 M e e t i n g   A b s t r a c t 	 	 	 	 	 	 	 	 	 [ B r a d l e y ,   J e a n - C l a u d e ;   M i r z a ,   K h a l i d ]   D r e x e l   U n i v ,   D e p t   C h e m ,   P h i l a d e l p h i a ,   P A   1 9 1 0 4   U S A ;   [ G u h a ,   R a j a r s h i ]   N I H   C h e m   G e n o m   C t r ,   R o c k v i l l e ,   M D   2 0 8 5 0   U S A ;   [ L a n g ,   A n d r e w ]   O r a l   R o b e r t s   U n i v ,   D e p t   M a t h ,   T u l s a ,   O K   7 4 1 7 1   U S A ;   [ W i l l i a m s ,   A . ]   C h e m Z o o   I n c ,   W a k e   F o r e s t ,   N C   2 7 5 8 7   U S A 	 	 b r a d l e j c @ d r e x e l . e d u ;   r a j a r s h i . g u h a @ g m a i l . c o m ;   g a m e s h o n c h o @ h o t m a i l . c o m ;   a n t o n y . w i l l i a m s @ c h e m s p i d e r . c o m 	 	 	 	 	 	 0 	 0 	 0 	 A M E R   C H E M I C A L   S O C 	 W A S H I N G T O N 	 1 1 5 5   1 6 T H   S T ,   N W ,   W A S H I N G T O N ,   D C   2 0 0 3 6   U S A 	 0 0 6 5 - 7 7 2 7 	 	 	 A B S T R   P A P   A M   C H E M   S 	 A b s t r .   P a p .   A m .   C h e m .   S o c . 	 A U G   1 6 	 2 0 0 9 	 2 3 8 	 	 	 	 	 1 5 - C I N F 	 	 	 	 	 	 1 	 C h e m i s t r y ,   M u l t i d i s c i p l i n a r y 	 C h e m i s t r y 	 V 1 6 H Y 	 W O S : 0 0 0 2 0 7 8 6 1 9 0 2 7 1 0 	 	 
 J 	 O p r e a ,   T I ;   B o l o g a ,   C G ;   B o y e r ,   S ;   C u r p a n ,   R F ;   G l e n ,   R C ;   H o p k i n s ,   A L ;   L i p i n s k i ,   C A ;   M a r s h a l l ,   G R ;   M a r t i n ,   Y C ;   O s t o p o v i c i - H a l i p ,   L ;   R i s h t o n ,   G ;   U r s u ,   O ;   V a z ,   R J ;   W a l l e r ,   C ;   W a l d m a n n ,   H ;   S k l a r ,   L A 	 	 	 	 O p r e a ,   T u d o r   I . ;   B o l o g a ,   C r i s t i a n   G . ;   B o y e r ,   S c o t t ;   C u r p a n ,   R a m o n a   F . ;   G l e n ,   R o b e r t   C . ;   H o p k i n s ,   A n d r e w   L . ;   L i p i n s k i ,   C h r i s t o p h e r   A . ;   M a r s h a l l ,   G a r l a n d   R . ;   M a r t i n ,   Y v o n n e   C . ;   O s t o p o v i c i - H a l i p ,   L i l i a n a ;   R i s h t o n ,   G i l b e r t ;   U r s u ,   O l e g ;   V a z ,   R o y   J . ;   W a l l e r ,   C h r i s ;   W a l d m a n n ,   H e r b e r t ;   S k l a r ,   L a r r y   A . 	 	 	 A   c r o w d s o u r c i n g   e v a l u a t i o n   o f   t h e   N I H   c h e m i c a l   p r o b e s   ( v o l   5 ,   p g   4 4 1 ,   2 0 0 9 ) 	 N A T U R E   C H E M I C A L   B I O L O G Y 	 	 	 E n g l i s h 	 C o r r e c t i o n 	 	 	 	 	 	 	 	 	 	 	 	 B o l o g a ,   C r i s t i a n / A - 7 9 5 2 - 2 0 1 0 ;   O p r e a ,   T u d o r / A - 5 7 4 6 - 2 0 1 1 	 O p r e a ,   T u d o r / 0 0 0 0 - 0 0 0 2 - 6 1 9 5 - 6 9 7 6 	 	 	 O p r e a   T I ,   2 0 0 9 ,   N A T   C H E M   B I O L ,   V 5 ,   P 4 4 1 ,   D O I   1 0 . 1 0 3 8 / n c h e m b i o 0 7 0 9 - 4 4 1 	 1 	 0 	 0 	 N A T U R E   P U B L I S H I N G   G R O U P 	 N E W   Y O R K 	 7 5   V A R I C K   S T ,   9 T H   F L R ,   N E W   Y O R K ,   N Y   1 0 0 1 3 - 1 9 1 7   U S A 	 1 5 5 2 - 4 4 5 0 	 	 	 N A T   C H E M   B I O L 	 N a t .   C h e m .   B i o l . 	 A U G 	 2 0 0 9 	 5 	 8 	 	 	 	 	 6 0 0 	 6 0 0 	 	 1 0 . 1 0 3 8 / n c h e m b i o 0 8 0 9 - 6 0 0 	 	 1 	 B i o c h e m i s t r y   &   M o l e c u l a r   B i o l o g y 	 B i o c h e m i s t r y   &   M o l e c u l a r   B i o l o g y 	 4 7 3 L V 	 W O S : 0 0 0 2 6 8 2 0 9 2 0 0 0 1 9 	 	 
 J 	 B r a b h a m ,   D C 	 	 	 	 B r a b h a m ,   D a r e n   C . 	 	 	 C R O W D S O U R C I N G   T H E   P U B L I C   P A R T I C I P A T I O N   P R O C E S S   F O R   P L A N N I N G   P R O J E C T S 	 P L A N N I N G   T H E O R Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c o l l e c t i v e   i n t e l l i g e n c e ;   c r o w d s o u r c i n g ;   p u b l i c   p a r t i c i p a t i o n ;   u r b a n   p l a n n i n g ;   W e b 	 C I T I Z E N   P A R T I C I P A T I O N ;   L O C A L   K N O W L E D G E ;   M A N A G E M E N T ;   I N F O R M A T I O N ;   D E M O C R A C Y ;   Q U A L I T Y ;   P O L I C Y ;   P L A N S 	 P u b l i c   i n v o l v e m e n t   i s   a   c e n t r a l   c o n c e r n   f o r   u r b a n   p l a n n e r s ,   b u t   t h e   c h a l l e n g e   f o r   p l a n n e r s   i s   h o w   b e s t   t o   i m p l e m e n t   s u c h   p r o g r a m s ,   g i v e n   m a n y   d i f f i c u l t i e s   i n h e r e n t   i n   t h e   t y p i c a l   p u b l i c   i n v o l v e m e n t   p r o c e s s .   T h e   m e d i u m   o f   t h e   W e b   e n a b l e s   u s   t o   h a r n e s s   c o l l e c t i v e   i n t e l l e c t   a m o n g   a   p o p u l a t i o n   i n   w a y s   f a c e - t o - f a c e   p l a n n i n g   m e e t i n g s   c a n n o t .   T h i s   a r t i c l e   a r g u e s   t h a t   t h e   c r o w d s o u r c i n g   m o d e l ,   a   s u c c e s s f u l ,   W e b - b a s e d ,   d i s t r i b u t e d   p r o b l e m   s o l v i n g   a n d   p r o d u c t i o n   m o d e l   f o r   b u s i n e s s ,   i s   a n   a p p r o p r i a t e   m o d e l   f o r   e n a b l i n g   t h e   c i t i z e n   p a r t i c i p a t i o n   p r o c e s s   i n   p u b l i c   p l a n n i n g   p r o j e c t s .   T h i s   a r t i c l e   b e g i n s   w i t h   a n   e x p l o r a t i o n   o f   t h e   c h a l l e n g e s   o f   p u b l i c   p a r t i c i p a t i o n   i n   u r b a n   p l a n n i n g   p r o j e c t s ,   p a r t i c u l a r l y   i n   t h e   h a r n e s s i n g   o f   c r e a t i v e   s o l u t i o n s .   A n   e x p l a n a t i o n   o f   t h e   t h e o r i e s   o f   c o l l e c t i v e   i n t e l l i g e n c e   a n d   c r o w d   w i s d o m   f o l l o w s ,   a r g u i n g   f o r   t h e   m e d i u m   o f   t h e   W e b   a s   a n   a p p r o p r i a t e   t e c h n o l o g y   f o r   h a r n e s s i n g   f a r - f l u n g   g e n i u s .   A n   e x p l o r a t i o n   o f   c r o w d s o u r c i n g   i n   a   h y p o t h e t i c a l   n e i g h b o r h o o d   p l a n n i n g   e x a m p l e ,   a l o n g   w i t h   a   c o n s i d e r a t i o n   o f   t h e   c h a l l e n g e s   o f   i m p l e m e n t i n g   c r o w d s o u r c i n g ,   c o n c l u d e s   t h e   a r t i c l e . 	 U n i v   U t a h ,   D e p t   C o m m u n ,   S a l t   L a k e   C i t y ,   U T   8 4 1 1 2   U S A 	 B r a b h a m ,   D C   ( r e p r i n t   a u t h o r ) ,   U n i v   U t a h ,   D e p t   C o m m u n ,   2 5 5   S   C e n t   C a m p u s   D r , R m   2 4 0 0 ,   S a l t   L a k e   C i t y ,   U T   8 4 1 1 2   U S A . 	 d a r e n . b r a b h a m @ u t a h . e d u 	 	 	 	 	 A b r a m   S ,   2 0 0 4 ,   E U R   P L A N   S T U D ,   V 1 2 ,   P 2 0 9 ,   D O I   1 0 . 1 0 8 0 / 0 9 6 5 4 3 1 0 4 2 0 0 0 1 8 3 9 4 1 ;   A l f a s i   N . ,   2 0 0 3 ,   P L A N N I N G   T H E O R Y   P R A C ,   V 4 ,   D O I   1 0 . 1 0 8 0 / 1 4 6 4 9 3 5 0 3 0 7 9 7 9 ;   A p p a d u r a i   A . ,   1 9 9 6 ,   M O D E R N I T Y   L A R G E   C U L T ;   B e e b e e j a u n   Y ,   2 0 0 6 ,   I N T   P L A N N I N G   S T U D I E S ,   V 1 1 ,   P 3 ,   D O I   1 0 . 1 0 8 0 / 1 3 5 6 3 4 7 0 6 0 0 9 3 5 0 0 8 ;   B e l l   P ,   2 0 0 4 ,   R U R A L   A R E A S   I N T E R N E T ;   B I R D S A L L   S ,   2 0 0 5 ,   1   M O N D A Y ,   V 1 0 ;   B r a b h a m   D .   C . ,   2 0 0 8 ,   I N T   J   R E S   N E W   M E D I A ,   V 1 4 ,   P 7 5 ,   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B r a b h a m   D .   C . ,   2 0 0 8 ,   A N N   M   A S S   E D   J O U R N   M ;   B r a b h a m   D .   C . ,   2 0 0 8 ,   1   M O N D A Y ,   V 1 3 ;   B R A B H A M   D C ,   2 0 0 6 ,   S P A C E   C U L T U R E ,   V 9 ,   P 2 8 ,   D O I   1 0 . 1 1 7 7 / 1 2 0 6 3 3 1 2 0 5 2 8 3 6 7 5 ;   B r a b h a m   D . C . ,   2 0 0 7 ,   S P E A K E R S   C O R N E R   D I V E ;   B r o d y   S D ,   2 0 0 3 ,   J   P L A N   E D U C   R E S ,   V 2 2 ,   P 4 0 7 ,   D O I   1 0 . 1 1 7 7 / 0 7 3 9 4 5 6 X 0 3 0 2 2 0 0 4 0 0 7 ;   B r o d y   S D ,   2 0 0 3 ,   J   A M   P L A N N   A S S O C ,   V 6 9 ,   P 2 4 5 ,   D O I   1 0 . 1 0 8 0 / 0 1 9 4 4 3 6 0 3 0 8 9 7 8 0 1 8 ;   B r y s o n   J M ,   1 9 9 5 ,   S T R A T E G I C   P L A N N I N G   P ;   B u g e j a   M i c h a e l ,   2 0 0 5 ,   I N T E R P E R S O N A L   D I V I D E ;   B u r b y   R J ,   2 0 0 3 ,   J   A M   P L A N N   A S S O C ,   V 6 9 ,   P 3 3 ,   D O I   1 0 . 1 0 8 0 / 0 1 9 4 4 3 6 0 3 0 8 9 7 6 2 9 2 ;   B u s h   V ,   1 9 4 5 ,   A T L A N T I C   M O N T H L Y ,   V 1 7 6 ,   P 1 0 1 ;   C a m p b e l l   H ,   2 0 0 0 ,   I N T   P L A N N I N G   S T U D I E S ,   V 5 ,   P 3 2 1 ,   D O I   1 0 . 1 0 8 0 / 7 1 3 6 7 2 8 6 2 ;   C a r e y   J . ,   1 9 8 9 ,   C O M M U N I C A T I O N   C U L T U R ;   C a r p   J ,   2 0 0 4 ,   J   P L A N   E D U C   R E S ,   V 2 3 ,   P 2 4 2 ,   D O I   1 0 . 1 1 7 7 / 0 7 3 9 4 5 6 X 0 3 2 6 1 2 8 3 ;   C a r s o n   L y n ,   2 0 0 5 ,   D E L I B E R A T I V E   D E M O C R A ,   P 1 2 0 ;   C a s t e l l s   M . ,   1 9 9 6 ,   R I S E   N E T W O R K   S O C ;   C o r b u r n   J ,   2 0 0 3 ,   J   P L A N   E D U C   R E S ,   V 2 2 ,   P 4 2 0 ,   D O I   1 0 . 1 1 7 7 / 0 7 3 9 4 5 6 X 0 3 2 5 3 6 9 4 ;   C r e i g h t o n   J . ,   2 0 0 5 ,   P U B L I C   P A R T I C I P A T I O N ;   C r e w e   K ,   2 0 0 1 ,   J   A M   P L A N N   A S S O C ,   V 6 7 ,   P 4 3 7 ,   D O I   1 0 . 1 0 8 0 / 0 1 9 4 4 3 6 0 1 0 8 9 7 6 2 5 1 ;   D I G E S S A   S ,   2 0 0 8 ,   P A R T I C I P A T O R Y   M A P P I N ;   F i s k a a   H ,   2 0 0 5 ,   E U R   P L A N   S T U D ,   V 1 3 ,   P 1 5 7 ,   D O I   1 0 . 1 0 8 0 / 0 9 6 5 4 3 1 0 4 2 0 0 0 3 1 2 4 5 1 ;   F l i c h y   P . ,   2 0 0 7 ,   I N T E R N E T   I M A G I N A I R E ;   F o r e s t e r   J ,   2 0 0 6 ,   J   A M   P L A N N   A S S O C ,   V 7 2 ,   P 4 4 7 ,   D O I   1 0 . 1 0 8 0 / 0 1 9 4 4 3 6 0 6 0 8 9 7 6 7 6 5 ;   F o x   S . ,   2 0 0 6 ,   G E N E R A T I O N S   O N L I N E ;   F o x   S . ,   2 0 0 5 ,   D I G I T A L   D I V I S I O N S   T H ;   F o x   S . ,   2 0 0 7 ,   L A T I N O S   O N L I N E   H I S P A ;   G U N K E L   D ,   2 0 0 4 ,   N E W   M E D I A   S O C ,   V 5 ,   P 4 9 9 ;   H a n n a   K S ,   2 0 0 0 ,   J   A M   P L A N N   A S S O C ,   V 6 6 ,   P 3 9 8 ,   D O I   1 0 . 1 0 8 0 / 0 1 9 4 4 3 6 0 0 0 8 9 7 6 1 2 3 ;   H a r t z - K a r p   J ,   2 0 0 7 ,   J   P U B L I C   D E L I B E R A T I O ,   V 3 ;   H a y d e n   C ,   2 0 0 7 ,   N E W   M E D I A   S O C ,   V 9 ,   P 2 3 5 ,   D O I   1 0 . 1 1 7 7 / 1 4 6 1 4 4 4 8 0 7 0 7 5 0 0 2 ;   H i b b a r d   M ,   2 0 0 0 ,   J   P L A N   E D U C   R E S ,   V 2 0 ,   P 1 8 7 ,   D O I   1 0 . 1 1 7 7 / 0 7 3 9 4 5 6 X 0 0 0 2 0 0 0 2 0 5 ;   H O R R I G A N   J ,   2 0 0 7 ,   B R O A D B A N D   W H A T S   A L L ;   H o r r i g a n   J . ,   2 0 0 7 ,   H O M E   B R O A D B A N D   A D O P T ;   H O R R I G A N   J B ,   2 0 0 7 ,   U S   L A G S   W H Y   I T   W I L L ;   H o r r i g a n   J o h n   B ,   2 0 0 6 ,   H O M E   B R O A D B A N D   A D O P T ;   H o u   J ,   2 0 0 7 ,   J   P L A N   E D U C   R E S ,   V 2 6 ,   P 3 0 1 ,   D O I   1 0 . 1 1 7 7 / 0 7 3 9 4 5 6 X 0 6 2 9 7 8 5 8 ;   H O W E   J ,   2 0 0 6 ,   N E O N E O L O G I S M S   C R O W D S ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   P 1 4 ;   H O W E   J ,   2 0 0 6 ,   C U S T O M E R   M A D E   S I T E   C ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   H o w e   J . ,   2 0 0 6 ,   C R O W D S O U R C I N G   D E F I N I ;   H o w e   J e f f ,   2 0 0 6 ,   P U R E   U N A D U L T E R A T E D   S ;   H u l l   A ,   2 0 0 0 ,   E U R   P L A N   S T U D ,   V 8 ,   P 7 6 7 ,   D O I   1 0 . 1 0 8 0 / 7 1 3 6 6 6 4 3 3 ;   I G N A T I U S   D ,   2 0 0 1 ,   I N T   H E R A L D   T R I B   0 1 2 9 ;   I n n e s   J E ,   2 0 0 7 ,   J   A M   P L A N N   A S S O C ,   V 7 3 ,   P 1 9 5 ,   D O I   1 0 . 1 0 8 0 / 0 1 9 4 4 3 6 0 7 0 8 9 7 6 1 5 3 ;   K i n g s t o n   R . ,   2 0 0 7 ,   C A R T O G R   J ,   V 4 4 ,   P 1 3 8 ,   D O I   1 0 . 1 1 7 9 / 0 0 0 8 7 0 4 0 7 X 2 1 3 4 5 9 ;   L a k h a n i   K .   R . ,   2 0 0 7 ,   0 7 0 5 0   H A R V   B U S   S C H ;   L a k h a n i   K .   R . ,   2 0 0 7 ,   I N N O V A T I O N S   T E C H N O L O ,   V 2 ,   P 9 7 ,   D O I   1 0 . 1 1 6 2 / i t g g . 2 0 0 7 . 2 . 3 . 9 7 ;   L a k h a n i   K R ,   2 0 0 7 ,   H A R V A R D   B U S   R E V ,   V 8 5 ,   P 3 0 ;   L a n e   M B ,   2 0 0 3 ,   J   P L A N   E D U C   R E S ,   V 2 2 ,   P 3 6 0 ,   D O I   1 0 . 1 1 7 7 / 0 7 3 9 4 5 6 X 0 3 2 5 2 6 8 4 ;   L a R o s e   R ,   2 0 0 7 ,   T E L E C O M M U N   P O L I C Y ,   V 3 1 ,   P 3 5 9 ,   D O I   1 0 . 1 0 1 6 / j . t e l p o l . 2 0 0 7 . 0 4 . 0 0 4 ;   L a u r i a n   L ,   2 0 0 3 ,   J   P L A N   E D U C   R E S ,   V 2 2 ,   P 2 5 7 ,   D O I   1 0 . 1 1 7 7 / 0 7 3 9 4 5 6 X 0 2 2 5 0 3 1 6 ;   L e s s i g   L a w r e n c e ,   1 9 9 9 ,   C O D E   O T H E R   L A W S   C Y B E ;   L e v y   P . ,   1 9 9 7 ,   C O L L E C T I V E   I N T E L L I G E ;   M A C K   T C ,   2 0 0 4 ,   F U T U R E S   R E S   Q ,   V 2 0 ,   P 6 1 ;   M a i e r   K ,   2 0 0 1 ,   E U R   P L A N   S T U D ,   V 9 ,   P 7 0 7 ,   D O I   1 0 . 1 0 8 0 / 0 9 6 5 4 3 1 0 1 2 0 0 7 3 7 7 5 ;   M A S U M   H ,   2 0 0 6 ,   1   M O N D A Y ,   V 1 1 ;   M a u   B r u c e ,   2 0 0 4 ,   M A S S I V E   C H A N G E ;   M i l l w a r d   P ,   2 0 0 3 ,   1   M O N D A Y ,   V 8 ;   M i r a f t a b   F ,   2 0 0 3 ,   J   P L A N   E D U C   R E S ,   V 2 2 ,   P 2 2 6 ,   D O I   1 0 . 1 1 7 7 / 0 7 3 9 4 5 6 X 0 2 2 5 0 3 0 5 ;   M o u f f e   C . ,   2 0 0 0 ,   D E M O C R A T I C   P A R A D O X ;   N a n c e   E ,   2 0 0 7 ,   J   P L A N   E D U C   R E S ,   V 2 6 ,   P 2 8 4 ,   D O I   1 0 . 1 1 7 7 / 0 7 3 9 4 5 6 X 0 6 2 9 5 0 2 8 ;   N o v e c k   B . ,   2 0 0 6 ,   H A R V   J   L   T E C H ,   V 2 0 ,   P 1 2 3 ;   O S T W A L D   M ,   2 0 0 0 ,   C Y B E R C U L T U R E S   R E A D E R ,   P 6 5 8 ;   P E A R S O N   L B ,   1 9 5 7 ,   U   O S L   N O R W   1 1   D E C ;   P I M B E R T   M ,   2 0 0 1 ,   P L A   N O T E S ,   V 4 0 ,   P 2 3 ;   P o s t   R ,   1 9 9 5 ,   C O N S T I T U T I O N A L   D O M A I ;   P u t n a m   R . D . ,   2 0 0 0 ,   B O W L I N G   A L O N E   C O L L A P ;   R a n d o l p h   J ,   2 0 0 4 ,   E N V   L A N D   U S E   P L A N N I N ;   R o s s i t e r   N e d ,   2 0 0 6 ,   O R G   N E T W O R K S   M E D I A   T ;   S c h l o s s b e r g   M . ,   2 0 0 5 ,   U R I S A   J ,   V 1 6 ,   P 1 5 ;   S o t a r a u t a   M ,   2 0 0 1 ,   E U R   P L A N   S T U D ,   V 9 ,   P 6 9 3 ,   D O I   1 0 . 1 0 8 0 / 0 9 6 5 4 3 1 0 1 2 0 0 7 3 7 6 6 ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   V a n   H e r z e l e   A ,   2 0 0 4 ,   J   P L A N   E D U C   R E S ,   V 2 4 ,   P 1 9 7 ,   D O I   1 0 . 1 1 7 7 / 0 7 3 9 4 5 6 X 0 4 2 6 7 7 2 3 ;   V o n   H i p p e l   E ,   1 9 8 8 ,   S O U R C E S   I N N O V A T I O N ;   v o n   H i p p e l   E r i c ,   2 0 0 5 ,   D E M O C R A T I Z I N G   I N N O V A ;   W a r r e n   M ,   2 0 0 7 ,   T E L E C O M M U N   P O L I C Y ,   V 3 1 ,   P 3 7 4 ,   D O I   1 0 . 1 0 1 6 / j . t e l p o l . 2 0 0 7 . 0 4 . 0 0 1 	 8 3 	 3 5 	 3 7 	 S A G E   P U B L I C A T I O N S   I N C 	 T H O U S A N D   O A K S 	 2 4 5 5   T E L L E R   R D ,   T H O U S A N D   O A K S ,   C A   9 1 3 2 0   U S A 	 1 4 7 3 - 0 9 5 2 	 	 	 P L A N   T H E O R 	 P l a n .   T h e o r y 	 A U G 	 2 0 0 9 	 8 	 3 	 	 	 	 	 2 4 2 	 2 6 2 	 	 1 0 . 1 1 7 7 / 1 4 7 3 0 9 5 2 0 9 1 0 4 8 2 4 	 	 2 1 	 P l a n n i n g   &   D e v e l o p m e n t 	 P u b l i c   A d m i n i s t r a t i o n 	 6 0 8 P S 	 W O S : 0 0 0 2 7 8 5 9 8 8 0 0 0 0 2 	 	 
 J 	 O p r e a ,   T I ;   B o l o g a ,   C G ;   B o y e r ,   S ;   C u r p a n ,   R F ;   G l e n ,   R C ;   H o p k i n s ,   A L ;   L i p i n s k i ,   C A ;   M a r s h a l l ,   G R ;   M a r t i n ,   Y C ;   O s t o p o v i c i - H a l i p ,   L ;   R i s h t o n ,   G ;   U r s u ,   O ;   V a z ,   R J ;   W a l l e r ,   C ;   W a l d m a n n ,   H ;   S k l a r ,   L A 	 	 	 	 O p r e a ,   T u d o r   I . ;   B o l o g a ,   C r i s t i a n   G . ;   B o y e r ,   S c o t t ;   C u r p a n ,   R a m o n a   F . ;   G l e n ,   R o b e r t   C . ;   H o p k i n s ,   A n d r e w   L . ;   L i p i n s k i ,   C h r i s t o p h e r   A . ;   M a r s h a l l ,   G a r l a n d   R . ;   M a r t i n ,   Y v o n n e   C . ;   O s t o p o v i c i - H a l i p ,   L i l i a n a ;   R i s h t o n ,   G i l b e r t ;   U r s u ,   O l e g ;   V a z ,   R o y   J . ;   W a l l e r ,   C h r i s ;   W a l d m a n n ,   H e r b e r t ;   S k l a r ,   L a r r y   A . 	 	 	 A   c r o w d s o u r c i n g   e v a l u a t i o n   o f   t h e   N I H   c h e m i c a l   p r o b e s   ( v o l   5 ,   p g   4 4 1 ,   2 0 0 9 ) 	 N A T U R E   C H E M I C A L   B I O L O G Y 	 	 	 E n g l i s h 	 C o r r e c t i o n 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 O p r e a   T I ,   2 0 0 9 ,   N A T   C H E M   B I O L ,   V 5 ,   P 4 4 1 ,   D O I   1 0 . 1 0 3 8 / n c h e m b i o 0 7 0 9 - 4 4 1 	 1 	 0 	 0 	 N A T U R E   P U B L I S H I N G   G R O U P 	 N E W   Y O R K 	 7 5   V A R I C K   S T ,   9 T H   F L R ,   N E W   Y O R K ,   N Y   1 0 0 1 3 - 1 9 1 7   U S A 	 1 5 5 2 - 4 4 5 0 	 	 	 N A T   C H E M   B I O L 	 N a t .   C h e m .   B i o l . 	 J U L 	 2 0 0 9 	 5 	 7 	 	 	 	 	 	 	 	 	 	 1 	 B i o c h e m i s t r y   &   M o l e c u l a r   B i o l o g y 	 B i o c h e m i s t r y   &   M o l e c u l a r   B i o l o g y 	 4 6 1 K Q 	 W O S : 0 0 0 2 6 7 2 6 6 1 0 0 0 0 4 	 	 
 J 	 O p r e a ,   T I ;   B o l o g a ,   C G ;   B o y e r ,   S ;   C u r p a n ,   R F ;   G l e n ,   R C ;   H o p k i n s ,   A L ;   L i p i n s k i ,   C A ;   M a r s h a l l ,   G R ;   M a r t i n ,   Y C ;   O s t o p o v i c i - H a l i p ,   L ;   R i s h t o n ,   G ;   U r s u ,   O ;   V a z ,   R J ;   W a l l e r ,   C ;   W a l d m a n n ,   H ;   S k l a r ,   L A 	 	 	 	 O p r e a ,   T u d o r   I . ;   B o l o g a ,   C r i s t i a n   G . ;   B o y e r ,   S c o t t ;   C u r p a n ,   R a m o n a   F . ;   G l e n ,   R o b e r t   C . ;   H o p k i n s ,   A n d r e w   L . ;   L i p i n s k i ,   C h r i s t o p h e r   A . ;   M a r s h a l l ,   G a r l a n d   R . ;   M a r t i n ,   Y v o n n e   C . ;   O s t o p o v i c i - H a l i p ,   L i l i a n a ;   R i s h t o n ,   G i l b e r t ;   U r s u ,   O l e g ;   V a z ,   R o y   J . ;   W a l l e r ,   C h r i s ;   W a l d m a n n ,   H e r b e r t ;   S k l a r ,   L a r r y   A . 	 	 	 A   c r o w d s o u r c i n g   e v a l u a t i o n   o f   t h e   N I H   c h e m i c a l   p r o b e s 	 N A T U R E   C H E M I C A L   B I O L O G Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 D R U G   D I S C O V E R Y ;   L E A D   D I S C O V E R Y ;   L I B R A R I E S ;   P R E D I C T I O N ;   D E S I G N ;   I D E N T I F I C A T I O N ;   C A N D I D A T E S 	 B e t w e e n   2 0 0 4   a n d   2 0 0 8 ,   t h e   U S   N a t i o n a l   I n s t i t u t e s   o f   H e a l t h   M o l e c u l a r   L i b r a r i e s   a n d   I m a g i n g   i n i t i a t i v e   p i l o t   p h a s e   f u n d e d   1 0   h i g h - t h r o u g h p u t   s c r e e n i n g   c e n t e r s ,   r e s u l t i n g   i n   t h e   d e p o s i t i o n   o f   6 9 1   a s s a y s   i n t o   P u b C h e m   a n d   t h e   n o m i n a t i o n   o f   6 4   c h e m i c a l   p r o b e s .   W e   c r o w d s o u r c e d   t h e   M o l e c u l a r   L i b r a r i e s   a n d   I m a g i n g   i n i t i a t i v e   o u t p u t   t o   1 1   e x p e r t s ,   w h o   e x p r e s s e d   m e d i u m   o r   h i g h   l e v e l s   o f   c o n f i d e n c e   i n   4 8   o f   t h e s e   6 4   p r o b e s . 	 [ O p r e a ,   T u d o r   I . ;   B o l o g a ,   C r i s t i a n   G . ;   C u r p a n ,   R a m o n a   F . ;   O s t o p o v i c i - H a l i p ,   L i l i a n a ;   U r s u ,   O l e g ;   S k l a r ,   L a r r y   A . ]   U n i v   N e w   M e x i c o ,   S c h   M e d ,   C t r   M o l   D i s c o v e r y ,   A l b u q u e r q u e ,   N M   8 7 1 3 1   U S A ;   [ B o y e r ,   S c o t t ]   A s t r a Z e n e c a   R & D ,   G l o b a l   S a f e t y   A s s e s s m e n t ,   M o l n d a l ,   S w e d e n ;   [ C u r p a n ,   R a m o n a   F . ;   O s t o p o v i c i - H a l i p ,   L i l i a n a ]   A c a d   R o m a n a ,   I n s t   C h e m ,   T i m i s o a r a ,   R o m a n i a ;   [ G l e n ,   R o b e r t   C . ]   U n i l e v e r   C t r   M o l   S c i   I n f o r m a t ,   D e p t   C h e m ,   C a m b r i d g e ,   E n g l a n d ;   [ H o p k i n s ,   A n d r e w   L . ]   U n i v   D u n d e e ,   C o l l   L i f e   S c i ,   D i v   B i o l   C h e m   &   D r u g   D i s c o v e r y ,   D u n d e e ,   S c o t l a n d ;   [ L i p i n s k i ,   C h r i s t o p h e r   A . ]   M e l i o r   D i s c o v e r y ,   W a t e r f o r d ,   C T   U S A ;   [ M a r s h a l l ,   G a r l a n d   R . ]   W a s h i n g t o n   U n i v ,   C t r   C o m p u t a t   B i o l ,   S t   L o u i s ,   M O   U S A ;   [ R i s h t o n ,   G i l b e r t ]   C a l i f   S t a t e   U n i v ,   C h a n n e l   I s l a n d s   A l z h e i m e r s   I n s t ,   C a m a r i l l o ,   C A   U S A ;   [ V a z ,   R o y   J . ]   S a n o f i   A v e n t i s   P h a r m a c e u t ,   B r i d g e w a t e r ,   N J   U S A ;   [ W a l l e r ,   C h r i s ]   P f i z e r   I n c ,   P f i z e r   G l o b a l   R & D ,   C h e m   I n f o r m a t ,   G r o t o n ,   C T   0 6 3 4 0   U S A ;   [ W a l d m a n n ,   H e r b e r t ]   M a x   P l a n c k   I n s t   M o l   P h y s i o l ,   A b t   C h e m   B i o l   4 ,   D - 4 4 1 3 9   D o r t m u n d ,   G e r m a n y ;   [ W a l d m a n n ,   H e r b e r t ]   T e c h   U n i v   D o r t m u n d ,   F a c   C h e m ,   D o r t m u n d ,   G e r m a n y 	 O p r e a ,   T I   ( r e p r i n t   a u t h o r ) ,   U n i v   N e w   M e x i c o ,   S c h   M e d ,   C t r   M o l   D i s c o v e r y ,   A l b u q u e r q u e ,   N M   8 7 1 3 1   U S A . 	 t o p r e a @ s a l u d . u n m . e d u ;   l s k a r @ s a l u d . u n m . e d u 	 O p r e a ,   T u d o r / A - 5 7 4 6 - 2 0 1 1 ;   B o l o g a ,   C r i s t i a n / A - 7 9 5 2 - 2 0 1 0 	 O p r e a ,   T u d o r / 0 0 0 0 - 0 0 0 2 - 6 1 9 5 - 6 9 7 6 ;   	 	 	 A d a m s   C P ,   2 0 0 6 ,   H E A L T H   A F F A I R ,   V 2 5 ,   P 4 2 0 ,   D O I   1 0 . 1 3 7 7 / h l t h a f f . 2 5 . 2 . 4 2 0 ;   A j a y ,   1 9 9 8 ,   J   M E D   C H E M ,   V 4 1 ,   P 3 3 1 4 ,   D O I   1 0 . 1 0 2 1 / j m 9 7 0 6 6 6 c ;   A u s t i n   C P ,   2 0 0 4 ,   S C I E N C E ,   V 3 0 6 ,   P 1 1 3 8 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 0 5 5 1 1 ;   C h e s b r o u g h   H . ,   2 0 0 3 ,   O P E N   I N N O V A T I O N   N E W ;   H a n n   M M ,   2 0 0 1 ,   J   C H E M   I N F   C O M P   S C I ,   V 4 1 ,   P 8 5 6 ,   D O I   1 0 . 1 0 2 1 / c i 0 0 0 4 0 3 i ;   H o p k i n s   A L ,   2 0 0 6 ,   A N N U   R E P   M E D   C H E M ,   V 4 1 ,   P 4 2 5 ,   D O I   1 0 . 1 0 1 6 / S 0 0 6 5 - 7 7 4 3 ( 0 6 ) 4 1 0 2 9 - 0 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   I n g l e s e   J ,   2 0 0 7 ,   N A T   C H E M   B I O L ,   V 3 ,   P 4 3 8 ,   D O I   1 0 . 1 0 3 8 / n c h e m b i o 0 8 0 7 - 4 3 8 ;   K a i s e r   J ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 1 ,   P 7 6 4 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 3 2 1 . 5 8 9 0 . 7 6 4 ;   K e s e r u   G M ,   2 0 0 9 ,   N A T   R E V   D R U G   D I S C O V ,   V 8 ,   P 2 0 3 ,   D O I   1 0 . 1 0 3 8 / n r d 2 7 9 6 ;   K r a m e r   J A ,   2 0 0 7 ,   N A T   R E V   D R U G   D I S C O V ,   V 6 ,   P 6 3 6 ,   D O I   1 0 . 1 0 3 8 / n r d 2 3 7 8 ;   L E O   A J ,   1 9 9 3 ,   C H E M   R E V ,   V 9 3 ,   P 1 2 8 1 ,   D O I   1 0 . 1 0 2 1 / c r 0 0 0 2 0 a 0 0 1 ;   L i p i n s k i   C A ,   1 9 9 7 ,   A D V   D R U G   D E L I V E R   R E V ,   V 2 3 ,   P 3 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 9 - 4 0 9 X ( 9 6 ) 0 0 4 2 3 - 1 ;   M c G o v e r n   S L ,   2 0 0 3 ,   J   M E D   C H E M ,   V 4 6 ,   P 4 2 6 5 ,   D O I   1 0 . 1 0 2 1 / j m 0 3 0 2 6 6 r ;   N o r i n d e r   U ,   2 0 0 2 ,   A D V   D R U G   D E L I V E R   R E V ,   V 5 4 ,   P 2 9 1 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 9 - 4 0 9 X ( 0 2 ) 0 0 0 0 5 - 4 ;   O p r e a   T I ,   2 0 0 2 ,   J   B R A Z I L   C H E M   S O C ,   V 1 3 ,   P 8 1 1 ,   D O I   1 0 . 1 5 9 0 / S 0 1 0 3 - 5 0 5 3 2 0 0 2 0 0 0 6 0 0 0 1 3 ;   O p r e a   T I ,   2 0 0 4 ,   C U R R   O P I N   C H E M   B I O L ,   V 8 ,   P 3 4 9 ,   D O I   1 0 . 1 0 1 6 / j . c b p a . 2 0 0 4 . 0 6 . 0 0 8 ;   P o l a n y i   M . ,   1 9 7 4 ,   P E R S O N A L   K N O W L E D G E   P ;   R i s h t o n   G M ,   1 9 9 7 ,   D R U G   D I S C O V   T O D A Y ,   V 2 ,   P 3 8 2 ,   D O I   1 0 . 1 0 1 6 / S 1 3 5 9 - 6 4 4 6 ( 9 7 ) 0 1 0 8 3 - 0 ;   R i s h t o n   G M ,   2 0 0 8 ,   C U R R   O P I N   C H E M   B I O L ,   V 1 2 ,   P 3 4 0 ,   D O I   1 0 . 1 0 1 6 / j . c b p a . 2 0 0 8 . 0 2 . 0 0 8 ;   R o c h e   O ,   2 0 0 2 ,   J   M E D   C H E M ,   V 4 5 ,   P 1 3 7 ,   D O I   1 0 . 1 0 2 1 / j m 0 1 0 9 3 4 d ;   S a d o w s k i   J ,   1 9 9 8 ,   J   M E D   C H E M ,   V 4 1 ,   P 3 3 2 5 ,   D O I   1 0 . 1 0 2 1 / j m 9 7 0 6 7 7 6 ;   S e i d l e r   J ,   2 0 0 3 ,   J   M E D   C H E M ,   V 4 6 ,   P 4 4 7 7 ,   D O I   1 0 . 1 0 2 1 / j m 0 3 0 1 9 1 r ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   T e a g u e   S J ,   1 9 9 9 ,   A N G E W   C H E M   I N T   E D I T ,   V 3 8 ,   P 3 7 4 3 ,   D O I   1 0 . 1 0 0 2 / ( S I C I ) 1 5 2 1 - 3 7 7 3 ( 1 9 9 9 1 2 1 6 ) 3 8 : 2 4 < 3 7 4 3 : : A I D - A N I E 3 7 4 3 > 3 . 3 . C O ; 2 - L ;   T e t k o   I V ,   2 0 0 1 ,   J   C H E M   I N F   C O M P   S C I ,   V 4 1 ,   P 1 4 0 7 ,   D O I   1 0 . 1 0 2 1 / c i 0 1 0 3 6 8 v ;   V a z   R .   J . ,   2 0 0 8 ,   A N T I T A R G E T S ;   Y o u n g   S M ,   2 0 0 5 ,   J   B I O M O L   S C R E E N ,   V 1 0 ,   P 3 7 4 ,   D O I   1 0 . 1 1 7 7 / 1 0 8 7 0 5 7 1 0 5 2 7 4 5 3 2 	 2 9 	 5 8 	 5 8 	 N A T U R E   P U B L I S H I N G   G R O U P 	 N E W   Y O R K 	 7 5   V A R I C K   S T ,   9 T H   F L R ,   N E W   Y O R K ,   N Y   1 0 0 1 3 - 1 9 1 7   U S A 	 1 5 5 2 - 4 4 5 0 	 	 	 N A T   C H E M   B I O L 	 N a t .   C h e m .   B i o l . 	 J U L 	 2 0 0 9 	 5 	 7 	 	 	 	 	 4 4 1 	 4 4 7 	 	 1 0 . 1 0 3 8 / n c h e m b i o 0 7 0 9 - 4 4 1 	 	 7 	 B i o c h e m i s t r y   &   M o l e c u l a r   B i o l o g y 	 B i o c h e m i s t r y   &   M o l e c u l a r   B i o l o g y 	 4 6 1 K Q 	 W O S : 0 0 0 2 6 7 2 6 6 1 0 0 0 0 3 	 1 9 5 3 6 1 0 1 	 
 J 	 L e i m e i s t e r ,   J M ;   H u b e r ,   M ;   B r e t s c h n e i d e r ,   U ;   K r c m a r ,   H 	 	 	 	 L e i m e i s t e r ,   J a n   M a r c o ;   H u b e r ,   M i c h a e l ;   B r e t s c h n e i d e r ,   U l r i c h ;   K r c m a r ,   H e l m u t 	 	 	 L e v e r a g i n g   C r o w d s o u r c i n g :   A c t i v a t i o n - S u p p o r t i n g   C o m p o n e n t s   f o r   I T - B a s e d   I d e a s   C o m p e t i t i o n 	 J O U R N A L   O F   M A N A G E M E N T   I N F O R M A T I O N   S Y S T E M S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 a c t i v a t i o n ;   c r o w d s o u r c i n g ;   E R P   s o f t w a r e ;   i d e a s   c o m p e t i t i o n ;   i n c e n t i v e s ;   m o t i v a t i o n ;   o p e n   i n n o v a t i o n ;   t h e o r y - d r i v e n   d e s i g n 	 O P E N - S O U R C E   P R O J E C T S ;   P R O D U C T   D E V E L O P M E N T ;   O P E N   I N N O V A T I O N ;   D E S I G N ;   U S E R S ;   C O M M U N I T I E S ;   C R E A T I V I T Y ;   T O O L K I T S 	 I d e a s   c o m p e t i t i o n s   a p p e a r   t o   b e   a   p r o m i s i n g   t o o l   f o r   c r o w d s o u r c i n g   a n d   o p e n   i n n o v a t i o n   p r o c e s s e s ,   e s p e c i a l l y   f o r   b u s i n e s s - t o - b u s i n e s s   s o f t w a r e   c o m p a n i e s .   A c t i v e   p a r t i c i p a t i o n   o f   p o t e n t i a l   l e a d   u s e r s   i s   t h e   k e y   t o   s u c c e s s .   Y e t   a   l o o k   a t   e x i s t i n g   i d e a s   c o m p e t i t i o n s   i n   t h e   s o f t w a r e   f i e l d   l e a d s   t o   t h e   c o n c l u s i o n   t h a t   m a n y   i n f o r m a t i o n   t e c h n o l o g y   ( I T ) - b a s e d   i d e a s   c o m p e t i t i o n s   f a i l   t o   m e e t   r e q u i r e m e n t s   u p o n   w h i c h   a c t i v e   p a r t i c i p a t i o n   i s   e s t a b l i s h e d .   T h e   p a p e r   d e s c r i b e s   h o w   a c t i v a t i o n - e n a b l i n g   f u n c t i o n a l i t i e s   c a n   b e   s y s t e m a t i c a l l y   d e s i g n e d   a n d   i m p l e m e n t e d   i n   a n   I T - b a s e d   i d e a s   c o m p e t i t i o n   f o r   e n t e r p r i s e   r e s o u r c e   p l a n n i n g   s o f t w a r e .   W e   p r o c e e d e d   t o   e v a l u a t e   t h e   o u t c o m e s   o f   t h e s e   d e s i g n   m e a s u r e s   a n d   f o u n d   t h a t   p a r t i c i p a t i o n   c a n   b e   s u p p o r t e d   u s i n g   a   t w o - s t e p   m o d e l .   T h e   c o m p o n e n t s   o f   t h e   m o d e l   s u p p o r t   i n c e n t i v e s   a n d   m o t i v e s   o f   u s e r s .   I n c e n t i v e s   a n d   m o t i v e s   o f   t h e   u s e r s   t h e n   s u p p o r t   t h e   p r o c e s s   o f   a c t i v a t i o n   a n d   c o n s e q u e n t l y   p a r t i c i p a t i o n   t h r o u g h o u t   t h e   i d e a s   c o m p e t i t i o n .   T h i s   c o n t r i b u t e s   t o   t h e   s u c c e s s f u l   i m p l e m e n t a t i o n   a n d   m a i n t e n a n c e   o f   t h e   i d e a s   c o m p e t i t i o n ,   t h e r e b y   p r o v i d i n g   s u p p o r t   f o r   t h e   d e v e l o p m e n t   o f   p r o m i s i n g   i n n o v a t i v e   i d e a s .   T h e   p a p e r   c o n c l u d e s   w i t h   a   d i s c u s s i o n   o f   f u r t h e r   a c t i v a t i o n - s u p p o r t i n g   c o m p o n e n t s   y e t   t o   b e   i m p l e m e n t e d   a n d   p o i n t s   t o   r i c h   p o s s i b i l i t i e s   f o r   f u t u r e   r e s e a r c h   i n   t h e s e   a r e a s . 	 [ L e i m e i s t e r ,   J a n   M a r c o ]   U n i v   K a s s e l ,   K a s s e l ,   G e r m a n y ;   [ L e i m e i s t e r ,   J a n   M a r c o ]   T e c h   U n i v   M u n i c h ,   D e p t   C o m p   S c i ,   M u n i c h ,   G e r m a n y ;   [ H u b e r ,   M i c h a e l ;   B r e t s c h n e i d e r ,   U l r i c h ]   T e c h   U n i v   M u n i c h ,   C h a i r   I n f o r m a t   S y s t ,   D - 8 0 0 0   M u n i c h ,   G e r m a n y ;   [ K r c m a r ,   H e l m u t ]   T e c h   U n i v   M u n i c h ,   D e p t   I n f o r m a t ,   D - 8 0 0 0   M u n i c h ,   G e r m a n y ;   [ K r c m a r ,   H e l m u t ]   N Y U ,   L e o n a r d   S t e r n   S c h   B u s i n e s s ,   N e w   Y o r k ,   N Y   1 0 0 0 3   U S A ;   [ K r c m a r ,   H e l m u t ]   C U N Y ,   B a r u c h   C o l l ,   N e w   Y o r k ,   N Y   U S A ;   [ K r c m a r ,   H e l m u t ]   U n i v   H o h e n h e i m ,   D - 7 0 0 0   S t u t t g a r t ,   G e r m a n y 	 L e i m e i s t e r ,   J M   ( r e p r i n t   a u t h o r ) ,   U n i v   K a s s e l ,   K a s s e l ,   G e r m a n y . 	 	 	 	 	 	 B O R T Z   J ,   2 0 0 6 ,   F O R S C H U N G S M E T H O D E N   E ;   B r i g g s   R O ,   2 0 0 6 ,   I N T   J   H U M - C O M P U T   S T ,   V 6 4 ,   P 5 7 3 ,   D O I   1 0 . 1 0 1 6 / j . i j h c s . 2 0 0 6 . 0 2 . 0 0 3 ;   C h e s b r o u g h   H ,   2 0 0 6 ,   R & D   M A N A G E ,   V 3 6 ,   P 2 2 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 6 . 0 0 4 2 8 . x ;   C h e s b r o u g h   H .   W . ,   2 0 0 7 ,   O P E N   B U S I N E S S   M O D E L S ;   C h e s b r o u g h   H W ,   2 0 0 3 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 4 ,   P 3 5 ;   C H U R C H I L L   G A ,   1 9 7 9 ,   J   M A R K E T I N G   R E S ,   V 1 6 ,   P 6 4 ,   D O I   1 0 . 2 3 0 7 / 3 1 5 0 8 7 6 ;   C o t h r e l   J .   P . ,   2 0 0 0 ,   S T R A T E G Y   L E A D E R S H I P ,   V 2 8 ,   P 1 7 ,   D O I   1 0 . 1 1 0 8 / 1 0 8 7 8 5 7 0 0 1 0 3 4 1 6 0 9 ;   D e c i   E .   L . ,   1 9 8 5 ,   I N T R I N S I C   M O T I V A T I O N ;   D u d a   J .   L . ,   1 9 9 8 ,   A D V   S P O R T   E X E R C I S E   P ,   P 2 1 ;   E b n e r   W . ,   2 0 0 8 ,   P   4 1   A N N   H A W   I N T   C   S ;   E n k e l   E . ,   2 0 0 5 ,   C R E A T I V I T Y   I N N O V A T I O ,   V 1 4 ,   P 4 2 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 6 9 1 . 2 0 0 5 . 0 0 3 6 2 . x ;   E r n s t   H . ,   2 0 0 4 ,   C R O S S   F U N C T I O N A L   I N N ,   P 1 9 2 ;   F r a n k e   N ,   2 0 0 4 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 1 ,   P 4 0 1 ,   D O I   1 0 . 1 1 1 1 / j . 0 7 3 7 - 6 7 8 2 . 2 0 0 4 . 0 0 0 9 4 . x ;   G A S S M A N N   O ,   2 0 0 6 ,   F U H R U N G   O R G ,   V 7 5 ,   P 1 3 2 ;   H a r s   A ,   2 0 0 2 ,   I N T   J   E L E C T R O N   C O M M ,   V 6 ,   P 2 5 ;   H e i d e r   F . ,   1 9 5 8 ,   P S Y C H O L   I N T E R P E R S O N A ;   H e r t e l   G ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 1 5 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 4 7 - 7 ;   H O L L   F L ,   2 0 0 6 ,   E N T W I C K L U N G E N   I N F O R M ,   V 2 ,   P 1 ;   J e p p e s e n   L B ,   2 0 0 6 ,   O R G A N   S C I ,   V 1 7 ,   P 4 5 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 5 0 . 0 1 5 6 ;   K l a n d e r m a n s   B ,   1 9 9 7 ,   S O C I A L   P S Y C H O L   P R O T E ;   K o u f t e r o s   X ,   2 0 0 5 ,   D E C I S I O N   S C I ,   V 3 6 ,   P 9 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 9 1 5 . 2 0 0 5 . 0 0 0 6 7 . x ;   K r i s t e n s s o n   P . ,   2 0 0 2 ,   C R E A T I V I T Y   I N N O V A T I O ,   V 1 1 ,   P 5 5 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 8 6 9 1 . 0 0 2 3 6 ;   L a k h a n i   K . ,   2 0 0 3 ,   4 4 2 5 0 3   M I T ;   L a k h a n i   K R ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 9 2 3 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 2 ) 0 0 0 9 5 - 1 ;   L e i m e i s t e r   J M ,   2 0 0 5 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 1 ,   P 1 0 1 ;   L e r n e r   J ,   2 0 0 2 ,   J   I N D   E C O N ,   V 5 0 ,   P 1 9 7 ;   L i b e r t   B . ,   2 0 0 7 ,   W E   A R E   S M A R T E R   M E ;   M A U S N E R   B ,   1 9 9 3 ,   M O T I V A T I O N   W O R K ;   P i l l e r   F T ,   2 0 0 6 ,   R & D   M A N A G E ,   V 3 6 ,   P 3 0 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 6 . 0 0 4 3 2 . x ;   R Y A N   R M ,   1 9 8 4 ,   C O G N I T I V E   S P O R T   P S Y C ,   P 2 3 1 ;   S h n e i d e r m a n   B . ,   2 0 0 0 ,   A C M   T r a n s a c t i o n s   o n   C o m p u t e r - H u m a n   I n t e r a c t i o n ,   V 7 ,   D O I   1 0 . 1 1 4 5 / 3 4 4 9 4 9 . 3 4 5 0 7 7 ;   S h n e i d e r m a n   B . ,   1 9 9 9 ,   P   3   C R E A T   C O G N   C ,   P 1 5 ,   D O I   1 0 . 1 1 4 5 / 3 1 7 5 6 1 . 3 1 7 5 6 5 ;   S h n e i d e r m a n   B ,   2 0 0 2 ,   C O M M U N   A C M ,   V 4 5 ,   P 1 1 6 ;   S i m o n   B ,   1 9 9 8 ,   J   P E R S   S O C   P S Y C H O L ,   V 7 4 ,   P 6 4 6 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 2 - 3 5 1 4 . 7 4 . 3 . 6 4 6 ;   S u r o w i e c k i   J a m e s ,   2 0 0 5 ,   W I S D O M   C R O W D S ;   T o u b i a   O ,   2 0 0 6 ,   M A R K E T   S C I ,   V 2 5 ,   P 4 1 1 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 0 5 0 . 0 1 6 6 ;   V a l l e r a n d   R .   J . ,   1 9 9 8 ,   A D V   S P O R T   E X E R C I S E   P ,   P 8 1 ;   V o n   H i p p e l   E ,   1 9 8 8 ,   S O U R C E S   I N N O V A T I O N ;   V O N H I P P E L   E ,   1 9 9 4 ,   M A N A G E   S C I ,   V 4 0 ,   P 4 2 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 0 . 4 . 4 2 9 ;   V O N H I P P E L   E ,   1 9 8 6 ,   M A N A G E   S C I ,   V 3 2 ,   P 7 9 1 ,   D O I   1 0 . 1 2 8 7 / m n s c . 3 2 . 7 . 7 9 1 ;   V O N R O S E N S T I E L   L ,   2 0 0 7 ,   G R U N D L A G E N   O R G A N I S A T ;   W a g n e r   C . ,   2 0 0 7 ,   P   4 0   A N N   H A W   I N T   C   S ;   W A L C H E R   P D ,   2 0 0 7 ,   I D E E N W E T T B E W E R B   A L S ;   Z H A N G   X ,   2 0 0 8 ,   1 2   I N T   C   C O M P   S U P P   C 	 4 4 	 6 4 	 6 8 	 M   E   S H A R P E   I N C 	 A R M O N K 	 8 0   B U S I N E S S   P A R K   D R ,   A R M O N K ,   N Y   1 0 5 0 4   U S A 	 0 7 4 2 - 1 2 2 2 	 	 	 J   M A N A G E   I N F O R M   S Y S T 	 J .   M a n a g e .   I n f o r m .   S y s t . 	 S U M 	 2 0 0 9 	 2 6 	 1 	 	 	 	 	 1 9 7 	 2 2 4 	 	 1 0 . 2 7 5 3 / M I S 0 7 4 2 - 1 2 2 2 2 6 0 1 0 8 	 	 2 8 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e ;   M a n a g e m e n t 	 C o m p u t e r   S c i e n c e ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e ;   B u s i n e s s   &   E c o n o m i c s 	 4 7 7 L L 	 W O S : 0 0 0 2 6 8 5 2 0 5 0 0 0 0 9 	 	 
 J 	 C r a m p t o n ,   J W 	 	 	 	 C r a m p t o n ,   J e r e m y   W . 	 	 	 C a r t o g r a p h y :   m a p s   2 . 0 	 P R O G R E S S   I N   H U M A N   G E O G R A P H Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c r o w d s o u r c i n g ;   F O S S ;   g e o s p a t i a l   w e b ;   l o c a t i v e   m e d i a ;   n e w   s p a t i a l   m e d i a ;   v i r t u a l   e a r t h 	 I N T E R N E T ;   W O R L D ;   P E R S P E C T I V E ;   D I G I P L A C E ;   W E B ;   G I S 	 	 G e o r g i a   S t a t e   U n i v ,   D e p t   G e o s c i ,   A t l a n t a ,   G A   3 0 3 0 2   U S A 	 C r a m p t o n ,   J W   ( r e p r i n t   a u t h o r ) ,   G e o r g i a   S t a t e   U n i v ,   D e p t   G e o s c i ,   P O B   4 1 0 5 ,   A t l a n t a ,   G A   3 0 3 0 2   U S A . 	 j c r a m p t o n @ g s u . e d u 	 C r a m p t o n ,   J e r e m y / H - 8 3 9 2 - 2 0 1 3 	 	 	 	 * A A A S ,   2 0 0 7 ,   H I G H   R E S   S A T   I M   C O N F ;   A d a m i c   L a d a ,   2 0 0 5 ,   P O L I T I C A L   B L O G O S P H E R ;   [ A n o n y m o u s ] ,   2 0 0 3 ,   S M A R T   M O B S   N E X T   S O C I ;   [ A n o n y m o u s ] ,   2 0 0 7 ,   E C O N O M I S T               0 9 0 6 ;   A r m s t r o n g   J ,   2 0 0 6 ,   C R A S H I N G   G A T E   N E T R O O ;   A R T H U R   C ,   2 0 0 6 ,   G U A R D I A N                 0 3 0 9 ;   B A R Z E E V   A ,   2 0 0 8 ,   C A R T O G R A P H I C A ,   V 4 3 ,   P 8 5 ;   B O E K E   K ,   1 9 7 8 ,   P O W E R S   1 0   F I L M   D E A L I ;   B u t l e r   D ,   2 0 0 6 ,   N A T U R E ,   V 4 3 9 ,   P 6 ,   D O I   1 0 . 1 0 3 8 / 4 3 9 0 0 6 a ;   B u t l e r   D ,   2 0 0 6 ,   N A T U R E ,   V 4 3 9 ,   P 7 7 6 ,   D O I   1 0 . 1 0 3 8 / 4 3 9 7 7 6 a ;   C a i   G . ,   2 0 0 5 ,   T   G I S ,   V 9 ,   P 1 9 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 6 7 1 . 2 0 0 5 . 0 0 2 1 3 . x ;   C h a k i   S P ,   2 0 0 5 ,   A P O P T O S I S ,   V 1 0 ,   P 3 9 5 ,   D O I   1 0 . 1 0 0 7 / s 1 0 4 9 5 - 0 0 5 - 0 8 1 3 - 7 ;   C o s g r o v e   D . ,   2 0 0 1 ,   A P O L L O S   E Y E   C A R T O G R A ;   C R A M P T O N   J ,   2 0 0 4 ,   P O L I T I C A L   M A P P I N G   C Y ;   D a v e   B ,   2 0 0 7 ,   E N V I R O N   P L A N N   B ,   V 3 4 ,   P 3 8 1 ,   D O I   1 0 . 1 0 6 8 / b 3 4 0 3 e d ;   D i B i a s e   D . ,   2 0 0 6 ,   G E O G R A P H I C   I N F O R M   S C ;   D I B O N A   C H R I S ,   2 0 0 6 ,   O P E N   S O U R C E S   2   0   C O N ;   D i c k e n s   C h a r l e s ,   1 9 8 0 ,   T A L E   2   C I T I E S ;   D o d g e   M ,   2 0 0 7 ,   E N V I R O N   P L A N N   B ,   V 3 4 ,   P 4 3 1 ,   D O I   1 0 . 1 0 6 8 / b 3 2 0 4 1 t ;   E L L I S O N   J ,   2 0 0 7 ,   G E O   C O N N E X I O N ,   V 6 ,   P 4 8 ;   E r l e   S . ,   2 0 0 5 ,   M A P P I N G   H A C K S ;   * E S R I ,   2 0 0 6 ,   A R C U S E R   M A G A Z I N E   J A N ;   F a i r h u r s t   R . ,   2 0 0 5 ,   B   S O C   U   C A R T O G R A P H E R ,   V 3 9 ,   P 5 7 ;   G i b s o n   W ,   1 9 8 4 ,   N E U R O M A N C E R ;   G i l e s   J ,   2 0 0 5 ,   N A T U R E ,   V 4 3 8 ,   P 9 0 0 ,   D O I   1 0 . 1 0 3 8 / 4 3 8 9 0 0 a ;   G i l l m o r   D a n ,   2 0 0 6 ,   W E   M E D I A   G R A S S R O O T S ;   G o r e   A . ,   1 9 9 8 ,   D I G I T A L   E A R T H   U N D E R S ;   H a l l   M ,   2 0 0 7 ,   M A R K   W I L L   D E M O C R A C Y ;   H A N K E   J ,   2 0 0 7 ,   D I S T I N G U I S H E D   I N N O V A ;   H A N K E   J ,   2 0 0 7 ,   2   0   C   2 9   M A Y   S A N   J O S ;   H a r d t   M i c h a e l ,   2 0 0 4 ,   M U L T I T U D E   W A R   D E M O C R ;   H A R L E Y   J B ,   1 9 8 7 ,   C A R T O G R A P H Y   P R E H I S T O ;   H a r r i s   L . ,   2 0 0 6 ,   A C M E   I N T   E   J   C R I T I C A ,   V 4 ,   P 9 9 ;   H e l f t   M . ,   2 0 0 7 ,   N Y   T I M E S ,   p A 1 ;   H o p f e r   S ,   2 0 0 7 ,   I N T   J   G E O G R   I N F   S C I ,   V 2 1 ,   P 9 2 1 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 5 8 8 1 0 7 0 1 3 7 7 7 8 0 ;   H o w e   J ,   2 0 0 6 ,   R I S E   C R O W D S O U R C I N G ;   J o h n s t o n   R . J . ,   2 0 0 0 ,   D I C T   H U M A N   G E O G R A P H Y ;   K e e n   A n d r e w ,   2 0 0 7 ,   C U L T   A M A T E U R   T O D A Y S ;   K i t c h i n   R ,   2 0 0 7 ,   P R O G   H U M   G E O G ,   V 3 1 ,   P 3 3 1 ,   D O I   1 0 . 1 1 7 7 / 0 3 0 9 1 3 2 5 0 7 0 7 7 0 8 2 ;   K n e a l e   J a m e s ,   2 0 0 2 ,   L O S T   S P A C E   G E O G R A P H I ;   L A B O T T   E ,   2 0 0 7 ,   G O O G L E   E A R T H   M A P S   D A ;   L i b e r t   B a r r y ,   2 0 0 8 ,   W E   A R E   S M A R T E R   M E   U N ;   L I V I N G S T O N E   D N ,   1 9 9 6 ,   G E O J O U R N A L ,   V 2 6 ,   P 2 2 8 ;   M a c E a c h r e n   A M ,   2 0 0 6 ,   C O M P U T   E N V I R O N   U R B A N ,   V 3 0 ,   P 2 0 1 ,   D O I   1 0 . 1 0 1 6 / j . c o m p e n v u r b s y s . 2 0 0 5 . 1 0 . 0 0 5 ;   M a c E a c h r e n   A M ,   2 0 0 5 ,   I N T   J   G E O G R   I N F   S C I ,   V 1 9 ,   P 2 9 3 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 5 8 8 1 0 4 1 2 3 3 1 2 8 0 1 5 8 ;   M A C E A C H R E N   A M ,   2 0 0 6 ,   A C M   I N T   C   P   S E R I E S ,   V 1 5 1 ,   P 7 1 ;   M a c e a c h r e n   A M ,   2 0 0 4 ,   I N T   J   G E O G R   I N F   S C I ,   V 1 8 ,   P 1 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 5 8 8 1 0 3 1 0 0 0 1 5 9 6 0 9 4 ;   M a c E a c h r e n   A M ,   1 9 9 8 ,   P R O G   H U M   G E O G ,   V 2 2 ,   P 5 7 5 ,   D O I   1 0 . 1 1 9 1 / 0 3 0 9 1 3 2 9 8 6 7 0 6 2 6 4 4 0 ;   T a y l o r   D R F ,   2 0 0 5 ,   M O D   C A R T O G R ,   V 4 ,   P 1 ;   M E J I A   R ,   2 0 0 7 ,   W A S H I N G T O N   P O S T   0 6 1 0 ,   p W 2 0 ;   M i l l e r   C .   C . ,   2 0 0 6 ,   C A R T O G R A P H I C A ,   V 4 1 ,   P 1 8 7 ,   D O I   1 0 . 3 1 3 8 / J 0 L 0 - 5 3 0 1 - 2 2 6 2 - N 7 7 9 ;   M i s a   T h o m a s ,   2 0 0 3 ,   M O D E R N I T Y   T E C H N O L O G Y ;   M o n m o n i e r   M . ,   2 0 0 2 ,   S P Y I N G   M A P S   S U R V E I L L ;   M o r v i l l e   P . ,   2 0 0 5 ,   A M B I E N T   F I N D A B I L I T Y ;   O R E I L L Y   T ,   2 0 0 6 ,   O P E N   S O U R C E S   2   0 ,   P 2 5 3 ;   P a g e   S E ,   2 0 0 7 ,   D I F F E R E N C E :   H O W   T H E   P O W E R   O F   D I V E R S I T Y   C R E A T E S   B E T T E R   G R O U P S ,   F I R M S ,   S C H O O L S ,   A N D   S O C I E T I E S ,   P 1 ;   P e a r c e   J M ,   2 0 0 7 ,   R E S O U R   C O N S E R V   R E C Y ,   V 5 1 ,   P 4 3 5 ,   D O I   1 0 . 1 0 1 6 / j . r e s c o n r e c . 2 0 0 6 . 1 0 . 0 1 0 ;   P e t e r s o n   M . ,   2 0 0 3 ,   M A P S   I N T E R N E T ;   P i c k l e s   J o h n ,   2 0 0 4 ,   H I S T   S P A C E S   C A R T O G R A ;   P l e w e   B . ,   2 0 0 7 ,   C A R T O G R   G E O G R   I N F   S C ,   V 3 4 ,   P 1 1 3 ,   D O I   1 0 . 1 5 5 9 / 1 5 2 3 0 4 0 0 7 7 8 1 0 0 2 2 5 3 ;   P R I E S T   C ,   1 9 7 8 ,   D R E A M   A R C H I P E L A G O ,   P 1 8 6 ;   R a i n i e   L . ,   2 0 0 7 ,   E L E C T I O N   2 0 0 6   O N L I N E ;   R a y m o n d   E . ,   2 0 0 1 ,   C A T H E D R A L   B A Z A A R   M U S ;   R a y m o n d   E .   S . ,   1 9 9 9 ,   K N O W L E D G E   T E C H N O L O G Y ,   V 1 2 ,   P 2 3 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 2 1 3 0 - 9 9 9 - 1 0 2 6 - 0 ;   R h e i n g o l d   H o w a r d ,   2 0 0 2 ,   S M A R T   M O B S   N E X T   S O C I ;   S c h a r l   A . ,   2 0 0 7 ,   G E O S P A T I A L   W E B   G E O B R ;   S c h u u r m a n   N ,   2 0 0 0 ,   P R O G   H U M   G E O G ,   V 2 4 ,   P 5 6 9 ,   D O I   1 0 . 1 1 9 1 / 0 3 0 9 1 3 2 0 0 1 0 0 1 8 9 1 1 1 ;   S t a l l m a n   R . ,   1 9 9 9 ,   O P E N   S O U R C E S   V O I C E S ,   P 5 3 ;   S t e p h e n s o n   N e a l ,   1 9 9 2 ,   S N O W   C R A S H ;   S u r o w i e k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   T a p s c o t t   D . ,   2 0 0 6 ,   W I K I N O M I C S   M A S S   C O L L ;   T a y l o r   D .   R .   F . ,   2 0 0 6 ,   C A R T O G R A P H I C A ,   V 4 1 ,   P 1 ,   D O I   1 0 . 3 1 3 8 / U 6 3 1 - 3 7 K 3 - 3 N L 6 - 4 1 3 6 ;   T u r n e r   A . ,   2 0 0 6 ,   I N T R O   N E O G E O G R A P H Y ;   V I N G E   V ,   2 0 0 1 ,   T R U E   N A M E S   V   V I N G E   O ;   W e b b   R ,   2 0 0 6 ,   N A T U R E ,   V 4 3 9 ,   P 8 0 0 ,   D O I   1 0 . 1 0 3 8 / 4 3 9 8 0 0 a ;   W e b e r   S . ,   2 0 0 4 ,   S U C C E S S   O P E N   S O U R C E ;   W o o d   D e n n i s ,   2 0 0 3 ,   C A R T O G R A P H I C   P E R S P E C ,   V 4 5 ,   P 4 ;   W o o d   D e n n i s ,   1 9 9 2 ,   P O W E R   M A P S ;   Z E T T E R   K ,   2 0 0 7 ,   E Y E S   S K I E S   D O C U M E N T ;   Z o o k   M ,   2 0 0 6 ,   A N N U   R E V   I N F O R M   S C I ,   V 4 0 ,   P 5 3 ,   D O I   1 0 . 1 0 0 2 / a r i s . 1 4 4 0 4 0 0 1 0 9 ;   Z o o k   M A ,   2 0 0 5 ,   I N F O R M   A G E   S E R ,   P 1 ,   D O I   1 0 . 1 0 0 2 / 9 7 8 0 4 7 0 7 7 4 2 5 0 ;   Z o o k   M A ,   2 0 0 7 ,   E N V I R O N   P L A N N   B ,   V 3 4 ,   P 4 6 6 ,   D O I   1 0 . 1 0 6 8 / b 3 3 1 1 ;   Z o o k   M A ,   2 0 0 7 ,   G E O F O R U M ,   V 3 8 ,   P 1 3 2 2 ,   D O I   1 0 . 1 0 1 6 / j . g e o f o r u m . 2 0 0 7 . 0 5 . 0 0 4 	 8 3 	 4 2 	 4 2 	 S A G E   P U B L I C A T I O N S   L T D 	 L O N D O N 	 1   O L I V E R S   Y A R D ,   5 5   C I T Y   R O A D ,   L O N D O N   E C 1 Y   1 S P ,   E N G L A N D 	 0 3 0 9 - 1 3 2 5 	 1 4 7 7 - 0 2 8 8 	 	 P R O G   H U M   G E O G 	 P r o g .   H u m .   G e o g r . 	 F E B 	 2 0 0 9 	 3 3 	 1 	 	 	 	 	 9 1 	 1 0 0 	 	 1 0 . 1 1 7 7 / 0 3 0 9 1 3 2 5 0 8 0 9 4 0 7 4 	 	 1 0 	 G e o g r a p h y 	 G e o g r a p h y 	 4 0 5 D O 	 W O S : 0 0 0 2 6 3 2 0 3 0 0 0 0 0 9 	 	 
 B 	 D i P a l a n t i n o ,   D ;   V o j n o v i c ,   M 	 	 	 A C M 	 D i P a l a n t i n o ,   D o m i n i c ;   V o j n o v i c ,   M i l a n 	 	 	 C r o w d s o u r c i n g   a n d   A l l - P a y   A u c t i o n s 	 1 0 T H   A C M   C O N F E R E N C E   O N   E L E C T R O N I C   C O M M E R C E   -   E C   2 0 0 9 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 0 t h   A C M   C o n f e r e n c e   o n   E l e c t r o n i c   C o m m e r c e   ( E C - 2 0 0 9 ) 	 J U L   0 6 - 1 0 ,   2 0 0 9 	 S t a n f o r d ,   C A 	 	 	 C r o w d s o u r c i n g ;   A l l - P a y   A u c t i o n s ;   C o n t e s t s ;   G a m e   T h e o r y 	 I N F O R M A T I O N ;   C O M P E T I T I O N ;   M A R K E T S ;   S E L L E R S 	 I n   t h i s   p a p e r   w e   p r e s e n t   a n d   a n a l y z e   a   m o d e l   i n   w h i c h   u s e r s   s e l e c t   a m o n g ,   a n d   s u b s e q u e n t l y   c o m p e t e   i n ,   a   c o l l e c t i o n   o f   c o n t e s t s   o f f e r i n g   v a r i o u s   r e w a r d s .   T h e   o b j e c t i v e   i s   t o   c a p t u r e   t h e   e s s e n t i a l   f e a t u r e s   o f   a   c r o w d s o u r c i n g   s y s t e m ,   a n   e n v i r o n m e n t   i n   w h i c h   d i v e r s e   t a s k s   a r e   p r e s e n t e d   t o   a   l a r g e   c o m m u n i t y .   W e   a i m   t o   d e m o n s t r a t e   t h e   p r e c i s e   r e l a t i o n s h i p   b e t w e e n   i n c e n t i v e s   a n d   p a r t i c i p a t i o n   i n   s u c h   s y s t e m s .   W e   m o d e l   c o n t e s t s   a s   a l l - p a y   a u c t i o n s   w i t h   i n c o m p l e t e   i n f o r m a t i o n ;   a s   a .   c o n s e q u e n c e   o f   r e v e n u e   e q u i v a l e n c e ,   o u r   m o d e l   m a y   a l s o   b e   i n t e r p r e t e d   m o r e   b r o a d l y   a s   o n e   i n   W h i c h   u s e r s   s e l e c t   a m o n g   a u c t i o n s   o f   h e t e r o g e n e o u s   g o o d s .   W e   p r e s e n t   t w o   r e g i m e s   i n   w h i c h   w e   f i n d   a n   e x p l i c i t   c o r r e s p o n d e n c e   i n   e q u i l i b r i u m   b e t w e e n   t h e   o f f e r e d   r e w a r d s   a n d   t h e   u s e r s '   p a r t i c i p a t i o n   l e v e l s .   T h e   r e g i m e s   r e s p e c t i v e l y   m o d e l   s i t u a t i o n s   i n   w h i c h   d i f f e r e n t   c o n t e s t s ;   r e q u i r e   s i m i l a r   o r   u n r e l a t e d   s k i l l s .   P r i n c i p a l l y ,   w e   f i n d   t h a t   r e w a r d s   y i e l d   l o g a r i t h m i c a l l y   d i m i n i s h i n g   r e t u r n s   w i t h   r e s p e c t   t o   p a r t i c i p a t i o n   l e v e l s .   W e   c o m p a r e   t h e s e   r e s u l t s   t o   e m p i r i c a l   d a t a   f r o m   t h e   c r o w d s o u r c i n g   s i t e   T a s k e n . c o m ;   w e   f i n d   t h a t   a s   w e   c o n d i t i o n   t h e   d a t a   o n   m o r e   e x p e r i e n c e d   u s e r s ,   t h e   m o d e l   m o r e   c l o s e l y   c o n f o r m s   t o   t h e   e m p i r i c a l   d a t a . 	 [ D i P a l a n t i n o ,   D o m i n i c ]   S t a n f o r d   U n i v ,   S t a n f o r d ,   C A   9 4 3 0 5   U S A 	 D i P a l a n t i n o ,   D   ( r e p r i n t   a u t h o r ) ,   S t a n f o r d   U n i v ,   3 8 0   P a n a m a   S t ,   S t a n f o r d ,   C A   9 4 3 0 5   U S A . 	 d o m d i p @ s t a n f o r d . e d u ;   m i l a n v @ m i c r o s o f t . c o m 	 	 	 	 	 A s h l a g i   I . ,   2 0 0 8 ,   P   4   W O R K S H   A D   A U C T   C ;   B a y e   M R ,   1 9 9 6 ,   E C O N   T H E O R Y ,   V 8 ,   P 2 9 1 ,   D O I   1 0 . 1 0 0 7 / s 0 0 1 9 9 0 0 5 0 0 9 2 ;   C H E N   Y ,   2 0 0 8 ,   K N O W L E D G E   M A R K E T   D E S ;   D I P A L A N T I N O   D ,   2 0 0 9 ,   M S R T R 2 0 0 9 9 ;   H e r n a n d o - V e c i a n a   A ,   2 0 0 5 ,   J   E C O N   T H E O R Y ,   V 1 2 1 ,   P 1 0 7 ,   D O I   1 0 . 1 0 1 6 / j . j e t . 2 0 0 4 . 0 3 . 0 0 1 ;   K r i s h n a   V . ,   2 0 0 2 ,   A U C T I O N   T H E O R Y ;   M C A F E E   R P ,   1 9 9 3 ,   E C O N O M E T R I C A ,   V 6 1 ,   P 1 2 8 1 ,   D O I   1 0 . 2 3 0 7 / 2 9 5 1 6 4 3 ;   M I L G R O M   P R ,   1 9 8 2 ,   E C O N O M E T R I C A ,   V 5 0 ,   P 1 0 8 9 ,   D O I   1 0 . 2 3 0 7 / 1 9 1 1 8 6 5 ;   M I L G R O M   P R ,   1 9 8 5 ,   M A T H   O P E R   R E S ,   V 1 0 ,   P 6 1 9 ,   D O I   1 0 . 1 2 8 7 / m o o r . 1 0 . 4 . 6 1 9 ;   M o l d o v a n u   B ,   2 0 0 1 ,   A M   E C O N   R E V ,   V 9 1 ,   P 5 4 2 ,   D O I   1 0 . 1 2 5 7 / a e r . 9 1 . 3 . 5 4 2 ;   P E T E R S   M ,   1 9 9 9 ,   R E V   E C   D E S I G N ,   V 4 ,   P 2 7 3 ,   D O I   1 0 . 1 0 0 7 / s 1 0 0 5 8 0 0 5 0 0 3 8 ;   P e t e r s   M ,   1 9 9 7 ,   J   E C O N   T H E O R Y ,   V 7 5 ,   P 1 4 1 ,   D O I   1 0 . 1 0 0 6 / j e t h . 1 9 9 7 . 2 2 7 8 ;   W O L I N S K Y   A ,   1 9 8 8 ,   R E V   E C O N   S T U D ,   V 5 5 ,   P 7 1 ,   D O I   1 0 . 2 3 0 7 / 2 2 9 7 5 3 0 ;   Y a n g   J ,   2 0 0 8 ,   P   9   A C M   C   E L   C O M M ,   P 2 4 6 ,   D O I   1 0 . 1 1 4 5 / 1 3 8 6 7 9 0 . 1 3 8 6 8 2 9 	 1 4 	 8 	 8 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 1 5 1 5   B R O A D W A Y ,   N E W   Y O R K ,   N Y   1 0 0 3 6 - 9 9 9 8   U S A 	 	 	 9 7 8 - 1 - 6 0 5 5 8 - 4 5 8 - 4 	 	 	 	 2 0 0 9 	 	 	 	 	 	 	 1 1 9 	 1 2 8 	 	 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B W S 7 8 	 W O S : 0 0 0 2 9 4 7 4 4 4 0 0 0 1 4 	 	 
 S 	 W a n g ,   B ;   H o u ,   B A ;   Y a o ,   Y P ;   Y a n ,   L B 	 	 T u r n e r ,   S J ;   R o b e r t s ,   D ;   C a i ,   W ;   E l S a d d i k ,   A 	 	 W a n g ,   B i n g ;   H o u ,   B o n a n ;   Y a o ,   Y i p i n g ;   Y a n ,   L a i b i n 	 	 	 H u m a n   F l e s h   S e a r c h   M o d e l   I n c o r p o r a t i n g   N e t w o r k   E x p a n s i o n   a n d   G O S S I P   w i t h   F e e d b a c k 	 1 3 T H   I E E E / A C M   I N T E R N A T I O N A L   S Y M P O S I U M   O N   D I S T R I B U T E D   S I M U L A T I O N   A N D   R E A L - T I M E   A P P L I C A T I O N S ,   P R O C E E D I N G S 	 I E E E / A C M   I n t e r n a t i o n a l   S y m p o s i u m   o n   D i s t r i b u t e d   S i m u l a t i o n   a n d   R e a l - T i m e   A p p l i c a t i o n s 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 3 t h   I E E E / A C M   S y m p o s i u m   o n   D i s t r i b u t e d   S i m u l a t i o n   a n d   R e a l - T i m e   A p p l i c a t i o n s   ( D S - R T   2 0 0 9 ) 	 O C T   2 5 - 2 8 ,   2 0 0 9 	 S i n g a p o r e ,   S I N G A P O R E 	 I E E E ,   A C M 	 	 h u m a n   f l e s h   s e a r c h ( H F S ) ;   s o c i a l   n e t w o r k ;   c o m e p l e x   n e t w o r k ;   d i s t r i b u t e d   p r o b l e m   s o l v i n g ;   c r o w d s o u r c i n g ;   G O S S I P   w i t h   f e e d b a c k 	 	 W i t h   t h e   d e v e l o p m e n t   o f   o n - l i n e   f o r u m   t e c h n o l o g y   a n d   t h e   p e r v a s i v e   p a r t i c i p a t i o n   o f   t h e   p u b l i c ,   t h e   H u m a n   F l e s h   S e a r c h   i s   b e c o m i n g   a n   a r i s i n g   p h e n o m e n o n   w h i c h   m a k e s   a   g r e a t   i m p a c t   o n   o u r   d a i l y   l i f e .   T h e r e   a r o s e   b i g   r e s e a r c h   i n t e r e s t s   i n   s o c i a l ,   l e g a l   i s s u e s   r e s u l t e d   f r o m   H F S ,   h o w e v e r ,   v e r y   l i t t l e   w o r k   h a s   b e e n   c o n d u c t e d   t o   u n d e r s t a n d   h o w   i t   c o m e s   i n t o   b e i n g   a n d   h o w   i t   d y n a m i c a l l y   e v o l v e s .   T h i s   p a p e r   p r o p o s e s   a   m o d e l i n g   a n d   s i m u l a t i o n   a p p r o a c h   i n c o r p o r a t i n g   n e t w o r k   e x p a n s i o n   a n d   G O S S I P   p r o p a g a t i o n   w i t h   f e e d b a c k   f o r   a   b e t t e r   u n d e r s t a n d i n g   o f   t h e   h u m a n   f l e s h   s e a r c h   p h e n o m e n o n .   B a s e d   o n   t h e   a c q u i s i t i o n   a n d   a n a l y s i s   o f   t h e   n e t i z e n s '   s u r f i n g   b e h a v i o r   d a t a ,   t h e   e v o l u t i o n   o f   t h e   H F S   I s   m o d e l e d   a s   a   n e t w o r k   g r o w t h   p r o c e s s   w i t h   p r o p e r   d y n a m i c   i n p u t ,   w h i c h   i s   c h a r a c t e r i z e d   b y   h e a v y - t a i l   a n d   b u r s t - o r i e n t e d   d i s t r i b u t i o n ,   m o d e l i n g   a s   a   W e i b u l l o i d   p r o c e s s .   T h e n ,   a n   i m p r o v e d   G O S S I P   m o d e l   w i t h   f e e d b a c k   i s   p r o p o s e d   t o   r e p r e s e n t   t h e   i n f o r m a t i o n   p r o p a g a t i o n ,   p r o c e s s i n g   a n d   a g g r e g a t i o n   d u r i n g   t h e   H F S .   N e w   i n s i g h t s   f o r   H F S   a r e   g a i n e d   t h r o u g h   a   s e t   o f   s i m u l a t i o n   e x p e r i m e n t s . 	 [ W a n g ,   B i n g ;   H o u ,   B o n a n ;   Y a o ,   Y i p i n g ;   Y a n ,   L a i b i n ]   N a t l   U n i v   D e f   T e c h n o l ,   S c h   C o m p   S c i ,   C h a n g s h a ,   H u n a n ,   P e o p l e s   R   C h i n a 	 W a n g ,   B   ( r e p r i n t   a u t h o r ) ,   N a t l   U n i v   D e f   T e c h n o l ,   S c h   C o m p   S c i ,   C h a n g s h a ,   H u n a n ,   P e o p l e s   R   C h i n a . 	 w a n g b i n g @ n u d t . e d u . c n ;   b n h o u @ n u d t . e d u . c n ;   y p y a o @ n u d t . e d u . c n ;   l b y a n @ n u d t . e d u . c n 	 	 	 	 	 A g a r w a l   N . ,   2 0 0 8 ,   S I G K D D   E X P L O R A T I O N S ,   V 1 0 ,   P 1 8 ;   A l b e r t   R . ,   2 0 0 2 ,   R E V   M O D E R N   P H Y S ,   V 7 4 ,   D O I   a r X i v c o n d - m a t / 0 1 0 6 0 9 6 v 1 ;   A l b e r t   R ,   2 0 0 2 ,   R E V   M O D   P H Y S ,   V 7 4 ,   P 4 7 ,   D O I   1 0 . 1 1 0 3 / R e v M o d P h y s . 7 4 . 4 7 ;   B a n k s   J . ,   2 0 0 5 ,   D I S C R E T E   E V E N T   S Y S T E ;   B A R A B   A L ,   2 0 0 5 ,   O R I G I N   B U R S T S   H E A V Y ;   B a r a b a s i   A . -   L . ,   1 9 9 9 ,   S C I E N C E ,   V 2 8 6 ;   * C N N I C ,   2 4   C N N I C ;   D A N G E L O   G ,   2 0 0 9 ,   S I M U L A T I O N   S C A L E   F R E ;   D e z s o   Z . ,   2 0 0 6 ,   P H Y S   R E V   E ,   P 7 3 ;   E V A N S   B M ,   2 0 0 8 ,   M O D E L   U N D E R S T A N D I N G ;   F e r n a n d e s s   Y ,   2 0 0 8 ,   S P A A ' 0 8 :   P R O C E E D I N G S   O F   T H E   T W E N T I E T H   A N N U A L   S Y M P O S I U M   O N   P A R A L L E L I S M   I N   A L G O R I T H M S   A N D   A R C H I T E C T U R E S ,   P 9 1 ;   G A O   Y ,   2 0 0 7 ,   S P R I N G S I M   0 7 ,   P 1 4 5 ;   H o w e   J . ,   W I R E D   1 4   0 6   R I S E   C R O ;   L I U   L H ,   A R X I V P H Y S I C S 0 7 0 1 3 1 6 ;   O G R A D Y   E M ,   2 0 0 7 ,   N E T W O R K   F R A C T U R E   C O N ;   * T I M   O N L ,   H U M   F L E S H   S E A R C H   E N G ;   W A T T S   D J ,   1 9 9 8 ,   N A T U R E ,   V 4 4 0 ,   P 3 9 3 ;   W E I   H ,   2 0 0 9 ,   C H I N E S E   P H Y S   L E T T ,   V 2 6 ;   W E L L M A N   B ,   2 0 0 1 ,   N E T W O R K I N G   G U A N X I   S O ;   2 0 0 8 ,   R E N R O U S O U S U O ;   2 0 0 9 ,   C R O W D S O U R C I N G         A U G 	 2 1 	 3 	 3 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 2 6 4   U S A 	 1 5 5 0 - 6 5 2 5 	 	 9 7 8 - 0 - 7 6 9 5 - 3 8 6 8 - 6 	 I E E E   A C M   D I S   S I M 	 	 	 2 0 0 9 	 	 	 	 	 	 	 8 2 	 8 8 	 	 1 0 . 1 1 0 9 / D S - R T . 2 0 0 9 . 3 6 	 	 7 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 B N R 4 1 	 W O S : 0 0 0 2 7 5 3 1 6 1 0 0 0 1 0 	 	 
 S 	 S t o r e y ,   M A D 	 	 Z a i d m a n ,   A ;   A n t o n i o l ,   G ;   D u c a s e e ,   S 	 	 S t o r e y ,   M a r g a r e t - A n n e   D . 	 	 	 B e y o n d   t h e   L o n e   R e v e r s e   E n g i n e e r :   I n s o u r c i n g ,   O u t s o u r c i n g   a n d   C r o w d s o u r c i n g 	 1 6 T H   W O R K I N G   C O N F E R E N C E   O N   R E V E R S E   E N G I N E E R I N G   ( W C R E   2 0 0 9 ) 	 W o r k i n g   C o n f e r e n c e   o n   R e v e r s e   E n g i n e e r i n g 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 6 t h   W o r k i n g   C o n f e r e n c e   o n   R e v e r s e   E n g i n e e r i n g 	 O C T   1 3 - 1 6 ,   2 0 0 9 	 L i l l e ,   F R A N C E 	 R e e n g i n e e r i n g   F o r u m ,   I E E E   C S ,   T e c h n   C o u n c i l   S o f t w a r e   E n g n ,   I N R I A   L i l l e   N o r d   E u r o p e ,   S o f t w a r e   C o s t   A f f e c t i v e   C h a n g e   &   E v o l u t   R e s   L a b ,   D e l f t   U n i v   T e c h n o l ,   C P S ,   I E E E   C o m p   S o c 	 	 	 	 	 U n i v   V i c t o r i a ,   D e p t   C o m p   S c i ,   V i c t o r i a ,   B C   V 8 W   2 Y 2 ,   C a n a d a 	 S t o r e y ,   M A D   ( r e p r i n t   a u t h o r ) ,   U n i v   V i c t o r i a ,   D e p t   C o m p   S c i ,   V i c t o r i a ,   B C   V 8 W   2 Y 2 ,   C a n a d a . 	 m s t o r e y @ u v i c . c a 	 	 	 	 	 	 0 	 0 	 0 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 2 6 4   U S A 	 1 0 9 5 - 1 3 5 0 	 	 9 7 8 - 0 - 7 6 9 5 - 3 8 6 7 - 9 	 W O R K   C O N F   R E V E R S E   E N 	 	 	 2 0 0 9 	 	 	 	 	 	 	 3 	 3 	 	 1 0 . 1 1 0 9 / W C R E . 2 0 0 9 . 5 7 	 	 1 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 B U J 2 1 	 W O S : 0 0 0 2 8 9 4 9 8 1 0 0 0 0 1 	 	 
 B 	 V u k o v i c ,   M 	 	 Z h i a n g ,   L J 	 	 V u k o v i c ,   M a j a 	 	 	 C r o w d s o u r c i n g   f o r   E n t e r p r i s e s 	 2 0 0 9   I E E E   C O N G R E S S   O N   S E R V I C E S   ( S E R V I C E S - 1   2 0 0 9 ) ,   V O L S   1   A N D   2 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 4 t h   I E E E   C o n g r e s s   o n   S e r v i c e s 	 J U L   0 6 - 1 0 ,   2 0 0 9 	 L o s   A n g e l e s ,   C A 	 I E E E   C o m p   S o c   T e c h   C o m m   S e r v   C o m p 	 	 	 	 C r o w d s o u r c i n g   i s   e m e r g i n g   a s   t h e   n e w   o n - l i n e   d i s t r i b u t e d   p r o b l e m   s o l v i n g   a n d   p r o d u c t i o n   m o d e l   i n   w h i c h   n e t w o r k e d   p e o p l e   c o l l a b o r a t e   t o   c o m p l e t e   a   t a s k .   E n t e r p r i s e s   a r e   i n c r e a s i n g l y   e m p l o y i n g   c r o w d s o u r c i n g   t o   a c c e s s   s c a l a b l e   w o r k f o r c e   o n - l i n e .   I n   p a r a l l e l ,   c l o u d   c o m p u t i n g   h a s   e m e r g e d   a s   a   n e w   p a r a d i g m   f o r   d e l i v e r i n g   c o m p u t a t i o n a l   s e r v i c e s ,   w h i c h   s e a m l e s s l y ,   i n t e r w e a v e   p h y s i c a l   a n d   d i g i t a l   w o r l d s   t h r o u g h   a   c o m m o n   i n f r a s t r u c t u r e .   T h i s   p a p e r   p r e s e n t s   a   s a m p l e   c r o w d s o u r c i n g   s c e n a r i o   i n   s o f t w a r e   d e v e l o p m e n t   d o m a i n   t o   d e r i v e   t h e   r e q u i r e m e n t s   f o r   d e l i v e r i n g   a   g e n e r a l - p u r p o s e   c r o w d s o u r c i n g   s e t - v i c e   i n   t h e   C l o u d .   I t   p r o p o s e s   t a x o n o m y   f o r   c a t e g o r i z a t i o n   o f   c r o w d s o u r c i n g   p l a t f o r m s ,   a n d   e v a l u a t e s   a   n u m b e r   o f   e x i s t i n g   s y s t e m s   a g a i n s t   t h e   s e t   O f   i d e n t i f i e d   f e a t u r e s .   F i n a l l y ,   t h e   p a p e r   o u t l i n e s   a   r e s e a r c h   a g e n d a   f o r   e n h a n c i n g   c r o w d s o u r c i n g   c a p a b i l i t i e s ,   w i t h   f o c u s   o n   v i r t u a l   t e a m   b u i l d i n g   a n d   t a s k - b a s e d   s e t - v i c e   p r o v i s i o n i n g ,   w h o s e   l a c k   h a s   b e e n   a   b a r r i e r   t o   t h e   r e a l i z a t i o n   o f   a   p e e r - p r o d u c t i o n   m o d e l   t h a t   e n g a g e s   p r o v i d e r s   f r o m   a r o u n d   t h e   w o r l d . 	 	 	 m a j a @ u s . i b m . c o m 	 	 	 	 	 B O B R O W   D G ,   2 0 0 2 ,   J   S O C   O R G   L E A R N I N G   M ,   V 4 ;   B r a b h a m   D .   C . ,   2 0 0 8 ,   I N T   J   R E S   N E W   M E D I A ,   V 1 4 ,   P 7 5 ,   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   D e l i c   K .   A . ,   2 0 0 8 ,   U B I Q U I T Y ,   V 9 ;   H e w i t t   C ,   2 0 0 8 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 2 ,   P 9 6 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 0 8 . 1 0 7 ;   H O W E   J ,   W I R E D ,   V 1 4 ;   K a u t z   H ,   1 9 9 7 ,   C O M M U N   A C M ,   V 4 0 ,   P 6 3 ,   D O I   1 0 . 1 1 4 5 / 2 4 5 1 0 8 . 2 4 5 1 2 3 ;   K i t t u r   A . ,   2 0 0 8 ,   P   2 6   A N N   S I G C H I   C   H U ,   P 4 5 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 5 7 0 5 4 . 1 3 5 7 1 2 7 ;   M C M I L L A N   K L ,   S Y M B O L I C   M O D E L   C H E C K ;   S u r o w i e c k i   J a m e s ,   2 0 0 5 ,   W I S D O M   C R O W D S 	 9 	 1 4 	 1 4 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 2 4 4 - 4 9 3 0 - 9 	 	 	 	 2 0 0 9 	 	 	 	 	 	 	 6 8 6 	 6 9 2 	 	 1 0 . 1 1 0 9 / S E R V I C E S - I . 2 0 0 9 . 5 6 	 	 7 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B N I 4 6 	 W O S : 0 0 0 2 7 4 6 3 4 1 0 0 1 0 2 	 	 
 B 	 C u r r a n ,   S ;   F e e n e y ,   K ;   S c h a l e r ,   R ;   L e w i s ,   D 	 	 	 I E E E 	 C u r r a n ,   S t e p h e n ;   F e e n e y ,   K e v i n ;   S c h a l e r ,   R e i n h a r d ;   L e w i s ,   D a v i d 	 	 	 T h e   M a n a g e m e n t   o f   C r o w d s o u r c i n g   i n   B u s i n e s s   P r o c e s s e s 	 2 0 0 9   I F I P / I E E E   I N T E R N A T I O N A L   S Y M P O S I U M   O N   I N T E G R A T E D   N E T W O R K   M A N A G E M E N T   -   W O R K S H O P S 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I F I P / I E E E   I n t e r n a t i o n a l   S y m p o s i u m   o n   I n t e g r a t e d   N e t w o r k   M a n a g e m e n t   ( I M   2 0 0 9 ) 	 J U N   0 1 - 0 5 ,   2 0 0 9 	 N e w   Y o r k ,   N Y 	 I F I P ,   I E E E 	 	 	 	 	 [ C u r r a n ,   S t e p h e n ;   F e e n e y ,   K e v i n ;   L e w i s ,   D a v i d ]   U n i v   D u b l i n   T r i n i t y   C o l l ,   C t r   N e x t   G e n e r a t   L o c a l i z a t ,   D u b l i n   2 ,   I r e l a n d 	 C u r r a n ,   S   ( r e p r i n t   a u t h o r ) ,   U n i v   D u b l i n   T r i n i t y   C o l l ,   C t r   N e x t   G e n e r a t   L o c a l i z a t ,   D u b l i n   2 ,   I r e l a n d . 	 S t e p h e n . C u r r a n @ c s . t c d . i e ;   K e v i n . F e e n e y @ c s . t c d . i e ;   R e i n h a r d . S c h a l e r @ u l . i e ;   D a v e . L e w i s @ c s . t c d . i e 	 	 	 	 	 A L L E E   V ,   F U T U R E   K N O W L E D G E   I N C ;   F e e n e y   K .   C . ,   2 0 0 4 ,   P r o c e e d i n g s .   F i f t h   I E E E   I n t e r n a t i o n a l   W o r k s h o p   o n   P o l i c i e s   f o r   D i s t r i b u t e d   S y s t e m s   a n d   N e t w o r k s ,   D O I   1 0 . 1 1 0 9 / P O L I C Y . 2 0 0 4 . 1 3 0 9 1 4 7 ;   O A S I S   S t a n d a r d ,   2 0 0 7 ,   W E B   S E R V   B U S   P R O C   E X 	 3 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 2 4 4 - 3 9 2 3 - 2 	 	 	 	 2 0 0 9 	 	 	 	 	 	 	 7 7 	 7 8 	 	 1 0 . 1 1 0 9 / I N M W . 2 0 0 9 . 5 1 9 5 9 3 9 	 	 2 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B O Q 3 3 	 W O S : 0 0 0 2 7 7 3 1 3 4 0 0 0 1 3 	 	 
 S 	 G a n j i s a f f a r ,   Y ;   J a v a n m a r d i ,   S ;   L o p e s ,   C 	 	 A b r a h a m ,   A ;   S n a s e l ,   V ;   W e g r z y n W o l s k a ,   K 	 	 G a n j i s a f f a r ,   Y a s s e r ;   J a v a n m a r d i ,   S a r a ;   L o p e s ,   C r i s t i n a 	 	 	 R e v i e w - b a s e d   R a n k i n g   o f   W i k i p e d i a   A r t i c l e s 	 2 0 0 9   I N T E R N A T I O N A L   C O N F E R E N C E   O N   C O M P U T A T I O N A L   A S P E C T S   O F   S O C I A L   N E T W O R K S ,   P R O C E E D I N G S 	 I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m p u t a t i o n a l   A s p e c t s   o f   S o c i a l   N e t w o r k s 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m p u t a t i o n a l   A s p e c t s   o f   S o c i a l   N e t w o r k s 	 J U N   2 4 - 2 7 ,   2 0 0 9 	 F o n t a i n e b l e a u ,   F R A N C E 	 M a c h i n e   I n t e l l i g e n c e   R e s   L a b s 	 E S I G E T E L 	 W i k i p e d i a ;   S e a r c h ;   R a n k i n g 	 	 W i k i p e d i a ,   t h e   l a r g e s t   e n c y c l o p e d i a   o n   t h e   W e b ,   i s   o f t e n   s e e n   a s   t h e   m o s t   s u c c e s s f u l   e x a m p l e   o f   c r o w d s o u r c i n g .   T h e   e n c y c l o p e d i c   k n o w l e d g e   i t   a c c u m u l a t e d   o v e r   t h e   y e a r s   i s   s o   l a r g e   t h a t   o n e   o f t e n   u s e s   s e a r c h   e n g i n e s ,   t o   f i n d   i n f o r m a t i o n   i n   i t .   I n   c o n t r a s t   t o   r e g u l a r   W e b   p a g e s ,   W i k i p e d i a   i s   f a i r l y   s t r u c t u r e d ,   a n d   a r t i c l e s   a r e   u s u a l l y   a c c o m p a n i e d   w i t h   h i s t o r y   p a g e s ,   c a t e g o r i e s   a n d   t a l k   p a g e s .   T h e   m e t a - d a t a   a v a i l a b l e   i n   t h e s e   p a g e s   c a n   b e   a n a l y z e d   t o   g a i n   a   b e t t e r   u n d e r s t a n d i n g   o f   t h e   c o n t e n t   a n d   q u a l i t y   o f   t h e   a r t i c l e s .   W e   d i s c u s s   h o w   t h e   r i c h   m e t a - d a t a   a v a i l a b l e   i n   w i k i   p a g e s   c a n   b e   u s e d   t o   p r o v i d e   b e t t e r   s e a r c h   r e s u l t s   i n   W i k i p e d i a .   B u i l t   o n   t h e   s t u d i e s   o n   " W i s d o m   o f   C r o w d "   a n d   t h e   e f f e c t i v e n e s s   o f   t h e   k n o w l e d g e   c o l l e c t e d   b y   a   l a r g e   n u m b e r   o f   p e o p l e ,   w e   i n v e s t i g a t e   t h e   e f f e c t   o f   i n c o r p o r a t i n g   t h e   e x t e n t   o f   r e v i e w   o f   a n   a r t i c l e   i n   t h e   q u a l i t y   o f   r a n k i n g s   o f   t h e   s e a r c h   r e s u l t s .   T h e   e x t e n t   o f   r e v i e w   i s   m e a s u r e d   b y   t h e   n u m b e r   o f   d i s t i n c t   e d i t o r s   c o n t r i b u t e d   t o   t h e   a r t i c l e s   a n d   i s   e x t r a c t e d   b y   p r o c e s s i n g   W i k i p e d i a ' s   h i s t o r y   p a g e s .   W e   c o m p a r e   d i f f e r e n t   r a n k i n g   a l g o r i t h m s   t h a t   e x p l o r e   c o m b i n a t i o n s   o f   t e x t - r e l e v a n c y ,   P a g e R a n k ,   a n d   e x t e n t   o f   r e v i e w .   T h e   r e s u l t s   s h o w   t h a t   t h e   r e v i e w - b a s e d   r a n k i n g   a l g o r i t h m   w h i c h   c o m b i n e s   t h e   e x t e n t   o f   r e v i e w   a n d   t e x t - r e l e v a n c y   o u t p e r f o r m s   t h e   r e s t ;   i t   i s   m o r e   a c c u r a t e   a n d   l e s s   c o m p u t a t i o n a l l y   e x p e n s i v e   c o m p a r e d   t o   P a g e R a n k - b a s e d   r a n k i n g s . 	 [ G a n j i s a f f a r ,   Y a s s e r ;   J a v a n m a r d i ,   S a r a ;   L o p e s ,   C r i s t i n a ]   U n i v   C a l i f   I r v i n e ,   S c h   I n f o r m a t   &   C o m p   S c i ,   I r v i n e ,   C A   9 2 7 1 7   U S A 	 G a n j i s a f f a r ,   Y   ( r e p r i n t   a u t h o r ) ,   U n i v   C a l i f   I r v i n e ,   S c h   I n f o r m a t   &   C o m p   S c i ,   I r v i n e ,   C A   9 2 7 1 7   U S A . 	 y g a n j i s a @ i c s . u c i . e d u ;   s j a v a n m a @ i c s . u c i . e d u ;   l o p e s @ i c s . u c i . e d u 	 	 	 	 	 A m e n t o   B . ,   2 0 0 0 ,   S I G I R   0 0 ,   P 2 9 6 ;   C A R T E R E T T E   B ,   2 0 0 8 ,   S I G I R   0 8 ,   P 6 8 5 ;   C A R T E R E T T E   B ,   2 0 0 8 ,   P   E C I R   2 0 0 8   M A R   A P R ;   C H E S N E Y   T ,   2 0 0 6 ,   F I R S T M O N D A Y ,   V 1 1 ;   C o h e n   W W ,   1 9 9 9 ,   J   A R T I F   I N T E L L   R E S ,   V 1 0 ,   P 2 4 3 ;   G a l t o n   F ,   1 9 0 7 ,   N A T U R E ,   V 7 5 ,   P 4 5 0 ,   D O I   1 0 . 1 0 3 8 / 0 7 5 4 5 0 a 0 ;   G i l e s   J ,   2 0 0 5 ,   N A T U R E ,   V 4 3 8 ,   P 9 0 0 ,   D O I   1 0 . 1 0 3 8 / 4 3 8 9 0 0 a ;   H u   M . ,   2 0 0 7 ,   C I K M   0 7 ,   P 2 4 3 ;   H u   M . ,   2 0 0 7 ,   W I D M   0 7 ,   P 1 4 5 ;   J a r v e l i n   K . ,   2 0 0 0 ,   S I G I R   0 0 ,   P 4 1 ;   J o a c h i m s   T . ,   2 0 0 2 ,   K D D   0 2 ,   P 1 3 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 7 7 5 0 4 7 . 7 7 5 0 6 7 ;   J o a c h i m s   T . ,   2 0 0 5 ,   S I G I R   2 0 0 5 .   P r o c e e d i n g s   o f   t h e   T w e n t y - E i g h t h   A n n u a l   I n t e r n a t i o n a l   A C M   S I G I R   C o n f e r e n c e   o n   R e s e a r c h   a n d   D e v e l o p m e n t   i n   I n f o r m a t i o n   R e t r i e v a l ;   J o a c h i m s   T ,   2 0 0 7 ,   A C M   T   I N F O R M   S Y S T ,   V 2 5 ,   D O I   1 0 . 1 1 4 5 / 1 2 2 9 1 7 9 . 1 2 2 9 1 8 1 ;   K A M P S   J ,   2 0 0 8 ,   L E C T   N O T E S   C O M P U T E R ,   P 2 7 0 ;   K A M P S   J ,   2 0 0 9 ,   W S D M   0 9 ;   K i t t u r   A ,   2 0 0 8 ,   C S C W :   2 0 0 8   A C M   C O N F E R E N C E   O N   C O M P U T E R   S U P P O R T E D   C O O P E R A T I V E   W O R K ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 3 7 ;   K i t t u r   A ,   2 0 0 7 ,   W O R L D   W I D E   W E B ,   V 1 ;   K l e i n b e r g   J . M . ,   1 9 9 9 ,   J A C M ,   V 4 6 ,   P 5 ;   K o r f i a t i s   N T ,   2 0 0 6 ,   O N L I N E   I N F O R M   R E V ,   V 3 0 ,   P 2 5 2 ,   D O I   [ 1 0 . 1 1 0 8 / 1 4 6 8 4 5 2 0 6 1 0 6 7 5 7 8 0 ,   1 0 . 1 1 0 8 / 1 4 6 9 4 5 2 0 6 1 0 6 7 5 7 8 0 ] ;   L i h   A . ,   2 0 0 4 ,   P   5   I N T   S   O N L   J O U R N ,   P 1 6 ;   M a n d l   T ,   2 0 0 6 ,   H Y P E R T E X T 2 0 0 6 ,   P 7 3 ;   P a g e   L . ,   1 9 9 8 ,   P A G E R A N K   C I T A T I O N   R A ;   R a d l i n s k i   F . ,   2 0 0 8 ,   C I K M   2 0 0 8 ,   P 4 3 ;   R E E V E S   D ,   L I S T E N   C R O W D ;   S C H R O E D E R   D V ,   2 0 0 6 ,   A M   J   P H Y S ,   V 7 4 ;   S c o t t   J . ,   2 0 0 0 ,   S O C I A L   N E T W O R K   A N A L ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   T e t l o c k   P E ,   2 0 0 5 ,   E X P E R T   P O L I T I C A L   J U D G M E N T :   H O W   G O O D   I S   I T ,   H O W   C A N   W E   K N O W ,   P 1 ;   W a s s e r m a n   S . ,   1 9 9 4 ,   S O C I A L   N E T W O R K   A N A L ;   W I L K I N S O N   D M ,   2 0 0 7 ,   F I R S T M O N D A Y ;   Z H O U   Y ,   2 0 0 5 ,   C I K M   0 5 ,   P 3 3 1 ;   Z h u   X . ,   2 0 0 0 ,   S I G I R   0 0 ,   P 2 8 8 	 3 2 	 1 	 1 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 2 6 4   U S A 	 2 1 5 5 - 7 0 4 7 	 	 9 7 8 - 0 - 7 6 9 5 - 3 7 4 0 - 5 	 I N T   C O N F   C O M P U   A S P E C 	 	 	 2 0 0 9 	 	 	 	 	 	 	 9 8 	 1 0 4 	 	 1 0 . 1 1 0 9 / C A S o N . 2 0 0 9 . 1 4 	 	 7 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B N P 8 0 	 W O S : 0 0 0 2 7 5 1 8 9 5 0 0 0 1 3 	 	 
 S 	 S c h e e r ,   A W ;   K l u e c k m a n n ,   J 	 	 D a y a l ,   U ;   E d e r ,   J ;   K o e h l e r ,   J ;   R e i j e r s ,   H A 	 	 S c h e e r ,   A u g u s t - W i l h e l m ;   K l u e c k m a n n ,   J o e r g 	 	 	 B P M   3 . 0 	 B U S I N E S S   P R O C E S S   M A N A G E M E N T ,   P R O C E E D I N G S 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 7 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   B u s i n e s s   P r o c e s s   M a n a g e m e n t 	 S E P   0 8 - 1 0 ,   2 0 0 9 	 U l m ,   G E R M A N Y 	 U n i v   U l m ,   I n s t   D a t a b a s e s   &   I n f o r m a t   S y s t 	 	 B u s i n e s s   P r o c e s s   M a n a g e m e n t ;   G o v e r n a n c e ;   C o m m u n i t y ;   C r o w d s o u r c i n g 	 	 B u s i n e s s   P r o c e s s   M a n a g e m e n t   ( B P M )   i s   a n   e s t a b l i s h e d   m a n a g e m e n t   d i s c i p l i n e .   S i n c e   t o d a y ' s   o r g a n i z a t i o n s   e x p e c t   e v e r y   e m p l o y e e   t o   t h i n k   a n d   a c t   l i k e   a n   e n t r e p r e n e u r ,   i . e . ,   l i k e   a   m a n a g e r ,   B P M   i s   a l s o   i n c r e a s i n g l y   b e c o m i n g   p a r t   o f   e v e r y d a y   o p e r a t i o n s .   B u t   m e r e l y   a d o p t i n g   a   p r o c e s s - b a s e d   a p p r o a c h   a c r o s s   t h e   e n t e r p r i s e   i s   n o t   e n o u g h   t o   e n a b l e   B P M   a t   e v e r y   l e v e l .   W h a t   i s   n e e d e d   i s   a   c o m b i n a t i o n   o f   o r g a n i z a t i o n a l   f o r m s   a n d   t e c h n o l o g i e s   t h a t   s u p p o r t   d i s t r i b u t e d   B P M   i n i t i a t i v e s   w h i l e   s i m u l t a n e o u s l y   c o n s o l i d a t i n g   t h e m   c o m p a n y - w i d e .   E v e r y   e m p l o y e e   m u s t   b e   e m p o w e r e d   t o   m o d e l   a n d   o p t i m i z e   t h e i r   o w n   p r o c e s s e s .   A t   t h e   s a m e   t i m e ,   t h e   e n t i r e   B P M   c o m m u n i t y   n e e d s   a   p l a t f o r m   t h a t   b r i n g s   t o g e t h e r   a l l   t h e   i n d i v i d u a l   i n i t i a t i v e s .   T h i s   i s   t h e   o n l y   w a y   t o   l e v e r a g e   t h e   f u l l   p o t e n t i a l   o f   p r o c e s s - o r i e n t e d   m a n a g e m e n t .   I n   t h e   f o l l o w i n g   a r t i c l e ,   t h e   a u t h o r s   d e s c r i b e   t h e   t r e n d s   i n   B P M   d e v e l o p m e n t   t h a t   a r e   t u r n i n g   u s e r s   i n t o   p r o c e s s   m a n a g e r s   a n d   s u p p o r t i n g   t h e   c r e a t i o n   o f   a   B P M   c o m m u n i t y . 	 [ S c h e e r ,   A u g u s t - W i l h e l m ;   K l u e c k m a n n ,   J o e r g ]   I D S   S c h e e r   A G ,   D - 6 6 1 1 5   S a a r b r u c k e n ,   G e r m a n y 	 S c h e e r ,   A W   ( r e p r i n t   a u t h o r ) ,   I D S   S c h e e r   A G ,   A l t e n k e s s e l e r   S t r   1 7 ,   D - 6 6 1 1 5   S a a r b r u c k e n ,   G e r m a n y . 	 j o e r g . k l u e c k m a n n @ i d s - s c h e e r . c o m 	 	 	 	 	 D a v i s   R . ,   2 0 0 8 ,   A R I S   D E S I G N   P L A T F O R M ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   P O W E R ;   S T E I N   S ,   2 0 0 8 ,   S E M A N T I C   S E R V I C E   P R O ,   P 1 2 7 ;   T A P S C O T T   D ,   2 0 0 8 ,   M A S S   C O L L A B O R A T I O N   C ;   V A N L E S S E N   T ,   G E S C H A F T S P R O Z E S S M A N A ;   W A G N E R   J ,   B P M   W E B   2   0   E R A 	 6 	 2 	 2 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 0 3 8 4 7 - 1 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 0 9 	 5 7 0 1 	 	 	 	 	 	 1 5 	 2 7 	 	 	 	 1 3 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B L Y 5 7 	 W O S : 0 0 0 2 7 1 4 5 0 0 0 0 0 0 2 	 	 
 B 	 K o b l i n ,   A 	 	 	 A C M 	 K o b l i n ,   A a r o n 	 	 	 T h e   S h e e p   M a r k e t 	 C   &   C   0 9 :   P R O C E E D I N G S   O F   T H E   2 0 0 9   A C M   S I G C H I   C O N F E R E N C E   O N   C R E A T I V I T Y   A N D   C O G N I T I O N 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 A C M   S I G C H I   C o n f e r e n c e   o n   C r e a t i v i t y   a n d   C o g n i t i o n   2 0 0 9 	 O C T   2 7 - 3 0 ,   2 0 0 9 	 B e r k e l e y ,   C A 	 A C M   S I G C H I ,   A C I M   S I G M M ,   A C M   S I G A R T ,   A C M   S I G G R A P H ,   A C M   S I G C A S ,   A C M   S I G S O F T ,   B I G D O G   I n t e r a c t ,   N a t l   S c i   F d n ,   C t r   D i g i t a l   M u s i c ,   C r e a t   &   C o g n i t   S t u d i e s ,   T a y l o r   &   F r a n c i s   G r p 	 	 A r t ;   C r o w d s o u r c i n g ;   D a t a   V i s u a l i z a t i o n ;   D e s i g n ;   D r a w i n g ;   M e d i a   A r t 	 	 T h e   S h e e p   M a r k e t ,   i s   a   w e b - b a s e d   a r t w o r k   t h a t   a p p r o p r i a t e s   A m a z o n ' s   M e c h a n i c a l   T u r k   s y s t e m   t o   i m p l i c a t e   t h o u s a n d s   o f   w o r k e r s   i n   t h e   c r e a t i o n   o f   a   m a s s i v e   d a t a b a s e   o f   d r a w i n g s .   F r o m   o n e   s i m p l e   r e q u e s t ,   s u b m i t t e d   t o   t h e   M T u r k   s y s t e m   a s   a   ' H I T '   o r   H u m a n   I n t e l l i g e n c e   T a s k ,   w o r k e r s   c r e a t e   t h e i r   v e r s i o n   o f   " a   s h e e p   f a c i n g   t o   t h e   l e f t "   u s i n g   s i m p l e   d r a w i n g   t o o l s .   T h e   a r t i s t   r e s p o n s i b l e   f o r   e a c h   d r a w i n g   r e c e i v e s   a   p a y m e n t   o f   t w o   c e n t s   f o r   t h e i r   l a b o r .   T h e   i n s p i r a t i o n   f o r   T h e   S h e e p   M a r k e t   p r o j e c t   s t e m s   f r o m   t h e   u r g e   t o   c a s t   a   l i g h t   o n   t h e   h u m a n   r o l e   o f   c r e a t i v i t y   e x p r e s s e d   b y   w o r k e r s   i n   t h e   s y s t e m ,   w h i l e   e x p l i c i t l y   c a l l i n g   a t t e n t i o n   t o   t h e   m a s s i v e   a n d   i n s i g n i f i c a n t   r o l e   e a c h   p l a y s   a s   p a r t   o f   a   w h o l e .   T h e   p r o j e c t   w i l l   b e   p r e s e n t e d   a t   t h e   C r e a t i v i t y   a n d   C o g n i t i o n   C o n f e r e n c e   a s   a   l a r g e   p r o j e c t i o n   o f   e a c h   s h e e p ' s   a n i m a t e d   c r e a t i o n   p r o c e s s   a s   d r a w n   b y   t h e   o r i g i n a l   a r t i s t . 	 [ K o b l i n ,   A a r o n ]   G o o g l e s   C r e a t   L a b ,   S a n   F r a n c i s c o ,   C A   U S A 	 	 S h o u t @ A a r o n K o b l i n . c o m 	 	 	 	 	 	 0 	 0 	 0 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 1 5 1 5   B R O A D W A Y ,   N E W   Y O R K ,   N Y   1 0 0 3 6 - 9 9 9 8   U S A 	 	 	 9 7 8 - 1 - 6 0 5 5 8 - 4 0 3 - 4 	 	 	 	 2 0 0 9 	 	 	 	 	 	 	 4 5 1 	 4 5 1 	 	 	 	 1 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E d u c a t i o n   &   E d u c a t i o n a l   R e s e a r c h 	 C o m p u t e r   S c i e n c e ;   E d u c a t i o n   &   E d u c a t i o n a l   R e s e a r c h 	 B Q L 3 9 	 W O S : 0 0 0 2 8 1 2 4 5 1 0 0 1 0 1 	 	 
 B 	 K r i e g e r ,   M ;   S t a r k ,   E ;   K l e m m e r ,   S R 	 	 G r e e n b e r g ,   S ;   H u d s o n ,   S E ;   H i n k l e y ,   K ;   R i n g e l M o r r i s ,   M ;   O l s e n ,   D R 	 	 K r i e g e r ,   M i c h e l ;   S t a r k ,   E m i l y ;   K l e m m e r ,   S c o t t   R . 	 	 	 C o o r d i n a t i n g   T a s k s   o n   t h e   C o m m o n s :   D e s i g n i n g   f o r   P e r s o n a l   G o a l s ,   E x p e r t i s e   a n d   S e r e n d i p i t y 	 C H I 2 0 0 9 :   P R O C E E D I N G S   O F   T H E   2 7 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 2 7 t h   A n n u a l   C H I   C o n f e r e n c e   o n   H u m a n   F a c t o r s   i n   C o m p u t i n g   S y s t e m s 	 A P R   0 4 - 0 9 ,   2 0 0 9 	 B o s t o n ,   M A 	 A C M   S I G C H I ,   A u t o d e s k ,   G o o g l e ,   M i c r o s o f t ,   N S F ,   e L e a r n   M a g a z i n e ,   i n t e r a t i o n s ,   Y a h o o 	 	 W i k i p e d i a ;   C r o w d s o u r c i n g ;   T a s k   m a n a g e m e n t ;   S o c i a l   s o f t w a r e 	 	 H o w   i s   w o r k   c r e a t e d ,   a s s i g n e d ,   a n d   c o m p l e t e d   o n   l a r g e - s c a l e ,   c r o w d - p o w e r e d   s y s t e m s   l i k e   W i k i p e d i a ?   A n d   w h a t   d e s i g n   C   p r i n c i p l e s   m i g h t   e n a b l e   t h e s e   f e d e r a t e d   o n l i n e   s y s t e m s   t o   b e   m o r e   e f f e c t i v e ?   T h i s .   p a p e r   r e p o r t s   o n   a   q u a l i t a t i v e   s t u d y   o f   w o r k   a n d   t a s k   p r a c t i c e s   o n   W i k i p e d i a .   D e s p i t e   t h e   a v a i l a b i l i t y   o f   t a g - b a s e d   c o m m u n i t y - w i d e   t a s k   a s s i g n m e n t   m e c h a n i s m s ,   i n f o r m a n t s   r e p o r t e d   t h a t   s e l f - d i r e c t e d   g o a l s ,   w i t h i n - t o p i c   e x p e r t i s e ,   a n d   f o r t u i t o u s   d i s c o v e r y   a r e   m o r e   f r e q u e n t l y   u s e d   t h a n   c o m m u n i t y - t a g g e d   t a s k s .   W e   e x a m i n e   h o w   W i k i p e d i a   e d i t o r s   o r g a n i z e   t h e i r   a c t i o n s   a n d   t h e   a c t i o n s   o f   o t h e r   p a r t i c i p a n t s ,   a n d   w h a t   i m p l i c a t i o n s   t h i s   h a s   f o r   u n d e r s t a n d i n g .   a n d   b u i l d i n g   t o o l s   f o r ,   c r o w d - p o w e r e d   s y s t e m s ,   o r   a n y   w e b   s i t e   w h e r e   t h e   m a i n   f o r c e   o f   p r o d u c t i o n   c o m e s   f r o m   a   c r o w d   o f   o n l i n e   p a r t i c i p a n t s .   F r o m   t h e s e   o b s e r v a t i o n s   a n d   i n s i g h t s ,   w e   d e v e l o p e d   W i k i T a s k s ,   a   t o o l   t h a t   i n t e g r a t e s   w i t h   W i k i p e d i a   a n d   s u p p o r t s   b o t h   g r a s s r o o t s   c r e a t i o n   o f   s i t e - w i d e   t a s k s   a n d   s e l f - s e l e c t i o n   o f   p e r s o n a l   t a s k s ,   a c c e p t e d   f r o m   t h i s   l a r g e r   p o o l   o f   c o m m u n i t y   t a s k s . 	 [ K r i e g e r ,   M i c h e l ;   S t a r k ,   E m i l y ;   K l e m m e r ,   S c o t t   R . ]   S t a n f o r d   H C I   G r p ,   D e p t   C o m p   S c i ,   S t a n f o r d ,   C A   9 4 3 0 5   U S A 	 	 m k r i e g e r @ c s . s t a n f o r d . e d u ;   e s t a r k @ c s . s t a n f o r d . e d u ;   s r k @ c s . s t a n f o r d . e d u 	 	 	 	 	 A D L E R   B ,   2 0 0 7 ,   W W W   0 7   P   1 6   I N T   C   W O ;   A l l e n   D . ,   2 0 0 3 ,   G E T T I N G   T H I N G S   D O N E ;   A L M E I D A   R ,   2 0 0 7 ,   P   I C W S M   D E C ;   B e l l o t t i   V . ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ;   B E L L O T T I   V ,   2 0 0 3 ,   C H I   0 3   P   S I G C H I   C   H U ;   B e n k l e r   Y . ,   2 0 0 6 ,   W E A L T H   N E T W O R K S   S O C I ;   B E S C H A S T N I K H   I ,   2 0 0 8 ,   A S S   A D V A N C E M E N T   A R T I ;   B r y a n t   S L ,   2 0 0 5 ,   G R O U P   0 5   P   2 0 0 5   I N T ;   B U R I O L   L ,   2 0 0 6 ,   P   W E B   I N T   D E C ;   C O S L E Y   D ,   2 0 0 6 ,   C H I   0 6   P   S I G C H I   C   H U ;   C O S L E Y   D ,   2 0 0 7 ,   I U I   0 7   P   1 2   I N T   C   I N ;   F O R T E   A ,   W H Y   D O   P E O P L E   W R I T E ;   G A B R I L O V I C H   E ,   2 0 0 7 ,   P   2 0   I N T   J O I N T   C   D E C ;   K I T T U R   A ,   2 0 0 7 ,   C H I   0 7   P   2 5   A N N   S I G C ;   K L E E K   M ,   2 0 0 7 ,   P   2 0   A N N   A C M   S   U S   I N ;   K R E I F E L T S   T ,   1 9 9 3 ,   E C S C W   9 3   P   3   C   E U R   C ;   K r i p l e a n   T ,   2 0 0 8 ,   P   A C M   2 0 0 8   C   C O M P   S U ,   P 4 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 6 0 5 6 3 . 1 4 6 0 5 7 3 ;   K U Z N E T S O V   S ,   2 0 0 6 ,   M O T I V A T I O N S   C O N T R I B U ;   P e a r c e   J .   L . ,   1 9 9 3 ,   V O L U N T E E R S   O R G   B E H A V ;   R I E H L E   D ,   2 0 0 6 ,   W I K I S Y M   0 6   P   2 0 0 6   I N ;   S T A L D E R   F ,   2 0 0 2 ,   F I R S T   M O N D A Y ,   V 7 ,   P 6 ;   S U H   B ,   2 0 0 8 ,   C H I   0 8   P   2 6   A N N   S I G C ;   V I E G A S   F ,   2 0 0 4 ,   C H I   0 4   P   S I G C H I   C   H U ;   V I E G A S   F ,   2 0 0 7 ,   H I D D E N   O R D E R   W I K I P E D ;   W A T T E N B E R G   M ,   2 0 0 7 ,   L E C T   N O T E S   C O M P U T E R ;   W H I T T A K E R   S ,   1 9 9 6 ,   C H I   9 6   P   S I G C H I   C   H U 	 2 6 	 5 	 5 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 1 5 1 5   B R O A D W A Y ,   N E W   Y O R K ,   N Y   1 0 0 3 6 - 9 9 9 8   U S A 	 	 	 9 7 8 - 1 - 6 0 5 5 8 - 2 4 6 - 7 	 	 	 	 2 0 0 9 	 	 	 	 	 	 	 1 4 8 5 	 1 4 9 4 	 	 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e ;   M a n a g e m e n t ;   S o c i a l   I s s u e s 	 C o m p u t e r   S c i e n c e ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e ;   B u s i n e s s   &   E c o n o m i c s ;   S o c i a l   I s s u e s 	 B J G 7 6 	 W O S : 0 0 0 2 6 5 6 7 9 3 0 1 0 3 6 	 	 
 S 	 D i a o ,   Y X ;   J a m j o o m ,   H ;   L o e w e n s t e m ,   D 	 	 	 I E E E 	 D i a o ,   Y i x i n ;   J a m j o o m ,   H a n i ;   L o e w e n s t e m ,   D a v i d 	 	 	 R u l e - b a s e d   P r o b l e m   C l a s s i f i c a t i o n   i n   I T   S e r v i c e   M a n a g e m e n t 	 C L O U D :   2 0 0 9   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   C L O U D   C O M P U T I N G 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C l o u d   C o m p u t i n g 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C l o u d   C o m p u t i n g 	 S E P   2 1 - 2 5 ,   2 0 0 9 	 B a n g a l o r e ,   I N D I A 	 I E E E 	 	 	 T E X T   C A T E G O R I Z A T I O N 	 P r o b l e m   m a n a g e m e n t   i s   a   c r i t i c a l   a n d   e x p e n s i v e   e l e m e n t   f o r   d e l i v e r i n g   I T   s e r v i c e   m a n a g e m e n t   a n d   t o u c h e s   v a r i o u s   l e v e l s   o f   m a n a g e d   I T   i n f r a s t r u c t u r e .   W h i l e   p r o b l e m   m a n a g e m e n t   h a s   b e e n   m o s t l y ,   r e a c t i v e ,   r e c e n t   w o r k   i s   s t u d y i n g   h o w   t o   l e v e r a g e   l a r g e   p r o b l e m   t i c k e t   i n f o r m a t i o n   f r o m   s i m i l a r   I T   i n f r a s t r u c t u r e s   t o   p r o b a t i v e l y ,   p r e d i c t   t h e   o n s e t   o f   p r o b l e m s .   B e c a u s e   o f   t h e   s h e e r   s i z e   a n d   c o m p l e x i t y ,   o f   p r o b l e m   t i c k e t s ,   s u p e r v i s e d   l e a r n i n g   a l g o r i t h m s   h a v e   b e e n   t h e   m e t h o d   o f   c h o i c e   f o r   p r o b l e m   t i c k e t   c l a s s i f i c a t i o n ,   r e l y i n g   o n   l a b e l e d   ( o r   p r e - c l a s s i f i e d )   t i c k e t s   f r o m   o n e   m a n a g e d   i n   f r a s t r u c t u r e   t o   a u t o m a t i c a l l y ,   c r e a t e   s i g n a t u r e s   f o r   s i m i l a r   i n f r a s t r u c t u r e s .   H o w e v e r ,   w h e r e   t h e r e   a r e   i n s u f f i c i e n t   p r e - c l a s s i f i e d   d a t a ,   l e v e r a g i n g   h u m a n   e x p e r t i s e   t o   d e v e l o p   c l a s s i f i c a t i o n   r u l e s   c a n   b e   m o r e   e f f i c i e n t .   I n   t h i s   p a p e r ,   w e   d e s c r i b e   a   r u l e - b a s e d   c r o w d s o u r c i n g   a p p r o a c h ,   w h e r e   e x p e r t s   c a n   a u t h o r   c l a s s i f i c a t i o n   r u l e s   a n d   a   s o c i a l   n e t w o r k i n g - b a s e d   p l a t f o r m   ( c a l l e d   x P a d )   i s   u s e d   t o   s o c i a l i z e   a n d   e x e c u t e   t h e s e   r u l e s   b y ,   l a r g e   p r a c t i t i o n e r   c o m m u n i t i e s .   U s i n g   r e a l   d a t a   s e t s   f r o m   s e v e r a l   l a r g e   I T   d e l i v e r y ,   c e n t e r s ,   w e   d e m o n s t r a t e   t h a t   t h i s   a p p r o a c h   b a l a n c e s   b e t w e e n   t w o   k e y ,   c r i t e r i a :   a c c u r a c y ,   a n d   c o s t   e f f e c t i v e n e s s . 	 [ D i a o ,   Y i x i n ;   J a m j o o m ,   H a n i ;   L o e w e n s t e m ,   D a v i d ]   I B M   C o r p ,   T h o m a s   J   W a t s o n   R e s   C t r ,   Y o r k t o w n   H t s ,   N Y   1 0 5 9 8   U S A 	 D i a o ,   Y X   ( r e p r i n t   a u t h o r ) ,   I B M   C o r p ,   T h o m a s   J   W a t s o n   R e s   C t r ,   P O B   7 0 4 ,   Y o r k t o w n   H t s ,   N Y   1 0 5 9 8   U S A . 	 d i a o @ u s . i b m . c o m ;   j a m j o o m @ u s . i b m . c o m ;   d a v i d l o e @ u s . i b m . c o m 	 	 	 	 	 A P T E   C ,   1 9 9 4 ,   A C M   T   I N F O R M   S Y S T ,   V 1 2 ,   P 2 3 3 ,   D O I   1 0 . 1 1 4 5 / 1 8 3 4 2 2 . 1 8 3 4 2 3 ;   B e n - D a v i d   A ,   2 0 0 9 ,   E X P E R T   S Y S T   A P P L ,   V 3 6 ,   P 5 2 6 4 ,   D O I   1 0 . 1 0 1 6 / j . e s w a . 2 0 0 8 . 0 6 . 0 7 1 ;   B o s e   A ,   2 0 0 8 ,   P   I E E E   I N T   C   S E R V   C O ,   P 1 9 7 ;   C O H E N   W ,   1 9 9 8 ,   J O I N S   G E N   T E X T   C L A S S ;   D u d a   R .   O . ,   1 9 7 3 ,   P A T T E R N   C L A S S I F I C A T I ;   J o a c h i m s   T ,   2 0 0 2 ,   L E A R N I N G   C L A S S I F Y   T E ;   K i m   S B ,   2 0 0 6 ,   I E E E   T   K N O W L   D A T A   E N ,   V 1 8 ,   P 1 4 5 7 ;   L o e w e n s t e r n   D ,   2 0 0 5 ,   I C A C   2 0 0 5 :   S e c o n d   I n t e r n a t i o n a l   C o n f e r e n c e   o n   A u t o n o m i c   C o m p u t i n g ,   P r o c e e d i n g s ,   P 3 1 1 ;   M i c h a l s k i   R S ,   1 9 9 9 ,   I N T   J   H U M - C O M P U T   S T ,   V 5 1 ,   P 2 3 9 ,   D O I   1 0 . 1 0 0 6 / i j h c . 1 9 7 9 . 0 3 0 8 ;   M I T C H E L L   T ,   1 9 8 5 ,   L E A P   L E A R N I N G   A P P R E N ;   * O F F   G O V   C O M M ,   2 0 0 0 ,   I T   I N F R   L I B   I T I L   S E R ;   Q u i n l a n   J .   R . ,   1 9 9 3 ,   C 4   5   P R O G R A M S   M A C H I N ;   Q u i n l a n   J .   R . ,   1 9 8 6 ,   M a c h i n e   L e a r n i n g ,   V 1 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 2 2 6 4 3 2 0 4 8 7 7 ;   R u i z   M E ,   2 0 0 2 ,   I N F O R M   R E T R I E V A L ,   V 5 ,   P 8 7 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 1 2 7 8 2 9 0 8 3 4 7 ;   S A L T O N   G ,   1 9 8 8 ,   I N F O R M   P R O C E S S   M A N A G ,   V 2 4 ,   P 5 1 3 ,   D O I   1 0 . 1 0 1 6 / 0 3 0 6 - 4 5 7 3 ( 8 8 ) 9 0 0 2 1 - 0 ;   T O W E L L   G ,   1 9 9 0 ,   R E F I N E M E N T   A P P R O X I M A ;   W i t t e n   I . H . ,   2 0 0 5 ,   D A T A   M I N I N G   P R A C T I C A ;   Y u   B ,   2 0 0 8 ,   L I T   L I N G U I S T   C O M P U T ,   V 2 3 ,   P 3 2 7 ,   D O I   1 0 . 1 0 9 3 / l l c / f q n 0 1 5 	 1 8 	 3 	 3 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 2 1 5 9 - 6 1 8 2 	 	 9 7 8 - 1 - 4 2 4 4 - 5 1 9 9 - 9 	 I E E E   I N T   C O N F   C L O U D 	 	 	 2 0 0 9 	 	 	 	 	 	 	 2 2 1 	 2 2 8 	 	 	 	 8 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B N R 4 0 	 W O S : 0 0 0 2 7 5 3 1 4 4 0 0 0 3 2 	 	 
 B 	 J a k i e l a ,   M J ;   Z h e n g ,   J 	 	 	 A S M E 	 J a k i e l a ,   M a r k   J . ;   Z h e n g ,   J i n g 	 	 	 W E D E S I G N :   A   F O R U M - B A S E D   T O O L   F O R   M A N A G I N G   U S E R - G E N E R A T E D   C O N T E N T   I N   E N G I N E E R I N G   D E S I G N   A N D   P R O D U C T   D E V E L O P M E N T 	 D E T C 2 0 0 8 :   P R O C E E D I N G S   O F   T H E   A S M E   I N T E R N A T I O N A L   D E S I G N   E N G I N E E R I N G   T E C H N I C A L   C O N F E R E N C E   A N D   C O M P U T E R S   A N D   I N F O R M A T I O N   I N   E N G I N E E R I N G   C O N F E R E N C E   ,   V O L   4 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 A S M E   I n t e r n a t i o n a l   D e s i g n   E n g i n e e r i n g   T e c h n i c a l   C o n f e r e n c e s / C o m p u t e r s   a n d   I n f o r m a t i o n   i n   E n g i n e e r i n g   C o n f e r e n c e 	 A U G   0 3 - 0 6 ,   2 0 0 8 	 N e w   Y o r k ,   N Y 	 A S M E ,   D e s i g n   E n g n   D i v ,   A S M E ,   C o m p   &   I n f o r m a t   E n g n   D i v 	 	 	 	 A   w e b   f o r u m - b a s e d   t o o l   f o r   m a n a g i n g   u s e r - g e n e r a t e d   c o n t e n t   i n   e n g i n e e r i n g   d e s i g n   a n d   p r o d u c t   d e v e l o p m e n t   i s   d e s c r i b e d .   T h e   s y s t e m   i s   i n t e n d e d   t o   a l l o w   a   " c r o w d s o u r c i n g "   a p p r o a c h ,   i n   w h i c h   l a r g e   g r o u p s   p e r f o r m   t h e   w o r k   m o r e   c o m m o n l y   b y   i n d i v i d u a l s .   U s e r   t e s t s   a r e   c o n d u c t e d   w i t h   a n   i n i t i a l   i m p l e m e n t a t i o n ,   w i t h   t h e   s y s t e m   c o n f i g u r e d   i n   c o n t r o l   a n d   " p a r l i a m e n t a r y "   m o d e s .   T h i s   e x p e r i m e n t   i s   d o n e   i n   t h e   s e t t i n g   o f   a   m e c h a n i c a l   e n g i n e e r i n g   s e n i o r   c a p s t o n e   d e s i g n   c o u r s e .   T h e   p a r l i a m e n t a r y   m o d e   i s   i n t e n d e d   t o   e n c o u r a g e   d i s c u s s i o n   a n d   n e g o t i a t i o n   a m o n g   p a r t i c i p a n t s ,   a n d   a l l o w s   t h e m   t o   d e s i g n   t h e i r   o w n   w o r k   p r o c e s s e s .   R e v i e w   o f   t h e   d e s i g n s   p r o d u c e d   t o g e t h e r   w i t h   r e s p o n s e s   t o   a   s u r v e y   i n d i c a t e   t h e   s y s t e m   w a s   f a v o r a b l y   r e c e i v e d ,   a n d   a l l o w e d   a   g r o u p   t o   g e n e r a t e   a n d   s e l e c t   c o n c e p t   d e s i g n s .   F u t u r e   r e s e a r c h   d i r e c t i o n s   a r e   s u g g e s t e d . 	 [ J a k i e l a ,   M a r k   J . ;   Z h e n g ,   J i n g ]   W a s h i n g t o n   U n i v ,   D e p t   M e c h   A e r o s p   &   S t r u c t   E n g n ,   S t   L o u i s ,   M O   6 3 1 3 0   U S A 	 J a k i e l a ,   M J   ( r e p r i n t   a u t h o r ) ,   W a s h i n g t o n   U n i v ,   D e p t   M e c h   A e r o s p   &   S t r u c t   E n g n ,   S t   L o u i s ,   M O   6 3 1 3 0   U S A . 	 m j j @ s e a s . w u s t l . e d u ;   j z 2 @ c e c . w u s t l . e d u 	 	 	 	 	 E l o f s o n   G ,   1 9 9 8 ,   C O M M U N   A C M ,   V 4 1 ,   P 5 6 ,   D O I   1 0 . 1 1 4 5 / 2 7 2 2 8 7 . 2 7 2 2 9 8 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   P 1 4 ;   J A K I E L A   M ,   2 0 0 8 ,   C   O P   S O U R C   P R O P R   M O D ;   N O Y E S   J ,   2 0 0 8 ,   B O S T O N   B U S I N E S S   0 3 1 0 ;   O g a w a   S ,   2 0 0 6 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 7 ,   P 6 5 ;   S A W H N E Y   N ,   2 0 0 2 ,   T E C H K N O W L O G I A ;   U l r i c h   K .   T . ,   2 0 0 4 ,   P R O D U C T   D E S I G N   D E V 	 7 	 0 	 0 	 A M E R   S O C   M E C H A N I C A L   E N G I N E E R S 	 N E W   Y O R K 	 T H R E E   P A R K   A V E N U E ,   N E W   Y O R K ,   N Y   1 0 0 1 6 - 5 9 9 0   U S A 	 	 	 9 7 8 - 0 - 7 9 1 8 - 4 3 2 8 - 4 	 	 	 	 2 0 0 9 	 	 	 	 	 	 	 5 0 5 	 5 1 4 	 	 	 	 1 0 	 E n g i n e e r i n g ,   I n d u s t r i a l ;   E n g i n e e r i n g ,   M e c h a n i c a l 	 E n g i n e e r i n g 	 B K P 5 3 	 W O S : 0 0 0 2 6 8 8 7 9 9 0 0 0 4 8 	 	 
 S 	 A l m e n d r a ,   V ;   S c h w a b e ,   D 	 	 D i N o i a ,   T ;   B u c c a f u r r i ,   F 	 	 A l m e n d r a ,   V i n i c i u s ;   S c h w a b e ,   D a n i e l 	 	 	 F r a u d   D e t e c t i o n   b y   H u m a n   A g e n t s :   A   P i l o t   S t u d y 	 E - C O M M E R C E   A N D   W E B   T E C H N O L O G I E S ,   P R O C E E D I N G S 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 0 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   E - C o m m e r c e   a n d   W e b   T e c h n o l o g i e s 	 S E P   0 1 - 0 4 ,   2 0 0 9 	 L i n z ,   A U S T R I A 	 	 	 f r a u d ;   h u m a n   c o m p u t a t i o n ;   e - c o m m e r c e ;   c l a s s i f i c a t i o n 	 R E P U T A T I O N   S Y S T E M S 	 F r a u d   i s   i t   c o n s t a n t   p r o b l e m   f o r   o n l i n e   a u c t i o n   s i t e s .   B e s i d e s   f a i l u r e s   i n   d e t e c t i n g   f r a u d s t e r s ,   t h e   c u r r e n t l y   e m p l o y e d   m e t h o d s   y i e l d   m a n y   f a l s e   p o s i t i v e s :   b o n a   f i d e   s e l l e r s   t h a t   e n d   u p   h a r a s s e d   b y   t h e   a u c t i o n   s i t e   a s   s u s p e c t s .   W e   a d v o c a t e   t h e   u s e   o f   h u m a n   c o m p u t a t i o n   ( a l s o   c a l l e d   c r o w d s o u r c i n g )   t o   i m p r o v e   p r e c i s i o n   a n d   r e c a l l   o f   c u r r e n t   f r a u d   d e t e c t i o n   t e c h n i q u e s .   T o   e x a m i n e   t h e   f e a s i b i l i t y   o f   o u r   p r o p o s a l .   w e   d i d   a   p i l o t   s t u d y   w i t h   i t   s e t   o f   h u m a n   s u b j e c t s ,   t e s t i n g   w h e t h e r   t h e y   c o u l d   d i s t i n g u i s h   f r a u d s t e r s   f r o m   c o m m o n   s e l l e r s   b e f o r e   n e g a t i v e   f e e d b a c k   a r r i v e d   a n d   l o o k i n g   j u s t   a t   a   s n a p s h o t   o f   s e l l e r   p r o f i l e s .   H e r e   w e   p r e s e n t   t h e   m e t h o d o l o g y   u s e d   a n d   t h e   o b t a i n e d   r e s u l t s ,   i n   t e r m s   o f   p r e c i s i o n   a n d   r e c a l l   o f   h u m a n   c l a s s i f i e r s ,   s h o w i n g   p o s i t i v e   e v i d e n c e   t h a t   d e t e c t i n g   f r a u d s t e r s   w i t h   h u m a n   c o m p u t a t i o n   i s   v i a b l e . 	 [ A l m e n d r a ,   V i n i c i u s ;   S c h w a b e ,   D a n i e l ]   P o n t i f i c i a   U n i v   C a t o l i c a   R i o   d e   J a n e i r o ,   D e p t   I n f o r m a t ,   R i o   D e   J a n e i r o ,   B r a z i l 	 A l m e n d r a ,   V   ( r e p r i n t   a u t h o r ) ,   P o n t i f i c i a   U n i v   C a t o l i c a   R i o   d e   J a n e i r o ,   D e p t   I n f o r m a t ,   R i o   D e   J a n e i r o ,   B r a z i l . 	 v i n i c i u s . a l m e n d r a @ g m a i l . c o m ;   d s c h w a b e @ i n f . p u c - r i o . b r 	 	 	 	 	 A H N   L V ,   2 0 0 4 ,   C   H U M   F A C T   C O M P   S Y S T ;   A L M E N D R A   V ,   2 0 0 8 ,   T H E S I S   P U C   R I O ;   A L M E N D R A   V ,   2 0 0 9 ,   L A T   A M   A L T   T R A C K   1 8 ;   B E L E N K I Y   M ,   2 0 0 8 ,   3   I N T   W O R K S H   E C   N E T W ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   C H A U   D H ,   2 0 0 5 ,   E U R O P E A N   W E B   M I N I N G ;   G a v i s h   B . ,   2 0 0 6 ,   E l e c t r o n i c   C o m m e r c e   R e s e a r c h ,   V 6 ,   D O I   1 0 . 1 0 0 7 / s 1 0 6 6 0 - 0 0 6 - 6 9 5 4 - 0 ;   G E N T R Y   C ,   2 0 0 5 ,   6   A C M   C   E L   C O M M ;   G r e g g   D G ,   2 0 0 8 ,   C O M M U N   A C M ,   V 5 1 ,   P 6 9 ,   D O I   1 0 . 1 1 4 5 / 1 3 3 0 3 1 1 . 1 3 3 0 3 2 6 ;   G r e g g   D G ,   2 0 0 6 ,   I N T   J   E L E C T R O N   C O M M ,   V 1 0 ,   P 9 5 ,   D O I   1 0 . 2 7 5 3 / J E C 1 0 8 6 - 4 4 1 5 1 0 0 3 0 4 ;   * I N T   C R I M   C O M P L   C T ,   2 0 0 7   I N T   C R I M   R E P ;   J o s a n g   A ,   2 0 0 7 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 3 ,   P 6 1 8 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 5 . 0 5 . 0 1 9 ;   K i t t u r   A . ,   2 0 0 8 ,   2 6   A N N   S I G C H I   C   H U M ;   N I K I T K O V   A ,   2 0 0 6 ,   E C A I S   E U R   C   A C C   I N F ;   P A N D I T   S ,   2 0 0 7 ,   I N T   W O R L D   W I D   W E B   C ;   R i j s b e r g e n   C ,   1 9 7 9 ,   I N F O R M   R E T R I E V A L ;   S i e g e l   S . ,   2 0 0 9 ,   T R U S T   C R E D I T ;   S U   Q ,   2 0 0 7 ,   1 6   I N T   C   W O R L D   W I D   W ;   Z H A N G   B ,   2 0 0 8 ,   4 1   A N N   H A W   I N T   C   S Y S 	 1 9 	 2 	 2 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 0 3 9 6 3 - 8 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 0 9 	 5 6 9 2 	 	 	 	 	 	 3 0 0 	 3 1 1 	 	 	 	 1 2 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B M H 3 3 	 W O S : 0 0 0 2 7 2 3 4 0 9 0 0 0 2 7 	 	 
 B 	 C a r d o s o ,   M ;   R a m o s ,   I 	 	 	 A C M 	 C a r d o s o ,   M a r g a r i d a ;   R a m o s ,   I s a b e l 	 	 	 O p e n   I n n o v a t i o n   a n d   t h e   S o l v e r   C o m m u n i t y 	 G R O U P   2 0 0 9   P R O C E E D I N G S 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I n t e r n a t i o n a l   A C M   C o n f e r e n c e   o n   S u p p o r t i n g   G r o u p   W o r k 	 M A Y   1 0 - 1 3 ,   2 0 0 9 	 S a n i b e l   I s l ,   F L 	 A C M   S I G C H I 	 	 C r o w d s o u r c i n g   i n n o v a t i o n ;   o n l i n e   c o m m u n i t i e s ;   s o l v e r s ;   c r i s i s 	 S T R A T E G Y 	 T h i s   p a p e r   i n t r o d u c e s   a   d o c t o r a l   r e s e a r c h   o i l   o p e n   i n n o v a t i o n   s o l v e r ' s   b e h a v i o r   a n d   g r o u p   f a c t o r s   i n d u c i n g   i t .   T h e   r e s e a r c h   i s   n o w   f i n i s h i n g   i t s   f i r s t   y e a r   a n d   e x p l o r a t o r y   s t r a t e g i e s   a r e   d e v e l o p e d   c l o s e   t o   o p e n   i n n o v a t i o n   o n l i n e   C o m m u n i t i e s .   t o   p r e p a r e   a   s y s t e m a t i c   m e t h o d o l o g i c a l   a p p r o a c h .   R e s e a r c h   s e e k s   t o   u n d e r s t a n d   h o w   s o l v e r ' s   p a t t e r n s   o f   c o m m u n i c a t i o n   a n d   g r o u p   b e h a v i o r   i n f l u e n c e   t h e i r   p a r t i c i p a t i o n   i n   a n   o p e n   i n n o v a t i o n   c o m m u n i t y ,   t h r o u g h   c o l l a b o r a t i v e   I T   p l a t f o r m s   -   a n d   h o w   i t   w e i g h t s   o n   t h e i r   i n n o v a t i o n   p r o d u c t i o n .   A   s e c o n d   q u e s t i o n   i s   a b o u t   c r i t i c a l   f a c t o r s   t h a t   i n f l u e n c e   s o l v e r s '   p a r t i c i p a t i o n ,   d u e   t o   t h e   p r e s e n t   g l o b a l   e c o n o m i c a l   c r i s i s .   B y   d e s i g n i n g   a   m o d e l   o f   t h e   s o l v e r ' s   g r o u p   o f   b e l o n g i n g   c h a r a c t e r i s t i c s   a n d   r e f l e c t i n g   t h a t   o n   a   c o l l a b o r a t i v e   p l a t f o r m ' s   f u n c t i o n a l i t i e s ,   t h e   p r o j e c t   i n t e n d s   t o   p r e s e n t   s o n i c   p r o p o s i t i o n s   t o   c a s e   p a r t i c i p a t i o n   i n   c r o w d s o u r c i n g   i n n o v a t i o n   p r o c e s s e s   t h r o u g h   a n   o n l i n e   p l a t f o r m   b e i n g   d e s i g n e d   a n d   d e v e l o p e d   a t   U n i v e r s i t y   o f   M i n h o . 	 [ C a r d o s o ,   M a r g a r i d a ;   R a m o s ,   I s a b e l ]   U n i v   M i n h o ,   P - 4 7 1 9   B r a g a ,   P o r t u g a l 	 C a r d o s o ,   M   ( r e p r i n t   a u t h o r ) ,   U n i v   M i n h o ,   C a m p u s   A z u r e m   G u i m a r a e s ,   P - 4 7 1 9   B r a g a ,   P o r t u g a l . 	 m s c a r d o s o 3 0 1 @ g m a i l . c o m ;   i r a m o s @ d s i . u m i n h o . p t 	 	 	 	 	 A H O N E N   M ,   2 0 0 7 ,   I N N O V A T I O N   S E R V I C E S ;   B E C K E R   M ,   2 0 0 7 ,   A C   M A N   P ;   B e r c o v i t z   J E L ,   2 0 0 7 ,   R E S   P O L I C Y ,   V 3 6 ,   P 9 3 0 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 7 . 0 3 . 0 0 2 ;   B e r e n d s   H ,   2 0 0 7 ,   J   E N G   T E C H N O L   M A N A G E ,   V 2 4 ,   P 3 1 4 ,   D O I   1 0 . 1 0 1 6 / j . j e n g t e c m a n . 2 0 0 7 . 0 9 . 0 0 6 ;   C a r d o s o   M . ,   2 0 0 8 ,   W E B   2   0   B U S I N E S S   M O D ;   C h e s b r o u g h   H . ,   2 0 0 6 ,   O P E N   I N N O V A T I O N   R E S ;   C h e s b r o u g h   H ,   2 0 0 7 ,   R E S   T E C H N O L   M A N A G E ,   V 5 0 ,   P 5 5 ;   C h e s b r o u g h   H W ,   2 0 0 3 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 4 ,   P 3 5 ;   C h e s b r o u g h   H W ,   2 0 0 7 ,   C A L I F   M A N A G E   R E V ,   V 5 0 ,   P 5 7 ;   F l y v b j e r g   B ,   2 0 0 6 ,   Q U A L   I N Q ,   V 1 2 ,   P 2 1 9 ,   D O I   1 0 . 1 1 7 7 / 1 0 7 7 8 0 0 4 0 5 2 8 4 3 6 3 ;   G A S S M A N N   O ,   2 0 0 5 ,   M A N A G E M E N T   M E C H   N E T W ;   G a s s m a n n   O . ,   2 0 0 4 ,   T H E O R Y   O P E N   I N N O V A T I ;   H o w e   J . ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ;   H U A N G   J C ,   2 0 0 2 ,   3   C   O R G   K N O W L   U N P U B ;   K o c   T ,   2 0 0 7 ,   T E C H N O V A T I O N ,   V 2 7 ,   P 1 0 5 ,   D O I   1 0 . 1 0 1 6 / j . t e c h n o v a t i o n . 2 0 0 5 . 1 0 . 0 0 2 ;   L e t t l   C ,   2 0 0 7 ,   J   E N G   T E C H N O L   M A N A G E ,   V 2 4 ,   P 5 3 ,   D O I   1 0 . 1 0 1 6 / j . j e n g t e c m a n . 2 0 0 7 . 0 1 . 0 0 4 ;   M O R G A N   T ,   2 0 0 3 ,   B U S I N E S S   R U L E S   I N F O R ;   O E C D ,   2 0 0 8 ,   O P   I N N   G L O B   N E T W ;   P h e l p s   B ,   2 0 0 7 ,   T E C H N O L   A N A L   S T R A T E G ,   V 1 9 ,   P 1 7 ,   D O I   1 0 . 1 0 8 0 / 0 9 5 3 7 3 2 0 6 0 1 0 6 5 2 4 1 ;   R O H R B E C K   R ,   2 0 0 8 ,   C R E A T I N G   O P E N   I N N O V A ;   T e d d l i e   C ,   2 0 0 7 ,   J   M I X   M E T H O D   R E S ,   V 1 ,   P 7 7 ,   D O I   1 0 . 1 1 7 7 / 2 3 4 5 6 7 8 9 0 6 2 9 2 4 3 0 ;   T O R R O   M ,   2 0 0 7 ,   V T T   P U B L I C A T I O N S ,   V 6 3 1 ,   P 3 0 ;   v o n   H i p p e l   E r i c ,   2 0 0 5 ,   D E M O C R A T I Z I N G   I N N O V A ;   W e n g e r   E t i e n n e ,   1 9 9 8 ,   C O M M U N I T I E S   P R A C T I C E ;   Y i n   R .   K . ,   2 0 0 3 ,   C A S E   S T U D Y   R E S   D E S I G 	 2 5 	 1 	 1 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 1 5 1 5   B R O A D W A Y ,   N E W   Y O R K ,   N Y   1 0 0 3 6 - 9 9 9 8   U S A 	 	 	 9 7 8 - 1 - 6 0 5 5 8 - 5 0 0 - 0 	 	 	 	 2 0 0 9 	 	 	 	 	 	 	 3 7 3 	 3 7 4 	 	 	 	 2 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 B M N 3 1 	 W O S : 0 0 0 2 7 2 9 4 5 6 0 0 0 4 2 	 	 
 J 	 J a m j o o m ,   H ;   Q u ,   H ;   B u c o ,   M J ;   H e r n a n d e z ,   M ;   S a h a ,   D ;   N a g h s h i n e h ,   M 	 	 	 	 J a m j o o m ,   H . ;   Q u ,   H . ;   B u c o ,   M .   J . ;   H e r n a n d e z ,   M . ;   S a h a ,   D . ;   N a g h s h i n e h ,   M . 	 	 	 C r o w d s o u r c i n g   a n d   s e r v i c e   d e l i v e r y 	 I B M   J O U R N A L   O F   R E S E A R C H   A N D   D E V E L O P M E N T 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 T o d a y ,   s e r v i c e   d e l i v e r y   o r g a n i z a t i o n s   o p e r a t e   i n   a   h i g h l y   d y n a m i c ,   c o m p l e x ,   c o m p e t i t i v e ,   a n d   g l o b a l l y   d i s t r i b u t e d   e n v i r o n m e n t .   T h e r e   i s   c o n s t a n t   p r e s s u r e   t o   r e d u c e   c o s t s   a n d   i m p r o v e   p e r f o r m a n c e   a n d   q u a l i t y .   S u c c e s s   d e m a n d s   t h e   a b i l i t y   t o   c o n t i n u o u s l y   l e a r n   a n d   a d a p t .   S t a n d a r d i z a t i o n   i s   r e c o g n i z e d   a s   e s s e n t i a l   t o   r e d u c i n g   v a r i a t i o n   a n d ,   t h e r e f o r e ,   c o s t s ,   a s   w e l l   a s   m a n a g i n g   q u a l i t y .   P u b l i c   f r a m e w o r k s   a n d   s t a n d a r d s ,   s u c h   a s   I T I L   ( R )   ( I n f o r m a t i o n   T e c h n o l o g y   I n f r a s t r u c t u r e   L i b r a r y ) ,   p r o v i d e   b e s t - p r a c t i c e   g u i d a n c e   a n d   a   c o m m o n   v o c a b u l a r y   f o r   m a n a g i n g   I T   ( i n f o r m a t i o n   t e c h n o l o g y )   s e r v i c e s .   I n   t h i s   p a p e r ,   w e   e x p l o r e   t h e   r o l e   t h a t   s o c i a l   n e t w o r k i n g   a n d   " c r o w d s o u r c i n g "   c a n   p l a y   i n   s o c i a l i z i n g   a n d   d e v e l o p i n g   b e s t   p r a c t i c e s   f o r   a   s e r v i c e   d e l i v e r y   o r g a n i z a t i o n .   W e   d r a w   o n   o u r   e x p e r i e n c e   d e v e l o p i n g   a n d   d e p l o y i n g   a   s o c i a l   n e t w o r k i n g   a p p l i c a t i o n ,   c a l l e d   C y a n o ,   w h i c h   i s   b e i n g   u s e d   b y   a p p r o x i m a t e l y   1 3 , 0 0 0   I T   p r o f e s s i o n a l s   t o   c a p t u r e   a n d   m a i n t a i n   d a y - t o - d a y   a c t i v i t i e s ,   p r o c e s s e s ,   a n d   a r t i f a c t s   u s e d   f o r   p r o b l e m   a n d   c h a n g e   m a n a g e m e n t   o f   s e v e r a l   h u n d r e d   o u t s o u r c e d   i n f r a s t r u c t u r e s .   C y a n o   i s   a   n e w   b r e e d   o f   s o c i a l   n e t w o r k i n g   e n t e r p r i s e   a p p l i c a t i o n s ,   i n   w h i c h   c r o w d s o u r c i n g   i s   l e v e r a g e d   t o   e n r i c h   a n d   m a i n t a i n   I T   p r o c e s s e s   a n d   s o c i a l   n e t w o r k s   a r e   n o t   c r e a t e d   b y   e x p l i c i t   m e m b e r s h i p ,   b u t   r a t h e r   a r e   i m p l i c i t l y   d i s c o v e r e d   b y   t h e   t y p e   o f   a c t i v i t i e s   a n d   i n f r a s t r u c t u r e   e l e m e n t s   t h a t   v a r i o u s   u s e r s   s u p p o r t .   I n   t h i s   p a p e r ,   w e   f o c u s   o n   1 )   t h e   a r c h i t e c t u r e   o f   C y a n o   f o r   s u p p o r t i n g   s o c i a l   t a g g i n g   a n d   l i n k a g e   a c r o s s   d i f f e r e n t   l a y e r s   o f   m a n a g e m e n t   a p p l i c a t i o n s ,   2 )   p r o c e s s   c u s t o m i z a t i o n   a n d   g o v e r n a n c e ,   a n d   3 )   a n   a u t o m a t e d   r e c o m m e n d a t i o n   s y s t e m   t h a t   h a s   b e e n   w e l l   r e c e i v e d   b y   t h o u s a n d s   o f   I T   p r o f e s s i o n a l s .   W e   a l s o   h i g h l i g h t   r e s e a r c h   c h a l l e n g e s   i n   t h i s   s p a c e . 	 [ J a m j o o m ,   H . ;   Q u ,   H . ;   B u c o ,   M .   J . ;   H e r n a n d e z ,   M . ;   N a g h s h i n e h ,   M . ]   I B M   R e s   D i v ,   T h o m a s   J   W a t s o n   R e s   C t r ,   H a w t h o r n e ,   N Y   1 0 5 3 2   U S A ;   [ S a h a ,   D . ]   I B M   S y s t   &   T e c h n o l   G r p ,   T u c s o n ,   A Z   8 5 7 4 4   U S A 	 J a m j o o m ,   H   ( r e p r i n t   a u t h o r ) ,   I B M   R e s   D i v ,   T h o m a s   J   W a t s o n   R e s   C t r ,   1 9   S k y l i n e   D r ,   H a w t h o r n e ,   N Y   1 0 5 3 2   U S A . 	 j a m j o o m @ u s . i b m . c o m ;   h q u @ u s . i b m . c o m ;   m j b u c o @ u s . i b m . c o m ;   m i l t o n h @ u s . i b m . c o m ;   d s a h a @ u s . i b m . c o m ;   m a h m o u d @ u s . i b m . c o m 	 	 	 	 	 [ A n o n y m o u s ] ,   2 0 0 0 ,   I T I L   K E Y   M A N A G I N G   I T ;   [ A n o n y m o u s ] ,   2 0 0 7 ,   I T I L   D E S I G N   G U I D E L I N ;   B E A   S y s t e m s   I B M   O r a c l e   P r i m e t o n   T e c h n o l o g i e s   L t d . ,   S E R V   D A T   O B J ;   B r i n   S ,   1 9 9 8 ,   C O M P U T   N E T W O R K S   I S D N ,   V 3 0 ,   P 1 0 7 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 9 - 7 5 5 2 ( 9 8 ) 0 0 1 1 0 - X ;   D u b i n k o   M . ,   2 0 0 6 ,   P   1 5   I N T   C   W O R L D   W I D ,   P 1 9 3 ,   D O I   1 0 . 1 1 4 5 / 1 1 3 5 7 7 7 . 1 1 3 5 8 1 0 ;   F u j i w a r a   K . ,   2 0 0 7 ,   I E E E   S C C ,   P 8 3 ,   D O I   1 0 . 1 1 0 9 / S C C . 2 0 0 7 . 3 5 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   J e h   G . ,   2 0 0 2 ,   P   8   A C M   S I G K D D   I N T   C ,   P 5 3 8 ,   D O I   D O I   1 0 . 1 1 4 5 / 7 7 5 0 4 7 . 7 7 5 1 2 6 ;   K A M A D A   T ,   1 9 8 9 ,   I N F O R M   P R O C E S S   L E T T ,   V 3 1 ,   P 7 ,   D O I   1 0 . 1 0 1 6 / 0 0 2 0 - 0 1 9 0 ( 8 9 ) 9 0 1 0 2 - 6 ;   K e l l y   M .   B . ,   2 0 0 3 ,   J   N E T W   S Y S T   M A N A G ,   V 1 1 ,   P 1 0 9 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 2 2 4 4 9 2 0 9 5 2 6 ;   K l o s t e r b o e r   L . ,   2 0 0 8 ,   I M P L E M E N T I N G   I T I L   C O ;   K u m a r   R . ,   2 0 0 6 ,   P   1 2   A C M   S I G K D D   I N T ,   P 6 1 1 ,   D O I   1 0 . 1 1 4 5 / 1 1 5 0 4 0 2 . 1 1 5 0 4 7 6 ;   L e s k o v e c   J . ,   2 0 0 5 ,   P   1 1   A C M   S I G K D D   I N T ,   P 1 7 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 0 8 1 8 7 0 . 1 0 8 1 8 9 3 ;   M o s e r   S . ,   2 0 0 7 ,   I E E E   I N T   C   S E R V   C O M P ,   P 9 8 ,   D O I   [ 1 0 . 1 1 0 9 / S C C . 2 0 0 7 . 2 2 ,   D O I   1 0 . 1 1 0 9 / S C C . 2 0 0 7 . 2 2 ] ;   P a n   J Y ,   2 0 0 4 ,   P   1 0   A C M   S I G K D D   I N T ,   P 6 5 3 ,   D O I   1 0 . 1 1 4 5 / 1 0 1 4 0 5 2 . 1 0 1 4 1 3 5 ;   Q u   H . ,   2 0 0 8 ,   P   I E E E   I N T   C   S E R V   C O ,   P 1 0 1 ;   R a t t e n b u r y   T . ,   2 0 0 7 ,   P   3 0   A N N   I N T   A C M   S I G ,   P 1 0 3 ,   D O I   1 0 . 1 1 4 5 / 1 2 7 7 7 4 1 . 1 2 7 7 7 6 2 ;   S u n   J . ,   2 0 0 5 ,   P   5   I E E E   I N T   C   D A T   M ,   P 4 1 8 ;   S u n   J . ,   2 0 0 5 ,   S T E E L   I R O N   R E S ,   P 4 8 ;   S u r o w i e c k i   J a m e s ,   2 0 0 5 ,   W I S D O M   C R O W D S ;   T o n g   H . ,   2 0 0 6 ,   P   1 2   A C M   S I G K D D   I N T ,   P 4 0 4 ,   D O I   1 0 . 1 1 4 5 / 1 1 5 0 4 0 2 . 1 1 5 0 4 4 8 ;   V i e g a s   F .   B . ,   2 0 0 7 ,   P   4 0   A N N   H A W   I N T   C   S ,   P 7 8 ,   D O I   1 0 . 1 1 0 9 / H I C S S . 2 0 0 7 . 5 1 1 ;   X u   Z ,   2 0 0 6 ,   P   C O L L   W E B   T A G G   W O R K ;   Y a n g   S .   J .   H . ,   2 0 0 7 ,   I E E E   S C C ,   P 1 3 0 ,   D O I   1 0 . 1 1 0 9 / S C C . 2 0 0 7 . 1 2 9 	 2 4 	 0 	 0 	 I B M   C O R P 	 A R M O N K 	 1   N E W   O R C H A R D   R O A D ,   A R M O N K ,   N Y   1 0 5 0 4   U S A 	 0 0 1 8 - 8 6 4 6 	 	 	 I B M   J   R E S   D E V 	 I B M   J .   R e s .   D e v . 	 	 2 0 0 9 	 5 3 	 6 	 	 	 	 	 	 	 1 2 	 1 0 . 1 1 4 7 / J R D . 2 0 0 9 . 5 4 2 9 0 4 0 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 V 2 2 E Q 	 W O S : 0 0 0 2 0 8 2 5 8 9 0 0 0 1 2 	 	 
 B 	 B e r l a n d ,   M ;   R a n d ,   W 	 F i l i p e ,   J 	 F r e d ,   A 	 	 B e r l a n d ,   M a t t h e w ;   R a n d ,   W i l l i a m 	 F i l i p e ,   J 	 	 P A R T I C I P A T O R Y   S I M U L A T I O N   A S   A   T O O L   F O R   A G E N T - B A S E D   S I M U L A T I O N 	 I C A A R T   2 0 0 9 :   P R O C E E D I N G S   O F   T H E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   A G E N T S   A N D   A R T I F I C I A L   I N T E L L I G E N C E 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 s t   I n t e r n a t i o n a l   C o n f e r e n c e   o n   A g e n t s   a n d   A r t i f i c i a l   I n t e l l i g e n c e 	 J A N   1 9 - 2 1 ,   2 0 0 9 	 P o r t o ,   P O R T U G A L 	 W o r k f l o w   M a n a g e   C o a l i t ,   A s s o c   A d v   A r t i f i c i a l   I n t e l l ,   S p e c i a l   I n t e r e s t   G r p   A r t i f i c i a l   I n t e l l 	 I n s t   S y s t   &   T e c h n o l   I n f o r m a t ,   C o n t r o l   &   C o m m u n 	 P a r t i c i p a t o r y   s i m u l a t i o n ;   A g e n t - b a s e d   m o d e l ;   A g e n t - b a s e d   s i m u l a t i o n ;   C o m p l e x   s y s t e m s   l e a r n i n g 	 	 P a r t i c i p a t o r y   s i m u l a t i o n ,   a s   d e s c r i b e d   b y   W i l e n s k y   &   S t r o u p   ( 1 9 9 9 c ) ,   i s   a   f o r m   o f   a g e n t - b a s e d   s i m u l a t i o n   i n   w h i c h   m u l t i p l e   h u m a n s   c o n t r o l   o r   d e s i g n   i n d i v i d u a l   a g e n t s   i n   t h e   s i m u l a t i o n .   F o r   i n s t a n c e ,   i n   a   p a r t i c i p a t o r y   s i m u l a t i o n   o f   a n   e c o s y s t e m ,   f i f t y   p a r t i c i p a n t s   m i g h t   e a c h   c o n t r o l   t h e   i n t a k e   a n d   o u t p u t   o f   o n e   a g e n t ,   s u c h   t h a t   t h e   f o o d   w e b   e m e r g e s   f r o m   t h e   i n t e r a c t i o n s   o f   t h e   h u m a n - c o n t r o l l e d   a g e n t s .   W e   a r g u e   t h a t   p a r t i c i p a t o r y   s i m u l a t i o n   h a s   b e e n   u n d e r - u t i l i z e d   o u t s i d e   o f   s t r i c t l y   e d u c a t i o n a l   c o n t e x t s ,   a n d   t h a t   i t   p r o v i d e s   m y r i a d   b e n e f i t s   t o   d e s i g n e r s   o f   t r a d i t i o n a l   a g e n t - b a s e d   s i m u l a t i o n s .   T h e s e   b e n e f i t s   i n c l u d e   i n c r e a s e d   r o b u s t n e s s   o f   t h e   m o d e l ,   i n c r e a s e d   c o m p r e h e n s i b i l i t y   o f   t h e   f i n d i n g s ,   a n d   s i m p l e r   d e s i g n   o f   i n d i v i d u a l   a g e n t   b e h a v i o r s .   T o   m a k e   t h i s   a r g u m e n t ,   w e   l o o k   t o   r e c e n t   r e s e a r c h   s u c h   a s   t h a t   f r o m   c r o w d s o u r c i n g   ( v o n   A h n ,   2 0 0 5 )   a n d   t h e   r e i n f o r c e m e n t   l e a r n i n g   o f   a u t o n o m o u s   a g e n t   b e h a v i o r   ( A b b e e l ,   2 0 0 8 ) . 	 [ B e r l a n d ,   M a t t h e w ]   U n i v   T e x a s   A u s t i n ,   D e p t   C o m p   S c i ,   I C E S ,   A u s t i n ,   T X   7 8 7 1 2   U S A 	 B e r l a n d ,   M   ( r e p r i n t   a u t h o r ) ,   U n i v   T e x a s   A u s t i n ,   D e p t   C o m p   S c i ,   I C E S ,   A u s t i n ,   T X   7 8 7 1 2   U S A . 	 m b e r l a n d @ c s . t e x a s . e d u ;   w r a n d @ u m d . e d u 	 	 	 	 	 A b b e e l   P . ,   2 0 0 8 ,   T H E S I S   S T A N F O R D ;   B a r - Y a m   Y . ,   1 9 9 7 ,   D Y N A M I C S   C O M P L E X   S Y S ;   B e r l a n d   M . ,   2 0 0 8 ,   T H E S I S   N W   U   E V A N S T O N ;   C o l l e l a   V . ,   2 0 0 0 ,   J   L E A R N   S C I ,   V 9 ,   P 4 7 1 ;   d i S e s s a   A .   A . ,   2 0 0 0 ,   C H A N G I N G   M I N D S   C O M P U ;   G R I F F I N   W A ,   2 0 0 6 ,   B I O L   T H E O R Y ,   V 1 ;   H E A R S T   M A ,   2 0 0 8 ,   I E E E   I N T E L L I G E N T   J U L ,   P 1 8 ;   K A H N E M A N   D ,   1 9 7 3 ,   P S Y C H O L   R E V ,   V 8 0 ,   P 2 3 7 ,   D O I   1 0 . 1 0 3 7 / h 0 0 3 4 7 4 7 ;   K L O P F E R   E ,   2 0 0 5 ,   E N V   D E T E C T I V E S   D E V   A ;   L a t o u r   B . ,   1 9 8 7 ,   S C I   A C T I O N   F O L L O W   S C ;   N g   A .   Y . ,   2 0 0 0 ,   P   1 7   I N T   C   M A C H   L E A R ;   P a r k e r   D C ,   2 0 0 3 ,   A N N   A S S O C   A M   G E O G R ,   V 9 3 ,   P 3 1 4 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 8 3 0 6 . 9 3 0 2 0 0 4 ;   * P E W   R E S ,   2 0 0 8 ,   T E E N S   V I D   G A M   C I V   T E ;   S Q U I R E   K ,   2 0 0 4 ,   I N S I G H T ,   V 1 ,   P 5 ;   V o n   A h n   L . ,   2 0 0 5 ,   T H E S I S   C A R N E G I E   M E L L ;   V o n   A h n   L . ,   2 0 0 8 ,   R E C A P T C H A   H U M A N   B A S E ,   P 1 4 6 5 ;   W i k i p e d i a - T h e   F r e e   E n c y c l o p e d i a ,   2 0 0 8 ,   W I K   F R E E   E N C ;   W I L E N S K Y   U ,   1 9 9 3 ,   T H E S I S   C A M B R I D G E   M A ;   W I L E N S K Y   U ,   1 9 9 9 ,   L E A R N I N G   P A R T I C I P A T O ;   W i l e n s k y   U . ,   1 9 9 7 ,   N E T L O G O   A N T S   M O D E L ;   W i l e n s k y   U . ,   1 9 9 9 ,   H U B N E T ;   W i l e n s k y   U ,   2 0 0 6 ,   C O G N I T I O N   I N S T R U C T ,   V 2 4 ,   P 1 7 1 ,   D O I   1 0 . 1 2 0 7 / s 1 5 3 2 6 9 0 x c i 2 4 0 2 _ 1 ;   W i l e n s k y   U . ,   1 9 9 9 ,   N E T L O G O   H U B N E T   G R I D L ;   * W I R ,   2 0 0 7 ,   W H A T   D O E S   C R O W D S   R E A ;   W o l f r a m   S . ,   2 0 0 2 ,   N E W   K I N D   S C I 	 2 5 	 2 	 2 	 I N S T I C C - I N S T   S Y S T   T E C H N O L O G I E S   I N F O R M A T I O N   C O N T R O L   &   C O M M U N I C A T I O N 	 S E T U B A L 	 A V E N I D A   D   M A N U E L   L ,   2 7 A   2   E S Q U E R D O ,   S E T U B A L ,   2 9 1 0 - 5 9 5 ,   P O R T U G A L 	 	 	 9 7 8 - 9 8 9 - 8 1 1 1 - 6 6 - 1 	 	 	 	 2 0 0 9 	 	 	 	 	 	 	 5 5 3 	 5 5 7 	 	 	 	 5 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 B J S 0 3 	 W O S : 0 0 0 2 6 7 0 5 8 0 0 0 0 8 4 	 	 
 B 	 C a r t e r ,   C L 	 	 B e r g e n d a h l ,   M N ;   G r i m h e d e n ,   M ;   L e i f e r ,   L ;   S k o g s t a d ,   P ;   C l a r k s o n ,   J 	 	 C a r t e r ,   C a r i s s a   L . 	 	 	 E M E R G E N T   D E S I G N   M E T H O D O L O G I E S   A N D   I M P L I C A T I O N S 	 I C E D   0 9   -   T H E   1 7 T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   E N G I N E E R I N G   D E S I G N ,   V O L   1 :   D E S I G N   P R O C E S S E S 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 7 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   E n g i n e e r i n g   D e s i g n 	 A U G   2 4 - 2 7 ,   2 0 0 9 	 S t a n f o r d ,   C A 	 S t a n f o r d   U n i v ,   C t r   D e s i g n   R e s ,   D e s i g n   S o c 	 S t a n f o r d   U n i v 	 e m e r g e n t   d e s i g n ;   s t o r y t e l l i n g ;   e m p a t h y ;   e t h n o g r a p h y ;   m e t h o d o l o g y ;   c r o w d s o u r c i n g 	 	 E m e r g e n t   d e s i g n   i s   a   c r o w d s o u r c i n g   t o o l s e t   f o r   d e s i g n e r s   d o i n g   e t h n o g r a p h i c   u s e r   r e s e a r c h   o n   l a r g e - s c a l e ,   m u l t i - u s e r ,   m u l t i - c o n t i n e n t   d e s i g n   c h a l l e n g e s .   I n   c o n t r a s t   t o   t r a d i t i o n a l   u s e r   r e s e a r c h   s t u d i e s   t h a t   i n c l u d e   s m a l l   n u m b e r s   o f   i n - d e p t h   e t h n o g r a p h i e s ,   e m e r g e n t   d e s i g n   a i m s   t o   a c c e s s   t h e   s a m e   q u a l i t y   o f   r i c h   i n s i g h t s   b y   a c q u i r i n g   s m a l l   p i e c e s   o f   q u a l i t a t i v e   i n f o r m a t i o n   f r o m   m i l l i o n s   o f   p e o p l e   a r o u n d   t h e   w o r l d ,   s y n t h e s i z i n g   r e s p o n s e s ,   a n d   d e r i v i n g   d e s i g n   i n s p i r a t i o n   f r o m   e m e r g e n t   p r o p e r t i e s   o f   t h e   c o l l e c t i v e .   T h i s   p a p e r   p r e s e n t s   t h e   c o n c e p t   o f   e m e r g e n c e   a s   i t   r e l a t e s   t o   d e s i g n ,   t h e   n e w   c l a s s   o f   d e s i g n   p r o b l e m   t h a t   i n s p i r e d   t h e   d e v e l o p m e n t   o f   t h i s   t o o l s e t ,   a n d   i t s   m a j o r   c o m p o n e n t s ,   m e t h o d o l o g i e s ,   a n d   a n   i n i t i a l   p i l o t   p r o j e c t . 	 S t a n f o r d   U n i v ,   D e s i g n   D i v ,   S t a n f o r d ,   C A   9 4 3 0 5   U S A 	 C a r t e r ,   C L   ( r e p r i n t   a u t h o r ) ,   S t a n f o r d   U n i v ,   D e s i g n   D i v ,   7 4   B a r n e s   C t   8 0 1 ,   S t a n f o r d ,   C A   9 4 3 0 5   U S A . 	 c a r i s s a . c a r t e r @ g m a i l . c o m 	 	 	 	 	 A r k i n   R .   C . ,   1 9 9 9 ,   B E H A V   B A S E D   R O B O T I C S ;   A x e l r o d   R . ,   1 9 8 4 ,   E V O L U T I O N   C O O P E R A T I O ;   D u b b e r l y   H ,   2 0 0 8 ,   A N A L   S Y N T H E S I S   B R I D G ;   G e r o   J S ,   1 9 9 6 ,   K N O W L - B A S E D   S Y S T ,   V 9 ,   P 4 3 5 ,   D O I   1 0 . 1 0 1 6 / S 0 9 5 0 - 7 0 5 1 ( 9 6 ) 0 1 0 5 4 - 4 ;   K e l l y   K . ,   1 9 9 4 ,   O U T   C O N T R O L ;   N a t i o n a l   A c a d e m y   o f   E n g i n e e r i n g ,   G R A N D   C H A L L   E N G ;   R e y n o l d s ,   1 9 8 7 ,   C O M P U T E R   G R A P H I C S ,   V 2 1 ,   P 2 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 3 7 4 0 2 . 3 7 4 0 6 ;   R o n a l d   E M A ,   1 9 9 9 ,   A R T I F   L I F E ,   V 5 ,   P 2 2 5 ,   D O I   1 0 . 1 1 6 2 / 1 0 6 4 5 4 6 9 9 5 6 8 7 5 5 ;   S a u n d e r s   R . ,   2 0 0 0 ,   A R T   I N T   D E S   C ;   W h e e l e r   W . ,   1 9 2 8 ,   E M E R G E N T   E V O L U T I O N   D 	 1 0 	 0 	 0 	 D E S I G N   S O C I E T Y 	 G L A S G O W 	 U N I V   S T R A T H C L Y D E ,   D M E M ,   7 5   M O N T R O S E   S T ,   G L A S G O W ,   G I   1 X J ,   E N G L A N D 	 	 	 9 7 8 - 1 - 9 0 4 6 7 0 - 0 5 - 6 	 	 	 	 2 0 0 9 	 	 	 	 	 	 	 5 5 1 	 5 5 7 	 	 	 	 7 	 E n g i n e e r i n g ,   M a n u f a c t u r i n g ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 E n g i n e e r i n g ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 B Z L 6 6 	 W O S : 0 0 0 3 0 1 9 5 2 0 0 0 0 4 8 	 	 
 B 	 C h a p o t o t ,   E ;   R o b i n ,   V ;   L e g a r d e u r ,   J ;   G i r a r d ,   P 	 	 B e r g e n d a h l ,   M N ;   G r i m h e d e n ,   M ;   L e i f e r ,   L ;   S k o g s t a d ,   P ;   C a n t a m e s s a ,   M 	 	 C h a p o t o t ,   E m i l i e ;   R o b i n ,   V i n c e n t ;   L e g a r d e u r ,   J e r e m y ;   G i r a r d ,   P h i l i p p e 	 	 	 M A N A G I N G   D E S I G N   S Y S T E M   E V O L U T I O I N :   A   P A R T I C U L A R   A P P R O A C H   B A S E D   O N   C R O W D S O U R C I N G   F O R   T H E   U S A G E   L I F E C Y C L E   M A N A G E M E N T   A P P R O A C H   ( U L M ) 	 I C E D   0 9   -   T H E   1 7 T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   E N G I N E E R I N G   D E S I G N ,   V O L   3 :   D E S I G N   O R G A N I Z A T I O N   A N D   M A N A G E M E N T 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 7 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   E n g i n e e r i n g   D e s i g n 	 A U G   2 4 - 2 7 ,   2 0 0 9 	 S t a n f o r d ,   C A 	 S t a n f o r d   U n i v ,   C t r   D e s i g n   R e s ,   D e s i g n   S o c 	 S t a n f o r d   U n i v 	 U s a g e   i n   D e s i g n ;   P e r f o r m a n c e   i n   D e s i g n ;   U s a g e   L i f e y c l e   M a n a g e m e n t ;   C r o w d s o u r c i n g 	 E N G I N E E R I N G   D E S I G N ;   F R A M E W O R K ;   K N O W L E D G E ;   I N F O R M A T I O N 	 T o d a y   t h e   s u c c e s s   o f   c o m p a n i e s   d e p e n d s   o n   t h e i r   a b i l i t y   t o   d e s i g n   i n n o v a t i v e   p r o d u c t s .   T h i s   p o i n t   i m p l i e s   t o   m a n a g e   n o t   o n l y   p r o d u c t / p r o c e s s   d a t a   t o   f o l l o w   d e s i g n   s y s t e m   e v o l u t i o n   b u t   a l s o   t o   f o s t e r   i n t e r a c t i o n s   a n d   c o n t r o l   t h e   c o l l a b o r a t i o n   a m o n g   t h e   d i f f e r e n t   s t a k e h o l d e r s   i n v o l v e d   i n   t h e   d i f f e r e n t   d e s i g n   p r o j e c t s .   I n   t h i s   p a p e r ,   w e   d e f i n e   t h e   p e r f o r m a n c e   i n d i c a t o r s   w h i c h   a r e   i m p a c t i n g   t h e   p e r f o r m a n c e   o f   t h e   d e s i g n   p r o j e c t s .   T h e y   a r e   c h a n g i n g   a l l   t h e   t i m e   a n d   p r o v i d e   a n   e v o l u t i o n a r y   v i s i o n   o f   t h e   s y s t e m .   T h e y   c o u l d   b e   i d e n t i f i e d   i n   t h e   s y s t e m   o r   d u r i n g   t h e   u p s t r e a m   o r   d o w n s t r e a m   p h a s e s   o f   t h e   p r o d u c t   l i f e c y c l e .   E s p e c i a l l y   w e   f o c u s   h e r e   o n   t h e   p e r f o r m a n c e   i n d i c a t o r s   o f   t h e   d o w n s t r e a m   p h a s e s   ( u t i l i z a t i o n ,   m a i n t e n a n c e ,   r e c y c l i n g ) .   W e   p r o p o s e   t h e   U M L   a p p r o a c h   ( f o r   U s a g e   L i f e c y c l e   M a n a g e m e n t )   t o   m a n a g e   p r o d u c t   i n f o r m a t i o n   r e l a t e d   t o   p r o d u c t   u s a g e   c o n t e x t .   T h i s   a p p r o a c h   i s   s u p p o r t e d   b y   a n   e x t e r n a l   p l a t f o r m   c o l l e c t i n g   a n d   v a l o r i z i n g   u s a g e   i n f o r m a t i o n   f r o m   t h e   d i f f e r e n t   s t a k e h o l d e r s   s u c h   a s   c u s t o m e r ,   r e t a i l e r   o r   e m p l o y e e s .   T h i s   w e b   2 . 0   p l a t f o r m   i s   d e v e l o p e d   w i t h   a   c r o w d s o u r c i n g   a p p r o a c h   t o   c o l l e c t   i n f o r m a t i o n   i n   a   m u l t i - u s e r s ,   m u l t i - p r o d u c t s   a n d   m u l t i - c o m p a n i e s   n e t w o r k . 	 	 	 e . c h a p o t o t @ e s t i a . f r 	 	 	 	 	 B   S o u d o p l a t o f f ,   2 0 0 6 ,   W E B   2   0 ;   B o z t e p e   S ,   2 0 0 7 ,   D E S   S T U D ,   V 2 8 ,   P 5 1 3 ,   D O I   1 0 . 1 0 1 6 / j . d e s t u d . 2 0 0 7 . 0 2 . 0 1 0 ;   C h a n g   D R ,   2 0 0 8 ,   J   B U S   R E S ,   V 6 1 ,   P 1 3 ,   D O I   1 0 . 1 0 1 6 / j . j b u s r e s . 2 0 0 6 . 0 5 . 0 0 5 ;   C h e n   C - J ,   2 0 0 8 ,   M E D I A T I N G   R O L E   K N O W L ,   D O I   [ 1 0 . 1 0 1 6 / j . j b u s r e s . 2 0 0 7 . 1 1 . 0 1 6 ,   D O I   1 0 . 1 0 1 6 / J . J B U S R E S . 2 0 0 7 . 1 1 . 0 1 6 ] ;   C h e n   H H ,   2 0 0 8 ,   C O M P U T   I N D ,   V 5 9 ,   P 2 4 2 ,   D O I   1 0 . 1 0 1 6 / j . c o m p i n d . 2 0 0 7 . 0 6 . 0 2 0 ;   G i r a r d   P ,   2 0 0 6 ,   C O M P U T   I N D ,   V 5 7 ,   P 8 1 7 ,   D O I   1 0 . 1 0 1 6 / j . c o m p i n d . 2 0 0 6 . 0 4 . 0 1 6 ;   G o n n e t   S ,   2 0 0 7 ,   E X P E R T   S Y S T   A P P L ,   V 3 3 ,   P 8 8 1 ,   D O I   1 0 . 1 0 1 6 / j . e s w a . 2 0 0 6 . 0 7 . 0 0 4 ;   G r e e n   W . S . ,   1 9 9 9 ,   H U M A N   F A C T O R S   P R O D U C ;   H i c k s   B J ,   2 0 0 2 ,   I N T   J   I N F O R M   M A N A G E ,   V 2 2 ,   P 2 6 3 ,   D O I   1 0 . 1 0 1 6 / S 0 2 6 8 - 4 0 1 2 ( 0 2 ) 0 0 0 1 2 - 9 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   P 1 4 ;   L e d e r b e r g   J ,   1 9 9 0 ,   E X C I T E M E N T   F A S C I N A   1 ,   V I I I ;   L e g a r d e u r   J . ,   2 0 0 7 ,   J   D E S I G N   R E S ,   V 6 ,   P 1 ;   O ' D o n n e l l   F . J . O ,   1 9 9 9 ,   I N T   C   E N G   D E S   I C E D   9 ;   P a t a n a k u l   P . ,   2 0 0 8 ,   J   H I G H   T E C H N O L O G Y   M A ,   V 1 8 ,   P 1 1 8 ,   D O I   D O I   1 0 . 1 0 1 6 / J . H I T E C H . 2 0 0 7 . 1 2 . 0 0 6 ;   P i e r r a u l t   J ,   1 9 8 9 ,   E S S A I   M A C H I N E S   C O M M U ;   Q u a r a n t e   D . ,   1 9 9 4 ,   E L E M E N T S   D E S I G N   I N D ;   R o b i n   V ,   2 0 0 7 ,   C O M P U T   I N D ,   V 5 8 ,   P 1 8 8 ,   D O I   1 0 . 1 0 1 6 / j . c o m p i n d . 2 0 0 6 . 0 9 . 0 0 6 ;   R o b i n   V . ,   2 0 0 7 ,   C O M P L E X   S Y S T E M S   C O N C ;   S a a k s v u o r i   A . ,   2 0 0 4 ,   P R O D U C T   L I F E C Y C L E   M A ;   S a g o t   J . C . ,   1 9 9 8 ,   I N T   J   D E S I G N   I N N O V A T ,   V 1 ,   P 2 2 ;   S p e r a n d i o   S . ,   2 0 0 7 ,   P   I N T   C   E N G   D E S   I C E D ;   S u d a r s a n   R ,   2 0 0 5 ,   C O M P U T   A I D E D   D E S I G N ,   V 3 7 ,   P 1 3 9 9 ,   D O I   1 0 . 1 0 1 6 / j . c a d . 2 0 0 5 . 0 2 . 0 1 0 ;   S u d a r s a n   R . ,   2 0 0 7 ,   C O M P U T   A I D E D   D E S I G N ,   D O I   [ 1 0 . 1 0 1 6 / j . c a d . 2 0 0 7 . 0 6 . 0 1 2 ,   D O I   1 0 . 1 0 1 6 / J . C A D . 2 0 0 7 . 0 6 . 0 1 2 ] ;   T a r o n d e a u   J . C . ,   1 9 9 3 ,   S T R A T E G I E   I N D ;   V a l l e t t e   T ,   2 0 0 5 ,   T H E S I S   E C O L E   N A T L   S U ;   Y a n g   H L ,   2 0 0 8 ,   T E C H N O L   F O R E C A S T   S O C ,   V 7 5 ,   P 1 1 2 8 ,   D O I   1 0 . 1 0 1 6 / j . t e c h f o r e . 2 0 0 7 . 1 1 . 0 0 8 	 2 6 	 0 	 0 	 D E S I G N   S O C 	 G L A S G O W 	 U N I V   S T R A T H C L Y D E ,   D M E M ,   7 5   M O N T R O S E   S T ,   G L A S G O W ,   G I   1 X J ,   E N G L A N D 	 	 	 9 7 8 - 1 - 9 0 4 6 7 0 - 0 7 - 0 	 	 	 	 2 0 0 9 	 	 	 	 	 	 	 2 9 7 	 3 0 8 	 	 	 	 1 2 	 E n g i n e e r i n g ,   M a n u f a c t u r i n g ;   M a n a g e m e n t ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 E n g i n e e r i n g ;   B u s i n e s s   &   E c o n o m i c s ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 B Z S 2 5 	 W O S : 0 0 0 3 0 2 7 3 4 7 0 0 0 2 6 	 	 
 S 	 R a m o s ,   I ;   C a r d o s o ,   M ;   C a r v a l h o ,   J V ;   G r a c a ,   J I 	 	 D h i l l o n ,   G ;   S t a h l ,   B C ;   B a s k e r v i l l e ,   R 	 	 R a m o s ,   I s a b e l ;   C a r d o s o ,   M a r g a r i d a ;   C a r v a l h o ,   J o a o   V i d a l ;   G r a c a ,   J o s e   I s m a e l 	 	 	 A n   A c t i o n   R e s e a r c h   o n   O p e n   K n o w l e d g e   a n d   T e c h n o l o g y   T r a n s f e r 	 I N F O R M A T I O N   S Y S T E M S   -   C R E A T I V I T Y   A N D   I N N O V A T I O N   I N   S M A L L   A N D   M E D I U M - S I Z E D   E N T E R P R I S E S 	 I F I P   A d v a n c e s   i n   I n f o r m a t i o n   a n d   C o m m u n i c a t i o n   T e c h n o l o g y 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I F I P   C o n f e r e n c e   o n   t h e   R o l e   o f   I S   i n   L e v e r a g i n g   t h e   I n t e l l i g e n c e   a n d   C r e a t i v i t y   o f   S M E s   ( C r e a t i v e S M E   2 0 0 9 ) 	 J U N   2 1 - 2 4 ,   2 0 0 9 	 G u i m a r a e s ,   P O R T U G A L 	 I F I P   W G   8   2 	 U n i v   M i n h o 	 	 O P E N   I N N O V A T I O N ;   N E T W O R K S ;   P E R S P E C T I V E ;   F I R M S 	 R & D   h a s   a l w a y s   b e e n   c o n s i d e r e d   a   s t r a t e g i c   a s s e t   o f   c o m p a n i e s .   T r a d i t i o n a l l y ,   c o m p a n i e s   t h a t   h a v e   t h e i r   o w n   R & D   f u n c t i o n   a r e   b e t t e r   p r e p a r e d   t o   c o m p e t e   i n   t h e   g l o b a l i z e d   e c o n o m y   b e c a u s e   t h e y   a r e   a b l e   t o   p r o d u c e   t h e   k n o w l e d g e   a n d   t e c h n o l o g y   r e q u i r e d   t o   a d v a n c e   p r o d u c t s   a n d   s e r v i c e s .   S M E s   a l s o   n e e d   t o   b e c o m e   h i g h l y   i n n o v a t i v e   a n d   c o m p e t i t i v e   i n   o r d e r   t o   b e   s u c c e s s f u l .   N e v e r t h e l e s s ,   t h e i r   a b i l i t y   t o   h a v e   a n   i n t e r n a l   R & D   f u n c t i o n   t h a t   e f f e c t i v e l y   m e e t s   t h e i r   i n n o v a t i o n   n e e d s   i s   u s u a l l y   v e r y   w e a k .   O p e n   i n n o v a t i o n   p r o v i d e s   a c c e s s   t o   a   v a s t   a m o u n t   o f   n e w   i d e a s   a n d   t e c h n o l o g i e s   a t   l o w e r   c o s t s   t h a n   c l o s e d   i n n o v a t i o n .   T h i s   p a p e r   p r e s e n t s   a n   a c t i o n   r e s e a r c h   s t u d y   b e i n g   c a r r i e d   o u t   a t   U n i v e r s i t y   o f   M i n h o   t o   d e v e l o p   a   b u s i n e s s   m o d e l   a n d   t e c h n o l o g y   p l a t f o r m   f o r   a n   i n n o v a t i o n   b r o k e r i n g   s e r v i c e   c o n n e c t i n g   i d e a s   a n d   t e c h n o l o g i e s   b e i n g   d e v e l o p e d   a t   U n i v e r s i t i e s   w i t h   t h e   s p e c i f i c   i n n o v a t i o n   n e e d s   o f   S M E s .   T h e   e x p e c t e d   c o n t r i b u t i o n s   o f   t h e   s t u d y   i n c l u d e   t h e   e m p i r i c a l   i n v e s t i g a t i o n   o f   t h e   e f f e c t i v e n e s s   a n d   r i s k s   o f   c r o w d s o u r c i n g   i n n o v a t i o n   w h e n   a p p l i e d   i n   t h e   s o c i o e c o n o m i c   c o n t e x t   o f   a   E u r o p e a n   d e v e l o p i n g   c o u n t r y   w h e r e   S M E s   r e p r e s e n t   9 9 , 6 %   o f   t h e   b u s i n e s s e s . 	 [ R a m o s ,   I s a b e l ;   C a r d o s o ,   M a r g a r i d a ;   C a r v a l h o ,   J o a o   V i d a l ]   U n i v   M i n h o ,   P - 4 7 1 9   B r a g a ,   P o r t u g a l 	 	 	 	 	 	 	 A H O N E N   M ,   2 0 0 7 ,   I N N O V A T I O N   S E R V I C E S ;   A r o r a   A ,   2 0 0 2 ,   M A R K E T S   T E C H N O L O G Y   E ;   B a s k e r v i l l e   R L ,   1 9 9 6 ,   J   I N F O R M   T E C H N O L ,   V 1 1 ,   P 2 3 5 ;   B O U R D I E U   P I E R R E ,   2 0 0 1 ,   R A Z O E S   P R A T I C A S   T E O R ;   B o w o n d e r   B ,   2 0 0 5 ,   R E S   T E C H N O L   M A N A G E ,   V 4 8 ,   P 5 1 ;   B R E S S A N D   A ,   1 9 9 5 ,   P L A N E T E   R E L A T I O N E L L E ;   C h e s b r o u g h   H ,   2 0 0 6 ,   R & D   M A N A G E ,   V 3 6 ,   P 2 2 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 6 . 0 0 4 2 8 . x ;   C h e s b r o u g h   H . ,   2 0 0 6 ,   O P E N   I N N O V A T I O N   R E S ;   C h e s b r o u g h   H ,   2 0 0 7 ,   R E S   T E C H N O L   M A N A G E ,   V 5 0 ,   P 5 5 ;   C h e s b r o u g h   H W ,   2 0 0 3 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 4 ,   P 3 5 ;   C O H E N   W M ,   1 9 9 0 ,   A D M I N   S C I   Q U A R T ,   V 3 5 ,   P 1 2 8 ,   D O I   1 0 . 2 3 0 7 / 2 3 9 3 5 5 3 ;   C o o m b s   R ,   2 0 0 3 ,   I N D   C O R P   C H A N G E ,   V 1 2 ,   P 1 1 2 5 ,   D O I   1 0 . 1 0 9 3 / i c c / 1 2 . 6 . 1 1 2 5 ;   D a l   F i o r e   F ,   2 0 0 7 ,   A M   B E H A V   S C I ,   V 5 0 ,   P 8 5 7 ,   D O I   1 0 . 1 1 7 7 / 0 0 0 2 7 6 4 2 0 6 2 9 8 3 1 1 ;   D i M a g g i o   P ,   1 9 9 7 ,   A N N U   R E V   S O C I O L ,   V 2 3 ,   P 2 6 3 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v . s o c . 2 3 . 1 . 2 6 3 ;   E L D E N   M ,   1 9 9 3 ,   H U M   R E L A T ,   V 4 6 ,   P 1 2 1 ,   D O I   1 0 . 1 1 7 7 / 0 0 1 8 7 2 6 7 9 3 0 4 6 0 0 2 0 1 ;   F L I C K   U . ,   2 0 0 5 ,   M E T O D O S   Q U A L I T A T I V O S ;   F o t h   M . ,   2 0 0 6 ,   A C T I O N   R E S ,   V 4 ,   P 2 0 5 ,   D O I   1 0 . 1 1 7 7 / 1 4 7 6 7 5 0 3 0 6 0 6 3 9 9 2 ;   F o w l e s   S . ,   2 0 0 5 ,   S T R A T E G Y   L E A D E R S H I P ,   V 3 3 ,   P 4 6 ,   D O I   D O I   1 0 . 1 1 0 8 / 1 0 8 7 8 5 7 0 5 1 0 6 0 8 0 4 0 ;   G A S S M A N N   O ,   2 0 0 5 ,   E U R   A C   M A N   E U R A M   2 0 0 ;   G e e - W o o   B o c k ,   2 0 0 5 ,   M I S   Q u a r t e r l y ,   V 2 9 ;   G o b o   G ,   2 0 0 8 ,   D O I N G   E T H N O G R A P H Y ;   G r a n o v e t t e r   M ,   2 0 0 5 ,   J   E C O N   P E R S P E C T ,   V 1 9 ,   P 3 3 ,   D O I   1 0 . 1 2 5 7 / 0 8 9 5 3 3 0 0 5 3 1 4 7 9 5 8 ;   J a c k   G i l l i a n ,   2 0 0 4 ,   K N O W L E D G E   M A N A G E M E N T ;   K L I N E   S J ,   1 9 8 5 ,   R E S   M A N A G E ,   V 2 8 ,   P 3 6 ;   L a s s i l a   O ,   2 0 0 7 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 1 ,   P 9 0 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 0 7 . 5 2 ;   L a u r s e n   K ,   2 0 0 6 ,   S T R A T E G I C   M A N A G E   J ,   V 2 7 ,   P 1 3 1 ,   D O I   1 0 . 1 0 0 2 / s m j . 5 0 7 ;   L i n   N . ,   2 0 0 1 ,   S O C I A L   C A P I T A L   T H E O R ;   L O O N G   W ,   2 0 0 8 ,   C O M P U T E R   M E D I A T E D   R E ,   P 1 7 6 ;   L u n d v a l l   B .   A . ,   1 9 8 8 ,   T E C H N I C A L   C H A N G E   E C ;   M a g a l h a e s   R . ,   2 0 0 4 ,   O R G   K N O W L E D G E   T E C H N O ;   M I T C H E L L   J C ,   1 9 7 4 ,   A N N U   R E V   A N T H R O P O L ,   V 3 ,   P 2 7 9 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v . a n . 0 3 . 1 0 0 1 7 4 . 0 0 1 4 3 1 ;   M o i t r a   D ,   2 0 0 4 ,   R E S   T E C H N O L   M A N A G E ,   V 4 7 ,   P 3 2 ;   N i e t o   M J ,   2 0 0 7 ,   T E C H N O V A T I O N ,   V 2 7 ,   P 3 6 7 ,   D O I   1 0 . 1 0 1 6 / j . t e c h n o v a t i o n . 2 0 0 6 . 1 0 . 0 0 1 ;   P e r k m a n n   M ,   2 0 0 7 ,   I N T   J   M A N A G   R E V ,   V 9 ,   P 2 5 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 8 - 2 3 7 0 . 2 0 0 7 . 0 0 2 2 5 . x ;   P e r r o n s   R K ,   2 0 0 4 ,   I N D   M A N A G E   D A T A   S Y S T ,   V 1 0 4 ,   P 6 2 4 ,   D O I   1 0 . 1 1 0 8 / 0 2 6 3 5 5 7 0 4 1 0 5 5 0 2 8 7 ;   P o w e l l   W W ,   1 9 9 6 ,   A D M I N   S C I   Q U A R T ,   V 4 1 ,   P 1 1 6 ,   D O I   1 0 . 2 3 0 7 / 2 3 9 3 9 8 8 ;   Q u i n n   J B ,   2 0 0 0 ,   S L O A N   M A N A G E   R E V ,   V 4 1 ,   P 1 3 ;   T O R R O   M ,   2 0 0 7 ,   F A C I L I T A T I N G   E M E R G E N ;   V o n   H i p p e l   E ,   1 9 8 8 ,   S O U R C E S   I N N O V A T I O N ;   W e l l m a n   B . ,   2 0 0 2 ,   L I T T L E   B O X E S   G L O C A L I ;   Y i n   R .   K . ,   2 0 0 3 ,   C A S E   S T U D Y   R E S   D E S I G 	 4 1 	 3 	 3 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 1 8 6 8 - 4 2 3 8 	 	 9 7 8 - 3 - 6 4 2 - 0 2 3 8 7 - 3 	 I F I P   A D V   I N F   C O M M   T E 	 	 	 2 0 0 9 	 3 0 1 	 	 	 	 	 	 2 1 1 	 2 2 3 	 	 1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 2 3 8 8 - 0 _ 1 5 	 	 1 3 	 B u s i n e s s ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s ;   C o m p u t e r   S c i e n c e 	 B L Y 1 6 	 W O S : 0 0 0 2 7 1 4 0 5 4 0 0 0 1 5 	 	 
 S 	 E a g l e ,   N 	 A y k i n ,   N 	 	 	 E a g l e ,   N a t h a n 	 A y k i n ,   N 	 	 t x t e a g l e :   M o b i l e   C r o w d s o u r c i n g 	 I N T E R N A T I O N A L I Z A T I O N ,   D E S I G N   A N D   G L O B A L   D E V E L O P M E N T ,   P R O C E E D I N G S 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 3 r d   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n t e r n a t i o n a l i z a t i o n ,   D e s i g n   a n d   G l o b a l   D e c e l o p m e n t   h e l d   a t   t h e   1 3 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   H u m a n   C o m p u t e r   I n t e r a c t i o n 	 J U L   1 9 - 2 4 ,   2 0 0 9 	 S a n   D i e g o ,   C A 	 	 	 c r o w d s o u r c i n g ;   m o b i l e   p h o n e s ;   a p p r o p r i a t e   t e c h n o l o g y ;   r e p u t a t i o n   s y s t e m s 	 	 W e   p r e s e n t   t x t e a g l e ,   a   s y s t e m   t h a t   e n a b l e s   p e o p l e   t o   e a r n   s m a l l   a m o u n t s   o f   m o n e y   b y   c o m p l e t i n g   s i m p l e   t a s k s   o n   t h e i r   m o b i l e   p h o n e   f o r   c o r p o r a t i o n s   w h o   p a y   t h e m   i n   e i t h e r   a i r t i m e   o r   M P E S A   ( m o b i l e   m o n e y ) .   T h e   s y s t e m   i s   c u r r e n t l y   b e i n g   l a u n c h e d   i n   K e n y a   a n d   R w a n d a   i n   c o l l a b o r a t i o n   w i t h   t h e   m o b i l e   p h o n e   s e r v i c e   p r o v i d e r s   S a f a r i c o m   a n d   M T N   R w a n d a .   T a s k s   i n c l u d e   t r a n s l a t i o n ,   t r a n s c r i p t i o n ,   a n d   s u r v e y s .   U s e r   s t u d i e s   i n   N a i r o b i   i n v o l v i n g   h i g h   s c h o o l   s t u d e n t s ,   t a x i   d r i v e r s ,   a n d   l o c a l   s e c u r i t y   g u a r d s   h a v e   b e e n   c o m p l e t e d   a n d   t h e   s e r v i c e   h a s   r e c e n t l y   l a u n c h e d   i n   K e n y a   n a t i o n w i d e . 	 M I T ,   M e d i a   L a b ,   C a m b r i d g e ,   M A   0 2 1 3 9   U S A 	 E a g l e ,   N   ( r e p r i n t   a u t h o r ) ,   M I T ,   M e d i a   L a b ,   E - 1 5   3 8 3 ,   C a m b r i d g e ,   M A   0 2 1 3 9   U S A . 	 n a t h a n @ m i t . e d u a 	 	 	 	 	 A l b e r t   P S ,   2 0 0 4 ,   B I O M E T R I C S ,   V 6 0 ,   P 4 2 7 ,   D O I   1 0 . 1 1 1 1 / j . 0 0 0 6 - 3 4 1 X . 2 0 0 4 . 0 0 1 8 7 . x ;   D a w i d   A P ,   1 9 7 9 ,   A P P L I E D   S T A T I S T I C S ,   V 2 8 ,   P 2 0 ,   D O I   1 0 . 2 3 0 7 / 2 3 4 6 8 0 6 ;   S h e n g   V . ,   2 0 0 8 ,   P   K D D ;   S i n g h   P . ,   2 0 0 2 ,   P   A A A I   S P R I N G   S   A C Q ;   S m y t h   P ,   1 9 9 4 ,   N I P S ,   P 1 0 8 5 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   W I E B E   J M ,   1 9 9 9 ,   P   A C L ;   E X P L O I T A T I O N   G L O B A L I ;   2 0 0 8 ,   O F F I C I A L   N E W S L E T T E R 	 9 	 9 	 9 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 0 2 7 6 6 - 6 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 0 9 	 5 6 2 3 	 	 	 	 	 	 4 4 7 	 4 5 6 	 	 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B K T 5 2 	 W O S : 0 0 0 2 6 9 1 9 1 6 0 0 0 5 0 	 	 
 J 	 B r a d l e y ,   J C ;   L a n c a s h i r e ,   R J ;   L a n g ,   A S I D ;   W i l l i a m s ,   A J 	 	 	 	 B r a d l e y ,   J e a n - C l a u d e ;   L a n c a s h i r e ,   R o b e r t   J . ;   L a n g ,   A n d r e w   S .   I .   D . ;   W i l l i a m s ,   A n t o n y   J . 	 	 	 T h e   S p e c t r a l   G a m e :   l e v e r a g i n g   O p e n   D a t a   a n d   c r o w d s o u r c i n g   f o r   e d u c a t i o n 	 J O U R N A L   O F   C H E M I N F O R M A T I C S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 W e   r e p o r t   o n   t h e   i m p l e m e n t a t i o n   o f   t h e   S p e c t r a l   G a m e ,   a   w e b - b a s e d   g a m e   w h e r e   p l a y e r s   t r y   t o   m a t c h   m o l e c u l e s   t o   v a r i o u s   f o r m s   o f   i n t e r a c t i v e   s p e c t r a   i n c l u d i n g   1 D / 2 D   N M R ,   M a s s   S p e c t r o m e t r y   a n d   I n f r a r e d   s p e c t r a .   E a c h   c o r r e c t   s e l e c t i o n   e a r n s   t h e   p l a y e r   o n e   p o i n t   a n d   p l a y   c o n t i n u e s   u n t i l   t h e   p l a y e r   s u p p l i e s   a n   i n c o r r e c t   a n s w e r .   T h e   g a m e   i s   u s u a l l y   p l a y e d   u s i n g   a   w e b   b r o w s e r   i n t e r f a c e ,   a l t h o u g h   a   v e r s i o n   h a s   b e e n   d e v e l o p e d   i n   t h e   v i r t u a l   3 D   e n v i r o n m e n t   o f   S e c o n d   L i f e .   S p e c t r a   u p l o a d e d   a s   O p e n   D a t a   t o   C h e m S p i d e r   i n   J C A M P - D X   f o r m a t   a r e   u s e d   f o r   t h e   p r o b l e m   s e t s   t o g e t h e r   w i t h   s t r u c t u r e s   e x t r a c t e d   f r o m   t h e   w e b s i t e .   T h e   s p e c t r a   a r e   d i s p l a y e d   u s i n g   J S p e c V i e w ,   a n   O p e n   S o u r c e   s p e c t r u m   v i e w i n g   a p p l e t   w h i c h   a f f o r d s   z o o m i n g   a n d   i n t e g r a t i o n .   T h e   a p p l i c a t i o n   o f   t h e   g a m e   t o   t h e   t e a c h i n g   o f   p r o t o n   N M R   s p e c t r o s c o p y   i n   a n   u n d e r g r a d u a t e   o r g a n i c   c h e m i s t r y   c l a s s   a n d   a   2 D   S p e c t r u m   V i e w e r   a r e   a l s o   p r e s e n t e d . 	 [ B r a d l e y ,   J e a n - C l a u d e ]   D r e x e l   U n i v ,   D e p t   C h e m ,   P h i l a d e l p h i a ,   P A   1 9 1 0 4   U S A ;   [ L a n c a s h i r e ,   R o b e r t   J . ]   U n i v   W   I n d i e s ,   D e p t   C h e m ,   K i n g s t o n   7 ,   J a m a i c a ;   [ L a n g ,   A n d r e w   S .   I .   D . ]   O r a l   R o b e r t s   U n i v ,   D e p t   C o m p   S c i   &   M a t h ,   T u l s a ,   O K   7 4 1 7 1   U S A ;   [ W i l l i a m s ,   A n t o n y   J . ]   C h e m Z o o   I n c ,   W a k e   F o r e s t ,   N C   2 7 5 8 7   U S A 	 B r a d l e y ,   J C   ( r e p r i n t   a u t h o r ) ,   D r e x e l   U n i v ,   D e p t   C h e m ,   3 2 n d   &   C h e s t n u t   S t ,   P h i l a d e l p h i a ,   P A   1 9 1 0 4   U S A . 	 b r a d l e j c @ d r e x e l . e d u ;   r o b e r t . l a n c a s h i r e @ u w i m o n a . e d u . j m ;   a l a n g @ o r u . e d u ;   a n t o n y . w i l l i a m s @ c h e m s p i d e r . c o m 	 W i l l i a m s ,   A n t o n y / C - 3 0 8 9 - 2 0 0 9 ;   L a n c a s h i r e ,   R o b e r t / B - 1 0 4 9 - 2 0 0 8 	 W i l l i a m s ,   A n t o n y / 0 0 0 0 - 0 0 0 2 - 2 6 6 8 - 4 8 2 1 ;   L a n c a s h i r e ,   R o b e r t / 0 0 0 0 - 0 0 0 2 - 6 7 8 0 - 3 9 0 3 	 	 	 [ A n o n y m o u s ] ,   S P E C T R A L   G A M E   W I K I ;   [ A n o n y m o u s ] ,   W H Y V   S P E C T R   G A M ;   [ A n o n y m o u s ] ,   N I S T   C H E M   W E B B ;   [ A n o n y m o u s ] ,   P A C I F I C   L U T H E R A N   F T N ;   [ A n o n y m o u s ] ,   2 0 0 9 ,   G A M E   D R A M A T I C A L L Y   O U ;   [ A n o n y m o u s ] ,   J S P E C V I E W   S O U R C E F O R G ;   [ A n o n y m o u s ] ,   F U N T R I V I A   I N F R A R E D   S ;   A S I D   L a n g ,   O R A C   R E Z Z E R ;   B o h a n n o n   J ,   2 0 0 9 ,   W I R E D                       0 5 1 7 ,   P 1 7 0 5 ;   B o y d   S L ,   2 0 0 7 ,   J   C H E M   E D U C ,   V 8 4 ,   P 6 1 9 ;   B r a d l e y   J C ,   F R I E N D F E E D   2   L I F E   C H ;   B r a d l e y   J C ,   N M R   G A M E   2   L I F E ;   B r a d l e y   J C ,   W I N T E R   0 9   T E R M   P O S T M ;   B r a d l e y   J C ,   2 0 0 7 ,   S A M   C H E M   S O C   M   M A R C H ;   C a m p b e l l   S ,   2 0 0 2 ,   J   C H E M   E D U C ,   V 7 9 ,   P 4 5 8 ;   C a p p s   K ,   2 0 0 8 ,   J   C H E M   E D U C ,   V 8 5 ,   P 5 1 8 ;   C o s t a   M J ,   2 0 0 7 ,   J   C H E M   E D U C ,   V 8 4 ,   P 9 7 7 ;   C r u t e   T D ,   2 0 0 0 ,   J   C H E M   E D U C ,   V 7 7 ,   P 4 8 1 ;   E r d i k   E ,   2 0 0 3 ,   J   C H E M   E D U C ,   V 8 0 ,   P 4 2 8 ;   G o l o t v i n   S S ,   2 0 0 7 ,   M A G N   R E S O N   C H E M ,   V 4 5 ,   P 8 0 3 ,   D O I   1 0 . 1 0 0 2 / m r c . 2 0 3 4 ;   G r a b o w s k i   J J ,   2 0 0 3 ,   J   C H E M   E D U C ,   V 8 0 ,   P 9 6 7 ;   G r a n a t h   P L ,   1 9 9 9 ,   J   C H E M   E D U C ,   V 8 0 ,   P 4 2 8 ;   H e l s e r   T L ,   2 0 0 3 ,   J   C H E M   E D U C ,   V 8 0 ,   P 4 1 4 ;   K e c k   M V ,   2 0 0 0 ,   J   C H E M   E D U C ,   V 7 7 ,   P 4 8 3 ;   K o e t h e r   M ,   2 0 0 3 ,   J   C H E M   E D U C ,   V 8 0 ,   P 4 2 1 ;   L a n c a s h i r e   R J ,   2 0 0 7 ,   C H E M   C E N T   J ,   V 1 ,   D O I   1 0 . 1 1 8 6 / 1 7 5 2 - 1 5 3 X - 1 - 3 1 ;   N o w o s i e l s k i   D A ,   2 0 0 7 ,   J   C H E M   E D U C ,   V 8 4 ,   P 2 3 9 ;   P e n d a r v i s   R ,   1 9 9 8 ,   C H E M   E D ,   V 3 ,   P 1 ;   R u s s e l l   J V ,   1 9 9 9 ,   J   C H E M   E D U C ,   V 7 6 ,   P 4 8 7 ;   R u s s e l l   J V ,   1 9 9 9 ,   J   C H E M   E D U C ,   V 7 6 ,   P 4 8 1 ;   S a n d l e r   B ,   1 9 9 5 ,   O R G A N I C   C H E M   G A M E ;   W e l s h   M J ,   2 0 0 3 ,   J   C H E M   E D U C ,   V 8 0 ,   P 4 2 6 ;   W h i t e   B ,   C E L L   P H O N E   O R G A N I C   C ;   W i l l i a m s   A J ,   W H Y   A R E   S P E C T R A   Y O U T ;   W i l l i a m s   A J ,   U P L O A D I N G   S P E C T R A   O N 	 3 5 	 1 2 	 1 2 	 B I O M E D   C E N T R A L   L T D 	 L O N D O N 	 2 3 6   G R A Y S   I N N   R D ,   F L O O R   6 ,   L O N D O N   W C 1 X   8 H L ,   E N G L A N D 	 1 7 5 8 - 2 9 4 6 	 	 	 J   C H E M I N F O R M A T I C S 	 J .   C h e m i n f o r m a t i c s 	 	 2 0 0 9 	 1 	 	 	 	 	 	 	 	 9 	 1 0 . 1 1 8 6 / 1 7 5 8 - 2 9 4 6 - 1 - 9 	 	 1 0 	 C h e m i s t r y ,   M u l t i d i s c i p l i n a r y ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s 	 C h e m i s t r y ;   C o m p u t e r   S c i e n c e 	 V 2 1 Q M 	 W O S : 0 0 0 2 0 8 2 2 2 1 0 0 0 0 9 	 2 0 2 9 8 5 2 7 	 
 B 	 A l o n s o ,   O ;   M i z z a r o ,   S 	 	 S a n d e r s o n ,   M ;   Z h a i ,   C X ;   Z o b e l ,   J ;   A l l a n ,   J ;   A s l a m ,   J A 	 	 A l o n s o ,   O m a r ;   M i z z a r o ,   S t e f a n o 	 	 	 R e l e v a n c e   C r i t e r i a   f o r   E - C o m m e r c e :   A   C r o w d s o u r c i n g - b a s e d   E x p e r i m e n t a l   A n a l y s i s 	 P R O C E E D I N G S   3 2 N D   A N N U A L   I N T E R N A T I O N A L   A C M   S I G I R   C O N F E R E N C E   O N   R E S E A R C H   A N D   D E V E L O P M E N T   I N   I N F O R M A T I O N   R E T R I E V A L 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 3 2 n d   A n n u a l   I n t e r n a t i o n a l   A C M   S I G I R   C o n f e r e n c e   o n   R e s e a r c h   a n d   D e v e l o p m e n t   i n   I n f o r m a t i o n   R e t r i e v a l 	 J U L   1 9 - 2 3 ,   2 0 0 9 	 B o s t o n ,   M A 	 A C M   S I G I R ,   M i c r o s o f t   R e s ,   Y a h o o ,   G o o g l e ,   I B M   R e s ,   S u n 	 	 I R   e v a l u a t i o n ;   r e l e v a n c e ;   r e l e v a n c e   c r i t e r i a ;   u s e r   s t u d y 	 O F - T H E - L I T E R A T U R E ;   I N F O R M A T I O N - S C I E N C E ;   F R A M E W O R K ;   T H I N K I N G ;   N O T I O N 	 W e   d i s c u s s   t h e   c o n c e p t   o f   r e l e v a n c e   c r i t e r i a   i n   t h e   c o n t e x t   o f   e - C o m m e r c e   s e a r c h .   A   v a s t   b o d y   o f   r e s e a r c h   l i t e r a t u r e   d e s c r i b e s   t h e   b e y o n d - t o p i c a l   c r i t e r i a   u s e d   t o   d e t e r m i n e   t h e   r e l e v a n c e   o f   t h e   d o c u m e n t   t o   t h e   n e e d .   W e   a r g u e   t h a t   i n   a n   e - C o m m e r c e   s c e n a r i o   t h e r e   a r e   s o m e   d i f f e r e n c e s ,   a n d   n o v e l   a n d   d i f f e r e n t   c r i t e r i a   c a n   b e   u s e d   t o   d e t e r m i n e   r e l e v a n c e .   W e   e x p e r i m e n t a l l y   v a l i d a t e   t h i s   h y p o t h e s i s   b y   m e a n s   o f   A m a z o n   M e c h a n i c a l   T u r k   u s i n g   a   c r o w d s o u r c i n g   a p p r o a c h . 	 [ A l o n s o ,   O m a r ]   A 9   C o m ,   P a l o   A l t o ,   C A   U S A 	 A l o n s o ,   O   ( r e p r i n t   a u t h o r ) ,   A 9   C o m ,   P a l o   A l t o ,   C A   U S A . 	 o r a l o n s o @ g m a i l . c o m ;   m i z z a r o @ d i m i . u n i u d . i t 	 	 	 	 	 A l o n s o   O m a r ,   2 0 0 8 ,   S I G I R   F o r u m ,   V 4 2 ,   D O I   1 0 . 1 1 4 5 / 1 4 8 0 5 0 6 . 1 4 8 0 5 0 8 ;   B a r r y   C L ,   1 9 9 8 ,   I N F O R M   P R O C E S S   M A N A G ,   V 3 4 ,   P 2 1 9 ,   D O I   1 0 . 1 0 1 6 / S 0 3 0 6 - 4 5 7 3 ( 9 7 ) 0 0 0 7 8 - 2 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   M i z z a r o   S ,   1 9 9 7 ,   J   A M   S O C   I N F O R M   S C I ,   V 4 8 ,   P 8 1 0 ,   D O I   1 0 . 1 0 0 2 / ( S I C I ) 1 0 9 7 - 4 5 7 1 ( 1 9 9 7 0 9 ) 4 8 : 9 < 8 1 0 : : A I D - A S I 6 > 3 . 0 . C O ; 2 - U ;   S a r a c e v i c   T ,   2 0 0 7 ,   J   A M   S O C   I N F   S C I   T E C ,   V 5 8 ,   P 2 1 2 6 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 0 6 8 1 ;   S a r a c e v i c   T ,   2 0 0 7 ,   J   A M   S O C   I N F   S C I   T E C ,   V 5 8 ,   P 1 9 1 5 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 0 6 8 2 	 6 	 3 	 3 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 1 5 1 5   B R O A D W A Y ,   N E W   Y O R K ,   N Y   1 0 0 3 6 - 9 9 9 8   U S A 	 	 	 9 7 8 - 1 - 6 0 5 5 8 - 4 8 3 - 6 	 	 	 	 2 0 0 9 	 	 	 	 	 	 	 7 6 0 	 7 6 1 	 	 1 0 . 1 1 4 5 / 1 5 7 1 9 4 1 . 1 5 7 2 1 1 5 	 	 2 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B L T 2 6 	 W O S : 0 0 0 2 7 0 9 7 6 5 0 0 1 4 7 	 	 
 B 	 S o u z a ,   L ;   R a m o s ,   I ;   E s t e v e s ,   J 	 	 B o l i s a n i ,   E ;   S c a r s o ,   E 	 	 S o u z a ,   L i e d a ;   R a m o s ,   I s a b e l ;   E s t e v e s ,   J o s e 	 	 	 M a n a g i n g   R i s k s   o f   C r o w d s o u r c i n g   I n n o v a t i o n :   a n   A c t i o n   R e s e a r c h   i n   P r o g r e s s 	 P R O C E E D I N G S   O F   T H E   1 0 T H   E U R O P E A N   C O N F E R E N C E   O N   K N O W L E D G E   M A N A G E M E N T   ,   V O L S   1   A N D   2 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 0 t h   E u r o p e a n   C o n f e r e n c e   o n   K n o w l e d g e   M a n a g e m e n t 	 S E P   0 3 - 0 4 ,   2 0 0 9 	 V i c e n z a ,   I T A L Y 	 	 U n i v   D e g l i   S t u d i   P a d o v a 	 O p e n   i n n o v a t i o n ;   r i s k   m a n a g e m e n t ;   c r o w d s o u r c i n g   i n n o v a t i o n ;   c r o w d s o u r c i n g 	 	 O v e r   t h e   l a s t   f e w   y e a r s ,   a   n u m b e r   o f   a c a d e m i c s   a n d   p r a c t i t i o n e r s   h a v e   e m p h a s i z e d   t h e   v a l u e   o f   i n n o v a t i o n   a s   a   m a i n   d r i v e r   f o r   f i r m s   t o   e n h a n c e   t h e i r   b u s i n e s s   p e r f o r m a n c e   a n d   s u s t a i n   a   h i g h   p r o f i t a b i l i t y .   R e c e n t   s t u d i e s   o f   i n n o v a t i o n   h a v e   p o i n t e d   t o   t h e   g r o w i n g   r e l e v a n c e   o f   e x t e r n a l   s o u r c e s   o f   i n n o v a t i o n   a n d   t h e   f i r m ' s   n e c e s s i t y   o f   i n v o l v i n g   a   w i d e   r a n g e   o f   i n t e r n a l   a n d   e x t e r n a l   a c t o r s   a n d   s o u r c e s   t o   h e l p   a c h i e v i n g   a n d   s u s t a i n i n g   i t s   b u s i n e s s   s t r a t e g y .   T h e   c o m p a n y   c a n   b e c o m e   m o r e   i n n o v a t i v e   b y   i m p l e m e n t i n g   a   p r o c e s s   o f   c o c r e a t i o n .   I t   c a n   d o   t h i s   i n   t w o   w a y s   ( 1 )   b y   i n t e r n a l l y   i d e n t i f y i n g   t h e   b u s i n e s s   p r o b l e m s   a n d   n e e d s   f o r   i n n o v a t i o n   f e l t   b y   i n d i v i d u a l s ,   t e a m s   a n d   o r g a n i z a t i o n a l   u n i t s   ( s e e k e r s )   a n d   f u r t h e r i n g   t h e   e m e r g e n c e   o f   a   c o m m u n i t y   o f   s p e c i a l i s t s   ( w i t h i n   o r   o u t s i d e   t h e   o r g a n i z a t i o n ) ,   o r   e m p l o y e e s   m o t i v a t e d   t o   p r o v i d e   t h e i r   k n o w l e d g e   a n d   s k i l l s   t o   a d d r e s s   i n n o v a t i o n   p r o b l e m s ,   i n c r e a s i n g   t h e i r   i n t e r n a l   v i s i b i l i t y   a n d   e n s u r i n g   t h e i r   e m p o w e r m e n t   a c r o s s   t h e   c o m p a n y   ( s o l v e r s ) ;   ( 2 )   b y   p l a c i n g   i t s   i n n o v a t i o n   p r o b l e m s   a n d   n e e d s   t o   a   b r o k e r i n g   s e r v i c e   t h a t   c a n   f i n d   t h e   r i g h t   p e o p l e   t o   p r e s e n t   s o l u t i o n s .   T h e s e   t w o   f o r m s   o f   o p e n   i n n o v a t i o n   i s   c a l l e d   C r o w d s o u r c i n g   I n n o v a t i o n .   I n n o v a t i o n   b r i n g s   r i s k s .   R i s k   o f   F i n a n c i a l   l o s s   o r   o f   b e i n g   u n s u c c e s s f u l .   I f   i n n o v a t i o n   r e q u i r e s   b u s i n e s s   o r   o r g a n i z a t i o n a l   c h a n g e ,   t h e   r i s k   i s   e v e n   b i g g e r   b e c a u s e   i n n o v a t i o n   i m p l i e s   n e w n e s s   a n d   u n k n o w n .   A n y   c o m p a n y   t h a t   i n n o v a t e s   m u s t   f a c e   t h e   i n h e r e n t   r i s k s .   F a c i n g   t h e   r i s k s   r e q u i r e s   t h a t   t h e   c o m p a n y   m a n a g e s   t h e m ,   u n d e r s t a n d i n g   i n   a d v a n c e   t h e i r   n a t u r e   a n d   i m p a c t ,   m o n i t o r i n g   t h e   r e l e v a n t   i n d i c a t o r s   t o   a n t i c i p a t e   t h e i r   o c c u r r e n c e ,   a n d   b e i n g   r e a d y   t o   a c t   i m m e d i a t e l y   a t   t h e   f i r s t   s i g n s   o f   t r o u b l e .   T h e   i n n o v a t i n g   c o m p a n y   s h o u l d   c o n s i d e r   m a n a g i n g   r i s k s   a s   o n e   o f   i t s   c o r e   c o m p e t e n c e s .   W i t h o u t   t h i s   c a p a b i l i t y ,   a n y   i n n o v a t i o n   p r o j e c t   c a n   b e c o m e   a n   o p p o r t u n i t y   t o   d r a m a t i c a l l y   f a i l   t h e   b u s i n e s s   o b j e c t i v e s   a n d   s u s t a i n a b i l i t y .   S t e a d y   p r o g r e s s   h a s   b e e n   m a d e   o v e r   t h e   l a s t   y e a r s   i n   u n d e r s t a n d i n g   o p e n   i n n o v a t i o n   s t r a t e g y .   T h i s   p a p e r   a d d s   t o   t h a t   e f f o r t   b y   f o c u s i n g   a   s p e c i f i c   f o r m   o f   o p e n   i n n o v a t i o n   -   c r o w d s o u r c i n g   i n n o v a t i o n   -   a n d   d e s c r i b i n g   a n   a c t i o n   r e s e a r c h   i n   p r o g r e s s   t o   d e v e l o p   a   m e t h o d   t o   i d e n t i f y   t h e   r i s k s   i n v o l v e d   a n d   t o   m a n a g e   t h e m   i n   t e c h n o l o g y - b a s e d   c o m p a n i e s . 	 [ S o u z a ,   L i e d a ;   R a m o s ,   I s a b e l ]   U n i v   M i n h o ,   P - 4 7 1 9   B r a g a ,   P o r t u g a l 	 	 l i e d a @ d s i . u m i n h o . p t ;   i r a m o s @ d s i . u m i n h o . p t ;   j o s e . e s t e v e s @ i e . e d u 	 	 	 	 	 A h u j a   G ,   2 0 0 1 ,   S T R A T E G I C   M A N A G E   J ,   V 2 2 ,   P 5 2 1 ,   D O I   1 0 . 1 0 0 2 / s m j . 1 7 6 ;   A i e l l o   F ,   2 0 0 5 ,   A P P L   E C O N   L E T T ,   V 1 2 ,   P 6 2 5 ,   D O I   1 0 . 1 0 8 0 / 1 3 5 0 4 8 5 0 5 0 0 1 1 9 1 1 2 ;   A r a k j i   R e i n a   Y ,   2 0 0 7 ,   D a t a   B a s e   f o r   A d v a n c e s   i n   I n f o r m a t i o n   S y s t e m s ,   V 3 8 ,   D O I   1 0 . 1 1 4 5 / 1 3 1 4 2 3 4 . 1 3 1 4 2 4 2 ;   A r o r a   A . ,   2 0 0 1 ,   M A R K E T S   T E C H N O L O G Y ;   B y r d   J ,   2 0 0 3 ,   I N N O V A T I O N   E Q U A T I O N ;   C h e s b r o u g h   H ,   2 0 0 3 ,   C A L I F   M A N A G E   R E V ,   V 4 5 ,   P 3 3 ;   C h e s b r o u g h   H . ,   2 0 0 3 ,   O P E N   I N N O V A T I O N   N E W ;   C h e s b r o u g h   H ,   2 0 0 4 ,   R E S   T E C H N O L   M A N A G E ,   V 4 7 ,   P 2 3 ;   C h e s b r o u g h   H W ,   2 0 0 3 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 4 ,   P 3 5 ;   C o b b e n h a g e n   J . ,   2 0 0 0 ,   S U C C E S S F U L   I N N O V A T I O ;   D A R L I N G T O N   A ,   2 0 0 1 ,   S A F E   I S   E N O U G H   I N T R O ;   E n k e l   E . ,   2 0 0 5 ,   E u r o p e a n   M a n a g e m e n t   J o u r n a l ,   V 2 3 ,   D O I   1 0 . 1 0 1 6 / j . e m j . 2 0 0 5 . 0 2 . 0 0 5 ;   G A S S M A N   O ,   2 0 0 4 ,   T H E O R Y   O P E N   I N N O V A T I ;   H e n k e l   J ,   2 0 0 6 ,   R E S   P O L I C Y ,   V 3 5 ,   P 9 5 3 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 6 . 0 4 . 0 1 0 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   P 1 4 ;   K i r s c h b a u m   R ,   2 0 0 5 ,   R E S   T E C H N O L   M A N A G E ,   V 4 8 ,   P 2 4 ;   N A U M E S   W ,   1 9 9 4 ,   I N T   J   V A L U E   B A S E D   M A ,   P 3 ;   * R I S K   M A N   S T A N D   A S ,   2 0 0 4 ,   4 3 6 0 1 9 9 9 2 0 0 4   A S N Z S   R ;   T h o m k e   S ,   2 0 0 1 ,   H A R V A R D   B U S   R E V ,   V 7 9 ,   P 6 6 ;   T i d d   J . ,   2 0 0 5 ,   M A N A G I N G   I N N O V A T I O N ;   V O N H I P P E L   E ,   2 0 0 3 ,   O R G   S C I ,   V 2 	 2 1 	 0 	 0 	 A C A D E M I C   C O N F E R E N C E S   L T D 	 N R   R E A D I N G 	 C U R T I S   F A R M ,   K I D M O R E   E N D ,   N R   R E A D I N G ,   R G 4   9 A Y ,   E N G L A N D 	 	 	 9 7 8 - 1 - 9 0 6 6 3 8 - 3 9 - 9 	 	 	 	 2 0 0 9 	 	 	 	 	 	 	 8 3 7 	 8 4 4 	 	 	 	 8 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e ;   M a n a g e m e n t 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e ;   B u s i n e s s   &   E c o n o m i c s 	 B M Z 7 2 	 W O S : 0 0 0 2 7 3 9 9 5 3 0 0 0 9 5 	 	 
 J 	 Y a n ,   T X ;   M a r z i l l i ,   M ;   H o l m e s ,   R ;   G a n e s a n ,   D ;   C o r n e r ,   M 	 	 	 A C M 	 Y a n ,   T i n g x i n ;   M a r z i l l i ,   M a t t ;   H o l m e s ,   R y a n ;   G a n e s a n ,   D e e p a k ;   C o r n e r ,   M a r k 	 	 	 D e m o   A b s t r a c t :   m C r o w d   -   A   P l a t f o r m   f o r   M o b i l e   C r o w d s o u r c i n g 	 S E N S Y S   0 9 :   P R O C E E D I N G S   O F   T H E   7 T H   A C M   C O N F E R E N C E   O N   E M B E D D E D   N E T W O R K E D   S E N S O R   S Y S T E M S 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 7 t h   A C M   C o n f e r e n c e   o n   E m b e d d e d   N e t w o r k e d   S e n s o r   S y s t e m s   ( S E N S Y S ) 	 N O V   0 4 - 0 6 ,   2 0 0 9 	 B e r k e l e y ,   C A 	 A s s o c   C o m p   M a c h i n e r y ,   A C M   S I G A R C H ,   A C M   S I G B E D ,   A C M   S I G C O M M ,   A C M   S I G M E T R ,   A C M   S I G M O B I L E ,   A C M   S I G O P S ,   N o k i a 	 U n i v   C a l i f 	 C r o w d s o u r c i n g ;   M o b i l e   S e n s i n g ;   M e c h a n i c a l   T u r k 	 	 C r o w d s o u r c i n g   i s   a   n e w   p a r a d i g m   f o r   u t i l i z i n g   t h e   p o w e r   o f   " c r o w d s "   o f   p e o p l e   t o   f a c i l i t a t e   l a r g e   s c a l e   t a s k s   t h a t   a r e   c o s t l y   o r   t i m e   c o n s u m i n g   w i t h   t r a d i t i o n a l   m e t h o d s .   C r o w d s o u r c i n g   h a s   e n o r m o u s   p o t e n t i a l   t h a t   c a n   b e   t r u l y   u n l e a s h e d   w h e n   e x t e n d e d   t o   s e n s o r - r i c h   m o b i l e   d e v i c e s ,   s u c h   a s   s m a r t   p h o n e s .   I n   t h i s   p a p e r ,   w e   d e m o n s t r a t e   m C r o w d ,   a n   i P h o n e   b a s e d   m o b i l e   c r o w d s o u r c i n g   p l a t f o r m   t h a t   e n a b l e s   m o b i l e   u s e r s   t o   p o s t   a n d   w o r k   o n   s e n s o r - r e l a t e d   c r o w d s o u r c i n g   t a s k s .   m C r o w d   e n a b l e s   m o b i l e   u s e r s   t o   f u l l y   u t i l i z e   t h e   r i c h   s e n s o r s   e q u i p p e d   w i t h   i P h o n e   t o   p a r t i c i p a t e   a n d   a c c o m p l i s h   c r o w d s o u r c i n g   t a s k s   a t   f i n g e r t i p s ,   i n c l u d i n g   g e o l o c a t i o n - a w a r e   i m a g e   c o l l e c t i o n ,   i m a g e   t a g g i n g ,   r o a d   t r a f f i c   m o n i t o r i n g ,   a n d   o t h e r s . 	 [ Y a n ,   T i n g x i n ;   M a r z i l l i ,   M a t t ;   H o l m e s ,   R y a n ;   G a n e s a n ,   D e e p a k ;   C o r n e r ,   M a r k ]   U n i v   M a s s a c h u s e t t s ,   D e p t   C o m p   S c i ,   A m h e r s t ,   M A   0 1 0 0 3   U S A 	 Y a n ,   T X   ( r e p r i n t   a u t h o r ) ,   U n i v   M a s s a c h u s e t t s ,   D e p t   C o m p   S c i ,   A m h e r s t ,   M A   0 1 0 0 3   U S A . 	 y a n @ c s . u m a s s . e d u ;   m m a r z i l l @ c s . u m a s s . e d u ;   r h o l m e s @ c s . u m a s s . e d u ;   d g a n e s a n @ c s . u m a s s . e d u ;   m c o r n e r @ c s . u m a s s . e d u 	 	 	 	 	 M i l u z z o   E ,   2 0 0 8 ,   S E N S Y S ' 0 8 :   P R O C E E D I N G S   O F   T H E   6 T H   A C M   C O N F E R E N C E   O N   E M B E D D E D   N E T W O R K E D   S E N S O R   S Y S T E M S ,   P 3 3 7 ;   v o n   A h n   L . ,   2 0 0 8 ,   S C I E N C E                     A U G 	 2 	 0 	 0 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 1 5 1 5   B R O A D W A Y ,   N E W   Y O R K ,   N Y   1 0 0 3 6 - 9 9 9 8   U S A 	 	 	 9 7 8 - 1 - 6 0 5 5 8 - 7 4 8 - 6 	 	 	 	 2 0 0 9 	 	 	 	 	 	 	 3 4 7 	 3 4 8 	 	 	 	 2 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 B A 1 P Z 	 W O S : 0 0 0 3 3 2 8 4 5 2 0 0 0 4 8 	 	 
 S 	 K e r n ,   R ;   Z i r p i n s ,   C ;   A g a r w a l ,   S 	 	 F e u e r l i c h t ,   G ;   L a m e r s d o r f ,   W 	 	 K e r n ,   R o b e r t ;   Z i r p i n s ,   C h r i s t i a n ;   A g a r w a l ,   S u d h i r 	 	 	 M a n a g i n g   Q u a l i t y   o f   H u m a n - B a s e d   e S e r v i c e s 	 S E R V I C E - O R I E N T E D   C O M P U T I N G   -   I C S O C   2 0 0 8   W O R K S H O P S 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 6 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S e r v i c e - O r i e n t e d   C o m p u t i n g 	 D E C   0 1 - 0 5 ,   2 0 0 8 	 S y d n e y ,   A U S T R A L I A 	 	 	 C r o w d s o u r c i n g ;   H u m a n - b a s e d   e S e r v i c e s ;   Q o S   M a n a g e m e n t 	 	 M o d e r n   b u s i n e s s   s t r a t e g i e s   c o n s i d e r   W e b - b a s e d   o u t s o u r c i n g   o f   m i c r o j o b s   t o   t h e   m a s s e s .   R e s p e c t i v e   b u s i n e s s   a c t i v i t i e s   a r e   h o w e v e r   d i f f i c u l t   t o   m a n a g e .   T r a d i t i o n a l   a p p r o a c h e s   o f   c o v e r i n g   h u m a n   t a s k s   i n   b u s i n e s s   p r o c e s s e s   b u i l d   o n   a s s u m p t i o n s   o f   l i m i t e d   p r o c e s s   s c a l e   a n d   c l o s e d   o r g a n i z a t i o n a l   m o d e l s   t h a t   a r e   n o t   v a l i d   i n   c r o w d s o u r c i n g   s c e n a r i o s .   W e b   s e r v i c e s   h a v e   b e e n   p r o p o s e d   a s   a   m e a n s   t o   r e p r e s e n t   h u m a n   t a s k s   t h a t   a l l o w   l e v e r a g i n g   i n t e r a c t i o n ,   b r o k e r a g e   a n d   c o m p o s i t i o n   c a p a b i l i t i e s   o f   S O C   f o r   h u m a n   i n t e r a c t i o n   m a n a g e m e n t .   I n   t h i s   p a p e r   w e   a r g u e   t h a t   c r o w d s o u r c i n g   r e q u i r e s   c o n s i d e r i n g   q u a l i t a t i v e   c o n s t r a i n t s   a n d   s k e t c h   a   p l a t f o r m   f o r   m a n a g i n g   t h e   q u a l i t y   o f   h u m a n - b a s e d   e S e r v i c e s . 	 [ K e r n ,   R o b e r t ;   Z i r p i n s ,   C h r i s t i a n ;   A g a r w a l ,   S u d h i r ]   U n i v   K a r l s r u h e ,   K a r l s r u h e   S e r v ,   R e s   I n s t ,   K a r l s r u h e ,   G e r m a n y 	 K e r n ,   R   ( r e p r i n t   a u t h o r ) ,   U n i v   K a r l s r u h e ,   K a r l s r u h e   S e r v ,   R e s   I n s t ,   K a r l s r u h e ,   G e r m a n y . 	 r o b e r t . k e r n @ k s r i . u n i - k a r l s r u h e . d e ;   c h r i s t i a n . z i r p i n s @ k s r i . u n i - k a r l s r u h e . d e ;   s u d h i r . a g a r v a l @ k s r i . u n i - k a r l s r u h e . d e 	 	 	 	 	 A g r a w a l   A . ,   2 0 0 7 ,   W E B   S E R V I C E S   H U M A N   T ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   M A L E S H K O V A   M ,   2 0 0 8 ,   F U T   I N T   S   F I S   2 0 0 8   O ;   P O N T I N   J ,   2 0 0 7 ,   N Y   T I M E S                 0 3 2 5 ;   S I L B E R M A N   S ,   2 0 0 7 ,   W I R E D   M A G A Z I N E     0 7 2 4 ;   S y c a r a   K . ,   2 0 0 3 ,   J   W E B   S E M A N T ,   V 1 ,   P 2 7 ,   D O I   D O I   1 0 . 1 0 1 6 / J . W E B - S E M . 2 0 0 3 . 0 7 . 0 0 2 	 6 	 3 	 3 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 0 1 2 4 6 - 4 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 0 9 	 5 4 7 2 	 	 	 	 	 	 3 0 4 	 3 0 9 	 	 	 	 6 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B J I 3 6 	 W O S : 0 0 0 2 6 6 1 0 7 6 0 0 0 2 7 	 	 
 J 	 H u b e r m a n ,   B A 	 	 	 	 H u b e r m a n ,   B e r n a r d o   A . 	 	 	 C r o w d s o u r c i n g   a n d   A t t e n t i o n 	 C O M P U T E R 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 	 	 	 	 	 b e r n a r d o . h u b e r m a n @ h p . c o m 	 	 	 	 	 	 0 	 9 	 9 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 3 1 4   U S A 	 0 0 1 8 - 9 1 6 2 	 	 	 C O M P U T E R 	 C o m p u t e r 	 N O V 	 2 0 0 8 	 4 1 	 1 1 	 	 	 	 	 1 0 3 	 1 0 5 	 	 1 0 . 1 1 0 9 / M C . 2 0 0 8 . 4 5 0 	 	 3 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 3 6 9 V T 	 W O S : 0 0 0 2 6 0 7 2 2 7 0 0 0 1 8 	 	 
 J 	 A l b o r s ,   J ;   R a m o s ,   J C ;   H e r v a s a ,   J L 	 	 	 	 A l b o r s ,   J . ;   R a m o s ,   J .   C . ;   H e r v a s a ,   J .   L . 	 	 	 N e w   l e a r n i n g   n e t w o r k   p a r a d i g m s :   C o m m u n i t i e s   o f   o b j e c t i v e s ,   c r o w d s o u r c i n g ,   w i k i s   a n d   o p e n   s o u r c e 	 I N T E R N A T I O N A L   J O U R N A L   O F   I N F O R M A T I O N   M A N A G E M E N T 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 n e t w o r k s ;   c o m m u n i t i e s ;   v i r t u a l   g r o u p s 	 O P E N   S O U R C E   S O F T W A R E ;   I N N O V A T I O N ;   S Y S T E M S ;   K N O W L E D G E ;   S C I E N C E ;   I S S U E S 	 T h i s   p a p e r   a n a l y z e s   t h e   n e w   l e a r n i n g   a n d   n e t w o r k   c o l l a b o r a t i o n   p a r a d i g m s ,   t h e i r   m o t i v a t i o n   a n d   c o n s e q u e n c e s .   T h e   o r i g i n s   o f   t h e s e   p r a c t i c e s   a r e   t r a c e d   t o   t h e   d e v e l o p m e n t   o f   t h e   I n t e r n e t   a n d   t h e   i m p a c t   o f   g l o b a l i z a t i o n .   T h e   p a p e r   a n a l y z e s   t h e i r   a d v a n t a g e s   a n d   t h e   f a c t o r s   w h i c h   h a v e   l e d   t o   t h e i r   d e v e l o p m e n t .   T h r e e   c o n t e x t s   o r   d i v e r s e   p o i n t s   o f   v i e w   h a v e   b e e n   f o l l o w e d :   a c a d e m i c   a n d   s c i e n t i f i c ,   b u s i n e s s   a n d   s o c i a l .   T h e   p a p e r   a i m s   t o   d e v e l o p   a n d   p r o p o s e   a   t a x o n o m y   o f   t h e s e   p r a c t i c e s   a c c o r d i n g   t o   c e r t a i n   v a r i a b l e s   r e l a t e d   t o   c o m m u n i c a t i o n ,   s o c i a l   i n t e r a c t i o n ,   i n f o r m a t i o n ,   i n t e l l e c t u a l   p r o p e r t y ,   k n o w l e d g e   a c c e s s   a n d   v a l u e s .   ( C )   2 0 0 7   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ A l b o r s ,   J . ;   H e r v a s a ,   J .   L . ]   U n i v   P o l i t e c n   V a l e n c i a ,   D e p t o   O r g   E m p r e s a s ,   V a l e n c i a   4 6 0 2 2 ,   S p a i n ;   [ R a m o s ,   J .   C . ]   K n o w l e d g e   A s s o c i a t e s ,   A v a n z a l i s ,   B a r c e l o n a   0 8 0 0 7 ,   S p a i n 	 A l b o r s ,   J   ( r e p r i n t   a u t h o r ) ,   U n i v   P o l i t e c n   V a l e n c i a ,   D e p t o   O r g   E m p r e s a s ,   C a m i n o   V e r a   S N ,   V a l e n c i a   4 6 0 2 2 ,   S p a i n . 	 j a l b o r s @ d o e . u p v . e s 	 	 	 	 	 A d a m s   E . ,   2 0 0 0 ,   J   K N O W L E D G E   M A N A G E M E ,   V 4 ,   P 3 8 ,   D O I   D O I   1 0 . 1 1 0 8 / 1 3 6 7 3 2 7 0 0 1 0 3 1 5 9 3 9 ;   A l l i o   R .   J . ,   2 0 0 4 ,   S T R A T E G Y   L E A D E R S H I P ,   V 3 2 ,   P 4 ,   D O I   1 0 . 1 1 0 8 / 1 0 8 7 8 5 7 0 4 1 0 5 4 7 6 4 3 ;   A R G Y R I S   C ,   1 9 9 2 ,   O R G   L E A R N I N G ,   P 6 7 ;   A R G Y R I S   C ,   1 9 7 6 ,   A D M I N   S C I   Q U A R T ,   V 2 1 ,   P 3 6 3 ,   D O I   1 0 . 2 3 0 7 / 2 3 9 1 8 4 8 ;   B a f o u t s o u   G ,   2 0 0 2 ,   I N T   J   I N F O R M   M A N A G E ,   V 2 2 ,   P 2 8 1 ,   D O I   1 0 . 1 0 1 6 / S 0 2 6 8 - 4 0 1 2 ( 0 2 ) 0 0 0 1 3 - 0 ;   B A N D U R A   A ,   1 9 7 7 ,   P S Y C H O L   R E V ,   V 8 4 ,   P 1 9 1 ,   D O I   1 0 . 1 0 3 7 / / 0 0 3 3 - 2 9 5 X . 8 4 . 2 . 1 9 1 ;   B a t t e l l e   J . ,   2 0 0 5 ,   S E A R C H   G O O G L E   I T S   R I ;   B E R N A R D   P E ,   2 0 0 6 ,   W O R K I N G   P A P E R   D C B ,   V 1 5 ,   P 6 ;   B e s s a n t   J . ,   1 9 9 2 ,   C R E A T I V I T Y   I N N O V A T I O ,   V 1 ,   P 5 9 ;   B e s s a n t   J ,   1 9 9 9 ,   T E C H N O V A T I O N ,   V 1 9 ,   P 3 7 3 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 6 - 4 9 7 2 ( 9 9 ) 0 0 0 2 5 - 5 ;   B o s   N ,   2 0 0 7 ,   J   C O M P U T - M E D I A T   C O M M ,   V 1 2 ;   B O U Q U E T   M M ,   2 0 0 6 ,   P R O F I L I N G   E U R O P E A N   B ;   B r o w n   J S ,   1 9 9 1 ,   O R G A N   S C I ,   V 2 ,   P 4 0 ,   D O I   1 0 . 1 2 8 7 / o r s c . 2 . 1 . 4 0 ;   B R U N S   A ,   2 0 0 7 ,   P   6   C   A S S   C O M P   M A C H ;   C h e s b r o u g h   H .   W . ,   2 0 0 7 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 8 ,   P 2 1 ;   C h e s b r o u g h   H W ,   1 9 9 6 ,   H A R V A R D   B U S   R E V ,   V 7 4 ,   P 6 5 ;   C h e s b r o u g h   H W ,   2 0 0 3 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 4 ,   P 3 4 ;   C h o m p a l o v   I ,   1 9 9 9 ,   S C I   T E C H N O L   H U M   V A L ,   V 2 4 ,   P 3 3 8 ;   C H R I S T O P H E R   M ,   2 0 0 1 ,   I N T E R N E T   H I G H E R   E D ,   V 4 ,   P 4 5 ;   C I F O L L I   A ,   2 0 0 3 ,   1   M O N D A Y ,   V 8 ;   C L A R K E   P ,   2 0 0 0 ,   P   3   C   P R A C T   A S P   K N O W ;   C r a w f o r d   W ,   2 0 0 6 ,   E C O N T E N T ,   V 2 9 ,   P 4 4 ;   C u m m i n g s   J N ,   2 0 0 5 ,   S O C   S T U D   S C I ,   V 3 5 ,   P 7 0 3 ,   D O I   1 0 . 1 1 7 7 / 0 3 0 6 1 2 7 0 5 0 5 5 3 5 ;   D a h l a n d e r   L ,   2 0 0 5 ,   R E S   P O L I C Y ,   V 3 4 ,   P 4 8 1 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 5 . 0 2 . 0 0 3 ;   D a l l e   J M ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 2 ) 0 0 0 0 3 - 3 ;   D a v i d o w   W .   H . ,   1 9 9 2 ,   V I R T U A L   C O R P O R A T I O N ;   D E S A N C T I S   G ,   1 9 8 7 ,   M A N A G E   S C I ,   V 3 3 ,   P 5 8 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 3 3 . 5 . 5 8 9 ;   D E S M A R T E A U   K ,   2 0 0 7 ,   A P P A R E L   M A G A Z I N E ,   V 4 8 ,   P 4 0 ;   D O G S O N   M ,   1 9 9 1 ,   T E C H N O L O G Y ,   V 2 ,   P 1 3 2 ;   D u   H S ,   2 0 0 6 ,   I N T   J   H U M - C O M P U T   S T ,   V 6 4 ,   P 7 8 9 ,   D O I   1 0 . 1 0 1 6 / j . i j h c s . 2 0 0 6 . 0 4 . 0 0 2 ;   D y e   J ,   2 0 0 6 ,   E C O N T E N T ,   V 2 9 ,   P 3 8 ;   E L L I S   C A ,   1 9 9 1 ,   C O M M U N   A C M ,   V 3 4 ,   P 3 8 ;   F I O L   C M ,   1 9 8 5 ,   A C A D   M A N A G E   R E V ,   V 1 0 ,   P 8 0 3 ,   D O I   1 0 . 2 3 0 7 / 2 5 8 0 4 8 ;   F r i e d m a n   T .   L ,   2 0 0 5 ,   W O R L D   I S   F L A T   B R I E F ;   G a r v i n   D . A . ,   1 9 9 3 ,   H A R V A R D   B U S I N E S S   J U L ;   H a l e   R . ,   1 9 9 7 ,   V I R T U A L   O R G ;   H e n k e l   J ,   2 0 0 6 ,   R E S   P O L I C Y ,   V 3 5 ,   P 9 5 3 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 6 . 0 4 . 0 1 0 ;   H i l d r e t h   P ,   2 0 0 0 ,   J   K N O W L E D G E   M A N A G E M E ,   V 4 ,   P 2 7 ,   D O I   1 0 . 1 1 0 8 / 1 3 6 7 3 2 7 0 0 1 0 3 1 5 9 2 0 ;   H O L T Z   S ,   2 0 0 7 ,   C O M M U N I C A T I O N   W O R L D ,   V 2 4 ,   P 1 6 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   V 1 4 ,   P 0 6 ;   J a r v e n p a a   S L ,   1 9 9 9 ,   O R G A N   S C I ,   V 1 0 ,   P 7 9 1 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 . 6 . 7 9 1 ;   J o h a n s e n   R . ,   1 9 8 8 ,   G R O U P W A R E   C O M P U T E R   S ;   K a s p e r   L .   F . ,   1 9 9 7 ,   E N G L   S P E C I F   P U R P ,   V 1 6 ,   P 3 0 9 ,   D O I   1 0 . 1 0 1 6 / S 0 8 8 9 - 4 9 0 6 ( 9 7 ) 0 0 0 3 5 - 5 ;   K l u m p   J ,   2 0 0 6 ,   D A T A   S C I   J ,   V 5 ,   P 7 9 ,   D O I   D O I   1 0 . 2 4 8 1 / D S J . 5 . 7 9 ;   K o l b i t s c h   J . ,   2 0 0 6 ,   J o u r n a l   o f   C o m p u t i n g   a n d   I n f o r m a t i o n   T e c h n o l o g y   -   C I T ,   V 1 4 ,   D O I   1 0 . 2 4 9 8 / c i t . 2 0 0 6 . 0 3 . 0 1 ;   K o r f i a t i s   N T ,   2 0 0 6 ,   O N L I N E   I N F O R M   R E V ,   V 3 0 ,   P 2 5 2 ,   D O I   [ 1 0 . 1 1 0 8 / 1 4 6 8 4 5 2 0 6 1 0 6 7 5 7 8 0 ,   1 0 . 1 1 0 8 / 1 4 6 9 4 5 2 0 6 1 0 6 7 5 7 8 0 ] ;   L a s k e r   R D ,   2 0 0 1 ,   M I L B A N K   Q ,   V 7 9 ,   P 1 7 9 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 8 - 0 0 0 9 . 0 0 2 0 3 ;   L A V E   J ,   1 9 9 3 ,   S I T U A T E D   L E A R N I N G   L E ;   L E D U E F F   O ,   2 0 0 7 ,   R E V U E ,   V 1 0 ,   P 1 ;   L i c h t e n t h a l e r   U . ,   2 0 0 7 ,   I n t e r n a t i o n a l   J o u r n a l   o f   I n t e l l e c t u a l   P r o p e r t y   M a n a g e m e n t ,   V 1 ,   D O I   1 0 . 1 5 0 4 / I J I P M . 2 0 0 7 . 0 1 3 5 5 7 ;   M C C O N N O N   A ,   2 0 0 6 ,   B U S   W E E K ,   V 4 0 0 2 ,   P 4 0 ;   M c F e d r i e s   P ,   2 0 0 6 ,   I E E E   S P E C T R U M ,   V 4 3 ,   P 8 8 ,   D O I   1 0 . 1 1 0 9 / M S P E C . 2 0 0 6 . 2 5 3 4 0 9 ;   M I L E S   R E ,   1 9 9 5 ,   O R G A N   D Y N ,   V 2 3 ,   P 5 ,   D O I   1 0 . 1 0 1 6 / 0 0 9 0 - 2 6 1 6 ( 9 5 ) 9 0 0 1 3 - 6 ;   N a r d i   B A ,   2 0 0 4 ,   C O M M U N   A C M ,   V 4 7 ,   P 4 1 ,   D O I   1 0 . 1 1 4 5 / 1 0 3 5 1 3 4 . 1 0 3 5 1 6 3 ;   O ' R e i l l y   T . ,   2 0 0 5 ,   W H A T   I S   W E B   2   0   D E S I ;   O L S O N   G M ,   2 0 0 7 ,   S C I E N C E   I N T E R N E T ;   O R A M   A ,   2 0 0 1 ,   P E E R   T O   P E E R   H A R N E S S ;   O s t e r l o h   M ,   2 0 0 7 ,   R E S   P O L I C Y ,   V 3 6 ,   P 1 5 7 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 6 . 1 0 . 0 0 4 ;   R a s   E ,   2 0 0 5 ,   J   U N I V E R S   C O M P U T   S C I ,   V 1 1 ,   P 3 9 4 ;   R A Y M O N D   E S ,   2 0 0 1 ,   O R E I L L Y   P U B L ;   R o s e d a l e   P ,   2 0 0 7 ,   F O R B E S ,   V 1 7 9 ,   P 7 6 ;   R u p p e l   C P ,   2 0 0 1 ,   I E E E   T   P R O F   C O M M U N ,   V 4 4 ,   P 3 7 ,   D O I   1 0 . 1 1 0 9 / 4 7 . 9 1 1 1 3 1 ;   S C O T T   J K ,   2 0 0 5 ,   C O M M U N I T Y   D E V   J   C O M M ,   V 3 6 ,   P 1 ;   S E G A L L E R   S ,   1 9 9 8 ,   N E R D S   B R I E F   H I S T   I N T ;   S e n g e   P . ,   1 9 9 0 ,   S L O A N   M A N A G E M E N T   F A L ,   P 7 ;   S H A D B O L T   N ,   2 0 0 6 ,   I E E E   I N T E L L   S Y S T   A P P ,   V 6 ,   P 1 5 4 1 ;   S T E N M A R K   D ,   2 0 0 2 ,   P   3 5   A N N   H A W   I N T   C   S ,   V 4 ,   P 1 0 4 ;   S T E V E   R ,   2 0 0 6 ,   A D V E R T I S I N G   A G E ,   V 7 7 ,   P 3 5 ;   T a p s c o t t   D . ,   2 0 0 6 ,   W I K I N O M I C S   M A S S   C O L L ;   V i e g a s   F . ,   2 0 0 4 ,   C H I   0 4 ,   V 6 ,   P 5 7 5 ;   V I S E   D ,   2 0 0 5 ,   G E O G L E   S T O R Y   I N S I D E ;   v o n   H i p p e l   E r i c ,   2 0 0 5 ,   D E M O C R A T I Z I N G   I N N O V A ;   v o n   H i p p e l   E ,   2 0 0 3 ,   O R G A N   S C I ,   V 1 4 ,   P 2 0 9 ;   W e n g e r   E ,   2 0 0 0 ,   O R G A N I Z A T I O N ,   V 7 ,   P 2 2 5 ,   D O I   1 0 . 1 1 7 7 / 1 3 5 0 5 0 8 4 0 0 7 2 0 0 2 ;   W e n g e r   E C ,   2 0 0 0 ,   H A R V A R D   B U S   R E V ,   V 7 8 ,   P 1 3 9 	 7 5 	 2 8 	 2 8 	 E L S E V I E R   S C I   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   O X O N ,   E N G L A N D 	 0 2 6 8 - 4 0 1 2 	 	 	 I N T   J   I N F O R M   M A N A G E 	 I n t .   J .   I n f .   M a n a g e . 	 J U N 	 2 0 0 8 	 2 8 	 3 	 	 	 	 	 1 9 4 	 2 0 2 	 	 1 0 . 1 0 1 6 / j . i j i n f o m g t . 2 0 0 7 . 0 9 . 0 0 6 	 	 9 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 3 2 2 D H 	 W O S : 0 0 0 2 5 7 3 5 4 9 0 0 0 0 6 	 	 
 J 	 A g e r f a l k ,   P J ;   F i t z g e r a l d ,   B 	 	 	 	 A g e r f a l k ,   P a r   J . ;   F i t z g e r a l d ,   B r i a n 	 	 	 O u t s o u r c i n g   t o   a n   u n k n o w n   w o r k f o r c e :   E x p l o r i n g   o p e n s o u r c i n g   a s   a   g l o b a l   s o u r c i n g   s t r a t e g y 	 M I S   Q U A R T E R L Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 o p e n   s o u r c e ;   o p e n s o u r c i n g ;   o f f s h o r i n g ;   o u t s o u r c i n g ;   g l o b a l   s o f t w a r e   d e v e l o p m e n t ;   c r o w d s o u r c i n g ;   m u l t i - m e t h o d   r e s e a r c h 	 O P E N   S O U R C E   S O F T W A R E ;   I N F O R M A T I O N - S Y S T E M S ;   P S Y C H O L O G I C A L   C O N T R A C T ;   S U C C E S S ;   O R G A N I Z A T I O N ;   C O M M U N I T I E S ;   K N O W L E D G E ;   T E A M S 	 T h i s   p a p e r   p r e s e n t s   a   p s y c h o l o g i c a l   c o n t r a c t   p e r s p e c t i v e   o n   t h e   u s e   o f   t h e   o p e n   s o u r c e   d e v e l o p m e n t   m o d e l   a s   a   g l o b a l   s o u r c i n g   s t r a t e g y - o p e n s o u r c i n g ,   a s   w e   t e r m   i t   h e r e - w h e r e b y   c o m m e r c i a l   c o m p a n i e s   a n d   o p e n   s o u r c e   c o m m u n i t i e s   c o l l a b o r a t e   o n   d e v e l o p m e n t   o f   s o f t w a r e   o f   c o m m e r c i a l   i n t e r e s t   t o   t h e   c o m p a n y .   B u i l d i n g   o n   p r e v i o u s   r e s e a r c h   o n   i n f o r m a t i o n   s y s t e m s   o u t s o u r c i n g ,   a   t h e o r e t i c a l   f r a m e w o r k   f o r   e x p l o r i n g   t h e   o p e n s o u r c i n g   p h e n o m e n o n   i s   d e r i v e d .   T h e   f i r s t   p h a s e   o f   t h e   r e s e a r c h   c o n c e r n e d   q u a l i t a t i v e   c a s e   s t u d i e s   i n v o l v i n g   t h r e e   c o m m e r c i a l   o r g a n i z a t i o n s   ( I O N A   T e c h n o l o g i e s ,   P h i l i p s   M e d i c a l   S y s t e m s ,   a n d   T e l e f o n i c a )   t h a t   h a d   " l i b e r a t e d "   w h a t   h a d   h i t h e r t o   b e e n   p r o p r i e t a r y   s o f t w a r e   a n d   s o u g h t   t o   g r o w   a   g l o b a l   o p e n   s o u r c e   c o m m u n i t y   a r o u n d   t h e i r   p r o d u c t   W e   f o l l o w e d   t h i s   w i t h   a   l a r g e - s c a l e   s u r v e y   i n   v o l v i n g   a d d i t i o n a l   e x e m p l a r s   o f   t h e   p h e n o m e n o n .   T h e   s t u d y   i d e n t i f i e s   a   n u m b e r   o f   s y m m e t r i c a l   a n d   c o m p l e m e n t a r y   c u s t o m e r   a n d   c o m m u n i t y   o b l i g a t i o n s   t h a t   a r e   a s s o c i a t e d   w i t h   o p e n s o u r c i n g   s u c c e s s .   W e   a l s o   i d e n t i f y   a   n u m b e r   o f   t e n s i o n   p o i n t s   o n   w h i c h   c u s t o m e r   a n d   c o m m u n i t y   p e r c e p t i o n s   t e n d   t o   v a r y .   O v e r a l l   t h e   k e y   w a t c h w o r d s   f o r   o p e n s o u r c i n g   a r e   o p e n n e s s ,   t r u s t ,   t a c t ,   p r o f e s s i o n a l i s m ,   t r a n s p a r e n c y ,   a n d   c o m p l e m e n t a r i n e s s :   T h e   c u s t o m e r   a n d   c o m m u n i t y   n e e d   t o   e s t a b l i s h   a   t r u s t e d   p a r t n e r s h i p   o f   s h a r e d   r e s p o n s i b i l i t y   i n   b u i l d i n g   a n   o v e r a l l   o p e n s o u r c i n g   e c o s y s t e m .   T h e   s t u d y   r e v e a l s   a n   o n g o i n g   s h i f t   f r o m   O S S   a s   a   c o m m u n i t y   o f   i n d i v i d u a l   d e v e l o p e r s   t o   O S S   a s   a   c o m m u n i t y   o f   c o m m e r c i a l   o r g a n i z a t i o n s ,   p r i m a r i l y   s m a l l   t o   m e d i u m - s i z e d   e n t e r p r i s e s .   I t   a l s o   r e v e a l s   t h a t   o p e n s o u r c i n g   p r o v i d e s   a m p l e   o p p o r t u n i t y   f o r   c o m p a n i e s   t o   h e a d h u n t   t o p   d e v e l o p e r s ,   h e n c e   m o v i n g   f r o m   o u t s o u r c i n g   t o   a   l a r g e l y   u n k n o w n   O S S   w o r k f o r c e   t o w a r d   r e c r u i t m e n t   o f   d e v e l o p e r s   f r o m   a   g l o b a l   o p e n   s o u r c e   c o m m u n i t y   w h o s e   t a l e n t s   h a v e   b e c o m e   k n o w n   a s   a   r e s u l t   o f   t h e   o p e n s o u r c i n g   e x p e r i e n c e . 	 [ A g e r f a l k ,   P a r   J . ]   U p p s a l a   U n i v ,   D e p t   I n f o r m a t   S c i ,   U p p s a l a ,   S w e d e n ;   [ A g e r f a l k ,   P a r   J . ;   F i t z g e r a l d ,   B r i a n ]   U n i v   L i m e r i c k ,   L e r o   I r i s h   S o f t w a r e   E n g n   R e s   C t r ,   L i m e r i c k ,   I r e l a n d 	 A g e r f a l k ,   P J   ( r e p r i n t   a u t h o r ) ,   U p p s a l a   U n i v ,   D e p t   I n f o r m a t   S c i ,   U p p s a l a ,   S w e d e n . 	 p a r . a g e r f a l k @ d i s . u u . s e ;   b f @ u l . i e 	 F i t z g e r a l d ,   B r i a n / E - 7 7 9 0 - 2 0 1 0 	 F i t z g e r a l d ,   B r i a n / 0 0 0 0 - 0 0 0 1 - 9 1 9 3 - 2 8 6 3 	 	 	 A g a r w a l   R . ,   2 0 0 0 ,   F R A M I N G   D O M A I N S   I T   M ,   P 8 5 ;   A n d e r s o n   N ,   1 9 9 8 ,   J   O R G A N   B E H A V ,   V 1 9 ,   P 6 3 7 ,   D O I   1 0 . 1 0 0 2 / ( S I C I ) 1 0 9 9 - 1 3 7 9 ( 1 9 9 8 ) 1 9 : 1 + < 6 3 7 : : A I D - J O B 9 8 6 > 3 . 0 . C O ; 2 - H ;   A n d e r s o n   R .   E . ,   1 9 8 4 ,   M U L T I V A R I A T E   D A T A   A N ;   A n g   S ,   2 0 0 1 ,   M I S   Q U A R T ,   V 2 5 ,   P 3 2 1 ,   D O I   1 0 . 2 3 0 7 / 3 2 5 0 9 2 0 ;   A r g y r i s   C . ,   1 9 6 0 ,   U N D E R S T A N D I N G   O R G   B E ;   A u b e r t   B .   A . ,   2 0 0 5 ,   D A T A   B A S E   A D V   I N F   S Y ,   V 3 6 ,   P 9 ;   B A S K E R V I L L E   R ,   1 9 9 9 ,   A C C O U N T I N G   M A N A G E M E N ,   V 9 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / S 0 9 5 9 - 8 0 2 2 ( 9 8 ) 0 0 0 1 7 - 4 ;   B r a n d e n b u r g e r   A . ,   1 9 9 6 ,   C O O P E T I T I O N   R E V O L U T I ;   B r u n s   A . ,   2 0 0 7 ,   P   6   A C M   S I G C H I   C   C R E ;   C A L L O W A Y   L J ,   1 9 9 1 ,   I N F O R M A T I O N   S Y S T E M S ,   P 1 7 5 ;   C a m p b e l l   D . ,   1 9 9 6 ,   U N O B T R U S I V E   M E A S U R E S ;   C a r m e l   E ,   2 0 0 1 ,   I E E E   S O F T W A R E ,   V 1 8 ,   P 2 2 ,   D O I   1 0 . 1 1 0 9 / 5 2 . 9 1 4 7 3 4 ;   C a r m e l   E . ,   2 0 0 6 ,   M I S   Q   E X E C ,   V 5 ,   P 4 3 ;   C A R M E L   E ,   1 9 9 9 ,   G L O B A L   T E A M S   C O L L A B O ;   C a r m e l   E . ,   2 0 0 5 ,   O F F S H O R I N G   I N F O R M   T E ;   C h a t t e r j e e   D ,   2 0 0 2 ,   M I S   Q U A R T ,   V 2 6 ,   P 6 5 ,   D O I   1 0 . 2 3 0 7 / 4 1 3 2 3 2 1 ;   C h e o n   M J ,   1 9 9 5 ,   J   I N F O R M   T E C H N O L ,   V 1 0 ,   P 2 0 9 ;   D a h l a n d e r   L ,   2 0 0 5 ,   R E S   P O L I C Y ,   V 3 4 ,   P 4 8 1 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 5 . 0 2 . 0 0 3 ;   D A V I S   G B ,   2 0 0 4 ,   P   2 5   I N T   C   I N F   S Y S T ,   P 1 0 2 7 ;   D e m p s e y   B J ,   2 0 0 2 ,   C O M M U N   A C M ,   V 4 5 ,   P 6 7 ,   D O I   1 0 . 1 1 4 5 / 5 0 3 1 2 4 . 5 0 3 1 2 5 ;   D I N H T R O N G   T ,   2 0 0 4 ,   P   1 0   I N T   S   S O F T W   M E T ;   E b e r t   C ,   2 0 0 1 ,   I E E E   S O F T W A R E ,   V 1 8 ,   P 6 2 ,   D O I   1 0 . 1 1 0 9 / 5 2 . 9 1 4 7 4 8 ;   F e l l e r   J . ,   2 0 0 2 ,   U N D E R S T A N D I N G   O P E N   S ;   F E L L E R   J ,   2 0 0 8 ,   C H A N G E   S E R V I C E   E C ;   F i c h m a n   R .   G . ,   2 0 0 4 ,   J   A S S O C   I N F   S Y S T ,   V 5 ,   P 3 1 4 ;   F i t z g e r a l d   B ,   2 0 0 6 ,   M I S   Q U A R T ,   V 3 0 ,   P 5 8 7 ;   G a c e k   C ,   2 0 0 4 ,   I E E E   S O F T W A R E ,   V 2 1 ,   P 3 4 ,   D O I   1 0 . 1 1 0 9 / M S . 2 0 0 4 . 1 2 5 9 2 0 6 ;   G a l l i v a n   M .   J . ,   2 0 0 1 ,   D a t a   B a s e   f o r   A d v a n c e s   i n   I n f o r m a t i o n   S y s t e m s ,   V 3 2 ;   G A R V I N   D A ,   1 9 9 3 ,   H A R V A R D   B U S   R E V ,   V 7 1 ,   P 7 8 ;   G e r m a n   D . M . ,   2 0 0 4 ,   S O F T W A R E   P R O C E S S   I M P ,   V 8 ,   P 2 0 1 ;   G h i s e l l i   E .   E . ,   1 9 8 1 ,   M E A S U R E M E N T   T H E O R Y   B ;   G h o s h   R i s h a b   A . ,   2 0 0 2 ,   F R E E   L I B R E   O P E N   S O U R ;   G O E T Z   J ,   1 9 8 4 ,   E T H N O G R P A H Y   Q U A L I T A T ;   G o l d m a n   R ,   2 0 0 5 ,   I N N O V A T I O N   H A P P E N S   E ;   G o l e s   T . ,   2 0 0 5 ,   D A T A   B A S E   A D V   I N F   S Y ,   V 3 6 ,   P 4 7 ;   G O R M A N   M ,   2 0 0 3 ,   D E S I G N   I M P L E M E N T A T I O ;   G o t t s c h a l k   P ,   2 0 0 5 ,   I N D   M A N A G E   D A T A   S Y S T ,   V 1 0 5 ,   P 6 8 5 ,   D O I   1 0 . 1 1 0 8 / 0 2 6 3 5 5 7 0 5 1 0 6 0 6 9 4 1 ;   G r o v e r   V . ,   2 0 0 2 ,   J   A S S O C   I N F   S Y S T ,   V 3 ,   P 2 1 7 ;   G U B A   E G ,   1 9 8 1 ,   E C T J - E D U C   C O M M U N   T E C ,   V 2 9 ,   P 7 5 ;   H A N N   I ,   2 0 0 2 ,   2   W O R K S H   O P   S O U R C   S O ;   H e r b s l e b   J .   D . ,   1 9 9 9 ,   P   2 1   I N T   C   S O F T W   E N G ;   H u t c h e s o n   G ,   1 9 9 9 ,   M U L T I V A R I A T E   S O C I A L ;   I n k p e n   A C ,   1 9 9 6 ,   C A L I F   M A N A G E   R E V ,   V 3 9 ,   P 1 2 3 ;   J O R G E N S E N   N ,   2 0 0 1 ,   I N F O R M   S Y S T   J ,   V 1 1 ,   P 1 4 2 ;   K A I S E R   H F ,   1 9 7 4 ,   P S Y C H O M E T R I K A ,   V 3 9 ,   P 3 1 ,   D O I   1 0 . 1 0 0 7 / B F 0 2 2 9 1 5 7 5 ;   K A P L A N   B ,   1 9 8 8 ,   M I S   Q U A R T ,   V 1 2 ,   P 5 7 1 ,   D O I   1 0 . 2 3 0 7 / 2 4 9 1 3 3 ;   K A S S   R A ,   1 9 7 9 ,   J   L E I S U R E   R E S ,   V 1 1 ,   P 1 2 0 ;   K l e i n   H K ,   1 9 9 9 ,   M I S   Q U A R T ,   V 2 3 ,   P 6 7 ,   D O I   1 0 . 2 3 0 7 / 2 4 9 4 1 0 ;   K o h   C ,   2 0 0 4 ,   I N F O R M   S Y S T   R E S ,   V 1 5 ,   P 3 5 6 ,   D O I   1 0 . 1 2 8 7 / i s r e . 1 0 4 0 . 0 0 3 5 ;   L a k h a n i   K . ,   2 0 0 1 ,   D O E S   F R E E   S O F T W A R E   M ;   L a k h a n i   K .   R . ,   2 0 0 5 ,   P E R S P E C T I V E S   F R E E   O P ,   P 3 9 3 ;   L e o n a r d - B a r t o n   D . ,   1 9 9 5 ,   W E L L S P R I N G S   K N O W L E D G ;   L e r n e r   J ,   2 0 0 2 ,   J   I N D   E C O N ,   V 5 0 ,   P 1 9 7 ;   M a r s h a l l   C . ,   1 9 8 9 ,   D E S I G N I N G   Q U A L I T A T I V ;   M i l e s   M . ,   1 9 9 4 ,   Q U A L I T A T I V E   D A T A   A N A ;   M i l l a r   C C J M ,   2 0 0 5 ,   J   O R G A N   C H A N G E   M A N A G ,   V 1 8 ,   P 2 5 9 ,   D O I   1 0 . 1 1 0 8 / 0 9 5 3 4 8 1 0 5 1 0 5 9 9 4 1 6 ;   M i r a n d a   S M ,   2 0 0 5 ,   J   I N F   T E C H N O L ,   V 2 0 ,   P 1 5 2 ,   D O I   1 0 . 1 0 5 7 / p a l g r a v e . j i t . 2 0 0 0 0 4 5 ;   M O C K U S   A ,   2 0 0 2 ,   M   C H A L L E N G E S   S U R V I V I ,   P 1 9 ;   M O C K U S   A ,   2 0 0 2 ,   T   S O F T W A R E   E N G   M E T H O ,   V 1 1 ,   P 3 0 9 ;   N O N A K A   I ,   1 9 9 1 ,   H A R V A R D   B U S   R E V ,   V 6 9 ,   P 9 6 ;   O R L I K O W S K I   W J ,   1 9 9 3 ,   M I S   Q U A R T ,   V 1 7 ,   P 3 0 9 ,   D O I   1 0 . 2 3 0 7 / 2 4 9 7 7 4 ;   P a t t o n   M .   Q . ,   1 9 9 0 ,   Q U A L I T A T I V E   E V A L U A T I ;   P a v l o u   P A ,   2 0 0 5 ,   I N F O R M   S Y S T   R E S ,   V 1 6 ,   P 3 7 2 ,   D O I   1 0 . 1 2 8 7 / i s r e . 1 0 5 0 . 0 0 6 5 ;   P i c c o l i   G ,   2 0 0 3 ,   M I S   Q U A R T ,   V 2 7 ,   P 3 6 5 ;   R a g h u   T S ,   2 0 0 4 ,   I N F O R M   S Y S T   R E S ,   V 1 5 ,   P 3 1 6 ,   D O I   1 0 . 1 2 8 7 / i s r e . 1 0 4 0 . 0 0 3 1 ;   R a y m o n d   E r i c   S . ,   1 9 9 9 ,   C A T H E D R A L   B A Z A A R   M U S ;   R O B L E S M A R T I N E Z   G ,   2 0 0 1 ,   W H O   I S   D O I N G ;   S c a c c h i   W . ,   2 0 0 2 ,   I E E   P r o c e e d i n g s - S o f t w a r e ,   V 1 4 9 ,   D O I   1 0 . 1 0 4 9 / i p - s e n : 2 0 0 2 0 2 0 2 ;   S c h n a s e   J L ,   2 0 0 3 ,   I N F O R M   S Y S T ,   V 2 8 ,   P 3 3 9 ,   D O I   1 0 . 1 0 1 6 / S 0 3 0 6 - 4 3 7 9 ( 0 2 ) 0 0 0 7 0 - 4 ;   S T R A U B   D W ,   1 9 8 9 ,   M I S   Q U A R T ,   V 1 3 ,   P 1 4 7 ,   D O I   1 0 . 2 3 0 7 / 2 4 8 9 2 2 ;   S t r a u s s   A . ,   1 9 9 8 ,   B A S I C S   Q U A L I T A T I V E   R ;   T a b a c h n i k   B .   G . ,   1 9 9 6 ,   U S I N G   M U L T I V A R I A T E   S ;   v o n   H i p p e l   E ,   2 0 0 3 ,   O R G A N   S C I ,   V 1 4 ,   P 2 0 9 ;   W a l l a c e   R . ,   1 9 8 8 ,   B R I T   A C C O U N T I N G   R E V ,   V 2 0 ,   P 1 3 1 ,   D O I   1 0 . 1 0 1 6 / 0 8 9 0 - 8 3 8 9 ( 8 8 ) 9 0 0 3 6 - 4 ;   W a n g   E T G ,   2 0 0 2 ,   I N F O R M   S Y S T   J ,   V 1 2 ,   P 1 5 3 ,   D O I   1 0 . 1 0 4 6 / j . 1 3 6 5 - 2 5 7 5 . 2 0 0 2 . 0 0 1 2 0 . x ;   W H E E L E R   D ,   2 0 0 4 ,   W H Y   O P E N   S O U R C E   S O F T ;   Y i n   R o b e r t ,   1 9 9 4 ,   C A S E   S T U D Y   R E S   D E S I G 	 7 7 	 7 2 	 7 2 	 S O C   I N F O R M   M A N A G E - M I S   R E S   C E N T 	 M I N N E A P O L I S 	 U N I V   M I N N E S O T A - S C H   M A N A G E M E N T   2 7 1   1 9 T H   A V E   S O U T H ,   M I N N E A P O L I S ,   M N   5 5 4 5 5   U S A 	 0 2 7 6 - 7 7 8 3 	 	 	 M I S   Q U A R T 	 M I S   Q . 	 J U N 	 2 0 0 8 	 3 2 	 2 	 	 	 	 	 3 8 5 	 4 0 9 	 	 	 	 2 5 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e ;   M a n a g e m e n t 	 C o m p u t e r   S c i e n c e ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e ;   B u s i n e s s   &   E c o n o m i c s 	 3 0 6 T T 	 W O S : 0 0 0 2 5 6 2 7 1 4 0 0 0 0 9 	 	 
 J 	 G a r c i a ,   M A ;   A l i ,   M N ;   C h a n g ,   N N ;   N i t s c h e ,   H 	 	 	 	 G a r c i a ,   M i t c h   A . ;   A l i ,   M .   N . ;   C h a n g ,   N o e l   N . ;   N i t s c h e ,   H e i n o 	 	 	 C H E D   1 8 4 - D e v e l o p m e n t   o f   c h e m i c a l   f o r u m s ,   b l o g s ,   w i k i s ,   R S S   f e e d s ,   c r o w d s o u r c i n g ,   a n d   s o c i a l   b o o k m a r k i n g   w e b s i t e s   f o r   c h e m i s t r y 	 A B S T R A C T S   O F   P A P E R S   O F   T H E   A M E R I C A N   C H E M I C A L   S O C I E T Y 	 	 	 E n g l i s h 	 M e e t i n g   A b s t r a c t 	 2 3 5 t h   A m e r i c a n - C h e m i c a l - S o c i e t y   N a t i o n a l   M e e t i n g 	 A P R   0 6 - 1 0 ,   2 0 0 8 	 N e w   O r l e a n s ,   L A 	 A m e r   C h e m   S o c 	 	 	 	 	 [ G a r c i a ,   M i t c h   A . ]   U C   B e r k e l e y ,   C o l l   C h e m ,   B e r k e l e y ,   C A   9 4 7 2 0   U S A ;   [ A l i ,   M .   N . ;   C h a n g ,   N o e l   N . ]   U C   B e r k e l e y ,   D i v   N u c l   S c i ,   L B N L ,   B e r k e l e y ,   C A   9 4 7 2 0   U S A ;   [ N i t s c h e ,   H e i n o ]   U C   B e r k e l e y ,   D e p t   C h e m ,   D i v   N u c l   S c i ,   B e r k e l e y ,   C A   9 4 7 2 0   U S A 	 	 h n i t s c h e @ l b l . g o v 	 G a r c i a ,   M i t c h / G - 2 4 1 3 - 2 0 1 0 ;   A l i ,   M a z h a r / C - 6 4 7 3 - 2 0 1 3 	 A l i ,   M a z h a r / 0 0 0 0 - 0 0 0 2 - 1 1 2 9 - 6 1 0 5 	 	 	 	 0 	 0 	 0 	 A M E R   C H E M I C A L   S O C 	 W A S H I N G T O N 	 1 1 5 5   1 6 T H   S T ,   N W ,   W A S H I N G T O N ,   D C   2 0 0 3 6   U S A 	 0 0 6 5 - 7 7 2 7 	 	 	 A B S T R   P A P   A M   C H E M   S 	 A b s t r .   P a p .   A m .   C h e m .   S o c . 	 A P R   6 	 2 0 0 8 	 2 3 5 	 	 	 	 	 1 8 4 - C H E D 	 	 	 	 	 	 1 	 C h e m i s t r y ,   M u l t i d i s c i p l i n a r y 	 C h e m i s t r y 	 5 1 9 O A 	 W O S : 0 0 0 2 7 1 7 7 5 1 0 1 8 8 7 	 	 
 B 	 L e i t n e r ,   P ;   G r e c h e n i g ,   T 	 	 H a m p e ,   J F ;   S w a t m a n ,   M C ;   G r i c a r ,   J ;   P u c i h a r ,   A ;   L e n a r t ,   G 	 	 L e i t n e r ,   P e t e r ;   G r e c h e n i g ,   T h o m a s 	 	 	 C o l l a b o r a t i v e   S h o p p i n g   N e t w o r k s :   S h a r i n g   t h e   W i s d o m   o f   C r o w d s   i n   E - C o m m e r c e   E n v i r o n m e n t s 	 2 1 S T   B L E D   E C O N F E R E N C E   E C O L L A B O R A T I O N :   O V E R C O M I N G   B O U N D A R I E S   T H R O U G H   M U L T I - C H A N N E L   I N T E R A C T I O N ,   C O N F E R E N C E   P R O C E E D I N G S 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 2 1 s t   B l e d   e C o n f e r e n c e   o n   e C o l l a b o r a t i o n   -   O v e r c o m i n g   B o u n d a r i e s   t h r o u g h   M u l t i - C h a n e l   I n t e r a c t i o n 	 J U N   1 5 - 1 8 ,   2 0 0 8 	 B l e d ,   S L O V E N I A 	 	 	 c o l l a b o r a t i v e   s h o p p i n g   n e t w o r k ;   s o c i a l   c o m m e r c e ;   o n l i n e   r e t a i l ;   c o l l e c t i v e   i n t e l l i g e n c e ;   c r o w d s o u r c i n g ;   c o n s u m e r   g e n e r a t e d   c o n t e n t 	 	 S o c i a l   w e b   s e r v i c e s   h a v e   g a i n e d   e n o r m o u s   p o p u l a r i t y   o v e r   t h e   p a s t   y e a r s   b e c a u s e   o f   a   s t e a d i l y   i n c r e a s i n g   d e m a n d   f o r   u s e r   p a r t i c i p a t i o n   i n   t h e   w h o l e   w e b   s p h e r e .   S o c i a l   n e t w o r k s   l i k e   M y S p a c e   o r   F a c e b o o k   a n d   m e d i a   s i t e s   l i k e   F l i c k r   o r   Y o u T u b e   c l e a r l y   d e m o n s t r a t e   t h e   v a r i e t y   a n d   f u n c t i o n a l i t y   o f   s o c i a l   s i t e s .   S i g n i f i c a n t l y   a f f e c t e d   b y   t h i s   t r e n d ,   o n l i n e   r e t a i l   a n d   e - c o m m e r c e   e n v i r o n m e n t s   r a p i d l y   c h a n g e d   w i t h i n   t h e   l a s t   y e a r s .   U s e r s   w e r e   i n t e g r a t e d   i n t o   e x i s t i n g   e - s h o p s   a n d   m u t a t e d   f r o m   s i m p l e   b u y e r s   t o   f u l l y   i n t e g r a t e d   c u s t o m e r s .   T h u s ,   a   m o d e m   s h o p   v i s i t o r   c a n   r e c o m m e n d   p r o d u c t s ,   l e a v e   c o m m e n t s ,   r a t e   v e n d o r s   o r   p u b l i s h   w i s h   l i s t s .   T h i s   r e c e n t   p h e n o m e n o n ,   c a l l e d   s o c i a l   c o m m e r c e   o r   s o c i a l   s h o p p i n g ,   l e a d s   t o   m o r e   c u s t o m e r   s a t i s f a c t i o n ,   u s e r   p a r t i c i p a t i o n   a n d   s o c i a l   i n t e r a c t i o n .   A c c o r d i n g l y ,   t h e r e   i s   a   s t r o n g   d e m a n d   f o r   i n n o v a t i v e   s o c i a l   c o m m e r c e   m o d e l s   a n d   c o n c e p t s   l i k e   c r o w d s o u r c i n g ,   c o n s u m e r   g e n e r a t e d   c o n t e n t   o r   l i v e   s h o p p i n g .   T h i s   p a p e r   s h o w s   t h e   r e s u l t s   o f   a n   e x t e n d e d   a n a l y s i s   o f   c o l l a b o r a t i v e   s h o p p i n g   n e t w o r k s   a n d   d e m o n s t r a t e s   t h e   d e v e l o p m e n t   o f   a   r e p r e s e n t a t i v e   i n t e r a c t i o n   m o d e l .   A n   e v a l u a t i o n   o f   s o c i a l   c o m m e r c e   m o d e l s   g a v e   i n s i g h t s   i n t o   f u n c t i o n a l i t i e s ,   i n t e r a c t i o n s   a n d   e n t i t i e s   o f   s u c c e s s f u l   s o c i a l   w e b   a p p l i c a t i o n s .   T o   c r e a t e   a   c o l l a b o r a t i v e   s h o p p i n g   n e t w o r k   m o d e l ,   c o n v e n t i o n a l   w e b   s e r v i c e s   a s   w e l l   a s   s e l e c t e d   b e s t   p r a c t i c e   c a s e s   w e r e   a n a l y z e d   i n   d e t a i l .   T o   m e e t   t h e   d e m a n d s   o f   m o d e r n   c o n s u m e r s ,   s u c c e s s   f a c t o r s   a r e   p r e s e n t e d   i n   t h e   f i n a l   p a r t . 	 V i e n n a   U n i v   T e c h n o l ,   V i e n n a ,   A u s t r i a 	 	 p e t e r . l e i t n e r @ i n s o . t u w i e n . a c . a t ;   t h o m a s . g r e c h e n i g @ i n s o . t u w i e n . a c . a t 	 	 	 	 	 A n d e r s o n   C . ,   2 0 0 6 ,   L O N G   T A I L   E N D L E S S   C H ;   A N K O L E K A R   A ,   2 0 0 8 ,   W E B   S E M A N T I C S   S C I   S E ,   V 6 ,   P 7 0 ,   D O I   1 0 . 1 0 1 6 / j . w e b s e m . 2 0 0 7 . 1 1 . 0 0 5 ;   B a c k s t r o m   L . ,   2 0 0 6 ,   P   1 2   A C M   S I G K D D   I N T ,   P 4 4 ,   D O I   1 0 . 1 1 4 5 / 1 1 5 0 4 0 2 . 1 1 5 0 4 1 2 ;   B o u l o s   M .   N .   K . ,   2 0 0 6 ,   W I K I S   B L O G S   P O D C A S T S ;   B O U R A S   C ,   2 0 0 4 ,   P   I A D I S   I N T   C   W E B   B A ,   P 5 9 ;   B o y d   D M ,   2 0 0 7 ,   J   C O M P U T - M E D I A T   C O M M ,   V 1 3 ;   B R E S L I N   J ,   2 0 0 5 ,   P   I A D I S   I N T   C   W E B   B A ,   P 2 7 2 ;   B u r t   S . ,   2 0 0 3 ,   J   R E T A I L I N G   C O N S U M E R ,   V 1 0 ,   P 2 7 5 ,   D O I   1 0 . 1 0 1 6 / S 0 9 6 9 - 6 9 8 9 ( 0 2 ) 0 0 0 6 2 - 0 ;   B u s k e n s   V . ,   2 0 0 2 ,   S O C I A L   N E T W O R K S   T R U S ;   C H A I   K ,   2 0 0 7 ,   L E C T   N O T E S   C O M P U T E R ;   C H A U S T R E   J M ,   2 0 0 4 ,   P   I A D I S   I N T   C   E   C O M M ,   P 4 9 5 ;   C H O I   B ,   2 0 0 4 ,   P   H A W   I N T   C   S Y S T   S C I ,   P 1 ;   G i l l   P ,   2 0 0 4 ,   P R O F   E N G ,   V 1 7 ,   P 2 2 ;   G L A S S   B ,   2 0 0 7 ,   F L I C K R   U S E R   M O D E L   V 3 ;   H a g e l   J . ,   1 9 9 7 ,   N E T   G A I N   E X P A N D I N G   M ;   H o w e   J . ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   P 1 4 0 6 ;   K i m   A . J ,   2 0 0 0 ,   C O M M U N I T Y   B U I L D I N G   W ;   K o i v u m a k i   T . ,   2 0 0 2 ,   N e t n o m i c s ,   V 4 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 2 1 2 3 6 1 0 2 2 9 5 ;   K u m a r   R . ,   2 0 0 6 ,   P   1 2   A C M   S I G K D D   I N T ,   P 6 1 1 ,   D O I   1 0 . 1 1 4 5 / 1 1 5 0 4 0 2 . 1 1 5 0 4 7 6 ;   L E I   P ,   2 0 0 5 ,   P   I A D I S   I N T   C   E   C O M M ,   P 3 9 0 ;   L E I T N E R   P ,   2 0 0 7 ,   I N T   R E C H T S   S   I R I S   2 0 ,   P 4 2 7 ;   L I   P ,   2 0 0 7 ,   J   E L E C T   C O M M E R C E   R E S ,   V 7 ,   P 1 7 ;   M A C H A D O   A ,   2 0 0 5 ,   P   I A D I S   I N T   C   C O M M   2 ,   P 2 3 6 ;   M c L u r e   W a s k o   M . ,   2 0 0 0 ,   J o u r n a l   o f   S t r a t e g i c   I n f o r m a t i o n   S y s t e m s ,   V 9 ,   D O I   1 0 . 1 0 1 6 / S 0 9 6 3 - 8 6 8 7 ( 0 0 ) 0 0 0 4 5 - 7 ;   M E N G   B ,   2 0 0 4 ,   P   I A D I S   I N T   C   E   C O M M ,   P 5 2 7 ;   F u l l e r   J . ,   2 0 0 6 ,   E l e c t r o n i c   C o m m e r c e   R e s e a r c h ,   V 6 ,   D O I   1 0 . 1 0 0 7 / s 1 0 6 6 0 - 0 0 6 - 5 9 8 8 - 7 ;   M I Y O S H I   Y ,   2 0 0 7 ,   P   I A D I S   I N T   C   W E B   B A ,   P 3 8 9 ;   * N I E L   C O ,   2 0 0 7 ,   N I E L S   O N L   G L O B   C O N S ;   O ' L e a r y   Z . ,   2 0 0 4 ,   E S S E N T I A L   G U I D E   D O I N ;   O ' R e i l l y   T . ,   2 0 0 5 ,   W H A T   I S   W E B   2   0   D E S I ;   O M U R C H U   I ,   2 0 0 4 ,   P   W O R K S H   A P P L   S E M   W E ;   R A H M A N   S M ,   2 0 0 1 ,   I N T E R N E T   C O M M E R C E   S O ;   R a p p a   M . ,   2 0 0 2 ,   B U S I N E S S   M O D E L S   W E B ;   S c h u b e r t   P . ,   2 0 0 0 ,   E L E C T R O N   M A R K ,   V 1 0 ,   P 4 5 ;   S I O M K O S   G ,   2 0 0 6 ,   P   I A D I S   I N T   C   E   C O M M ,   P 3 3 3 ;   S k o g   D . ,   2 0 0 5 ,   I n t e r n a t i o n a l   J o u r n a l   o f   W e b   B a s e d   C o m m u n i t i e s ,   V 1 ,   D O I   1 0 . 1 5 0 4 / I J W B C . 2 0 0 5 . 0 0 8 1 1 1 ;   S t u t z m a n   F ,   2 0 0 6 ,   J   I N T   D I G I T A L   M E D I A ,   V 3 ,   P 1 0 ;   T e d e s c h i   B . ,   2 0 0 6 ,   N Y   T I M E S ;   T R E E S E   W G ,   2 0 0 2 ,   D E S I G N I N G   S Y S T E M S   I N ;   Y A N G   K ,   2 0 0 6 ,   P   I A D I S   I N T   C   E   C O M M ,   P 2 8 7 ;   Z H A N G   Y ,   2 0 0 6 ,   W E B   C O M M U N I T I E S   A N A L 	 4 1 	 2 	 2 	 U N I V   M A R I B O R 	 K R A N J 	 F A C   O R G   S C I ,   E C E N T E R ,   K I D R I C E V A   C E S T A   5 5 A ,   K R A N J ,   4 0 0 0 ,   S L O V E N I A 	 	 	 9 7 8 - 9 6 1 - 2 3 2 - 2 1 7 - 5 	 	 	 	 2 0 0 8 	 	 	 	 	 	 	 3 2 1 	 3 3 5 	 	 	 	 1 5 	 B u s i n e s s ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   S o c i a l   S c i e n c e s ,   I n t e r d i s c i p l i n a r y ;   T e l e c o m m u n i c a t i o n s 	 B u s i n e s s   &   E c o n o m i c s ;   C o m p u t e r   S c i e n c e ;   S o c i a l   S c i e n c e s   -   O t h e r   T o p i c s ;   T e l e c o m m u n i c a t i o n s 	 B J I 5 0 	 W O S : 0 0 0 2 6 6 1 4 2 5 0 0 0 2 5 	 	 
 B 	 K i t t u r ,   A ;   C h i ,   E H ;   S u h ,   B 	 	 B u r n e t t ,   M ;   C o s t a b i l e ,   M F ;   C a t a r c i ,   T ;   D e R u y t e r ,   B ;   T a n ,   D ;   C z e r w i n s k i ,   M ;   L u n d ,   A 	 A C M 	 K i t t u r ,   A n i k e t ;   C h i ,   E d   H . ;   S u h ,   B o n g w o n 	 	 	 C r o w d s o u r c i n g   U s e r   S t u d i e s   W i t h   M e c h a n i c a l   T u r k 	 C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 2 6 t h   A n n u a l   C H I   C o n f e r e n c e   o n   H u m a n   F a c t o r s   i n   C o m p u t i n g   S y s t e m s 	 A P R   0 5 - 1 0 ,   2 0 0 8 	 F l o r e n c e ,   I T A L Y 	 A C M   S I G C H I ,   M i c r o s o f t ,   G o o g l e ,   A u t o d e s k ,   N S F ,   O r a c l e ,   S A P ,   S O U R C E F O R G E ,   N o k i a ,   e L e a r n   M a g a z i n e 	 	 R e m o t e   u s e r   s t u d y ;   M e c h a n i c a l   T u r k ;   m i c r o   t a s k ;   W i k i p e d i a 	 	 U s e r   s t u d i e s   a r e   i m p o r t a n t   f o r   m a n y   a s p e c t s   o f   t h e   d e s i g n   p r o c e s s   a n d   i n v o l v e   t e c h n i q u e s   r a n g i n g   f r o m   i n f o r m a l   s u r v e y s   t o   r i g o r o u s   l a b o r a t o r y   s t u d i e s .   H o w e v e r ,   t h e   c o s t s   i n v o l v e d   i n   e n g a g i n g   u s e r s   o f t e n   r e q u i r e s   p r a c t i t i o n e r s   t o   t r a d e   o f f   b e t w e e n   s a m p l e   s i z e ,   t i m e   r e q u i r e m e n t s ,   a n d   m o n e t a r y   c o s t s .   M i c r o - t a s k   m a r k e t s ,   s u c h   a s   A m a z o n ' s   M e c h a n i c a l   T u r k ,   o f f e r   a   p o t e n t i a l   p a r a d i g m   f o r   e n g a g i n g   a   l a r g e   n u m b e r   o f   u s e r s   f o r   l o w   t i m e   a n d   m o n e t a r y   c o s t s .   H e r e   w e   i n v e s t i g a t e   t h e   u t i l i t y   o f   a   m i c r o - t a s k   m a r k e t   f o r   c o l l e c t i n g   u s e r   m e a s u r e m e n t s ,   a n d   d i s c u s s   d e s i g n   c o n s i d e r a t i o n s   f o r   d e v e l o p i n g   r e m o t e   m i c r o   u s e r   e v a l u a t i o n   t a s k s .   A l t h o u g h   m i c r o - t a s k   m a r k e t s   h a v e   g r e a t   p o t e n t i a l   f o r   r a p i d l y   c o l l e c t i n g   u s e r   m e a s u r e m e n t s   a t   l o w   c o s t s ,   w e   f o u n d   t h a t   s p e c i a l   c a r e   i s   n e e d e d   i n   f o r m u l a t i n g   t a s k s   i n   o r d e r   t o   h a r n e s s   t h e   c a p a b i l i t i e s   o f   t h e   a p p r o a c h . 	 [ K i t t u r ,   A n i k e t ;   C h i ,   E d   H . ;   S u h ,   B o n g w o n ]   X e r o x   C o r p ,   P a l o   A l t o   R e s   C t r ,   P a l o   A l t o ,   C A   9 4 3 0 4   U S A 	 K i t t u r ,   A   ( r e p r i n t   a u t h o r ) ,   X e r o x   C o r p ,   P a l o   A l t o   R e s   C t r ,   3 3 3 3   C o y o t e   H i l l   R d ,   P a l o   A l t o ,   C A   9 4 3 0 4   U S A . 	 n k i t t u r @ p a r c . c o m ;   e c h i @ p a r c . c o m ;   s u h @ p a r c . c o m 	 	 	 	 	 A n d r e a s e n   M . S . ,   2 0 0 7 ,   P   C H I   2 0 0 7 ,   P 1 4 0 5 ,   D O I   1 0 . 1 1 4 5 / 1 2 4 0 6 2 4 . 1 2 4 0 8 3 8 ;   B e n k l e r   Y . ,   2 0 0 2 ,   Y A L E   L A W   J ,   V 1 1 2 ,   P 3 6 7 ;   F o g g   B J ,   2 0 0 1 ,   P   C   H U M   F A C T   C O M P   S Y ,   P 2 9 5 ;   K i t t u r   A ,   2 0 0 7 ,   P   S I G C H I   C   H U M   F A C T ,   P 4 5 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 2 4 0 6 2 4 . 1 2 4 0 6 9 8 ;   S p o o l   J . ,   2 0 0 1 ,   P   C H I   2 0 0 1 ,   P 2 8 5 ;   V I E G A S   F B ,   2 0 0 7 ,   P   H C I   I N T   C ;   * W I K ,   F E A T   A R T   C R I T 	 7 	 8 4 	 8 4 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 1 5 1 5   B R O A D W A Y ,   N E W   Y O R K ,   N Y   1 0 0 3 6 - 9 9 9 8   U S A 	 	 	 9 7 8 - 1 - 6 0 5 5 8 - 0 1 1 - 1 	 	 	 	 2 0 0 8 	 	 	 	 	 	 	 4 5 3 	 4 5 6 	 	 	 	 4 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 B K M 8 0 	 W O S : 0 0 0 2 6 8 5 8 6 1 0 0 0 5 6 	 	 
 B 	 Y a n g ,   J ;   A d a m i c ,   L A ;   A c k e r m a n ,   M S 	 	 	 A C M 	 Y a n g ,   J i a n g ;   A d a m i c ,   L a d a   A . ;   A c k e r m a n ,   M a r k   S . 	 	 	 C r o w d s o u r c i n g   a n d   K n o w l e d g e   S h a r i n g :   S t r a t e g i c   U s e r   B e h a v i o r   o n   T a s k c n 	 E C ' 0 8 :   P R O C E E D I N G S   O F   T H E   2 0 0 8   A C M   C O N F E R E N C E   O N   E L E C T R O N I C   C O M M E R C E 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 A C M   C o n f e r e n c e   o n   E l e c t r o n i c   C o m m e r c e 	 J U L   0 8 - 1 2 ,   2 0 0 8 	 C h i c a g o ,   I L 	 A C M   S I G e c o m ,   M i c r o s o f t   R e s ,   G o o g l e ,   Y a h o o   R e s ,   H P   L a b s ,   C o m b i n e N e t ,   N W   U n i v 	 	 O n l i n e   c o m m u n i t i e s ;   v i r t u a l   c o m m u n i t i e s ;   q u e s t i o n - a n s w e r   s i t e s ;   k n o w l e d g e   m a r k e t ;   c r o w d s o u r c i n g ;   l e a r n i n g ;   W i t k e y 	 	 W i t k e y s   a r e   a   t h r i v i n g   t y p e   o f   w e b - b a s e d   k n o w l e d g e   s h a r i n g   m a r k e t   i n   C h i n a ,   s u p p o r t i n g   a   f o r m   o f   c r o w d s o u r c i n g .   I n   a   W i t k e y   s i t e ,   u s e r s   o f f e r   a   s m a l l   a w a r d   f o r   a   s o l u t i o n   t o   a   t a s k ,   a n d   o t h e r   u s e r s   c o m p e t e   t o   h a v e   t h e i r   s o l u t i o n   s e l e c t e d .   I n   t h i s   p a p e r ,   w e   e x a m i n e   t h e   b e h a v i o r   o f   u s e r s   o n   o n e   o f   t h e   b i g g e s t   W i t k e y   w e b s i t e s   i n   C h i n a ,   T a s k c n . c o m .   O n   T a s k c n ,   w e   o b s e r v e d   s e v e r a l   c h a r a c t e r i s t i c s   i n   u s e r s '   a c t i v i t y   o v e r   t i m e .   M o s t   u s e r s   b e c o m e   i n a c t i v e   a f t e r   o n l y   a   f e w   s u b m i s s i o n s .   O t h e r s   k e e p   a t t e m p t i n g   t a s k s .   O v e r   t i m e ,   u s e r s   t e n d   t o   s e l e c t   t a s k s   w h e r e   t h e y   a r e   c o m p e t i n g   a g a i n s t   f e w e r   o p p o n e n t s   t o   i n c r e a s e   t h e i r   c h a n c e s   o f   w i n n i n g .   T h e y   w i l l   a l s o ,   p e r h a p s   c o u n t e r p r o d u c t i v e l y ,   s e l e c t   t a s k s   w i t h   h i g h e r   e x p e c t e d   r e w a r d s .   Y e t ,   o n   a v e r a g e ,   t h e y   d o   n o t   i n c r e a s e   t h e i r   c h a n c e s   o f   w i n n i n g ,   a n d   i n   s o m e   c a t e g o r i e s   o f   t a s k s ,   t h e i r   c h a n c e s   a c t u a l l y   d e c r e a s e .   T h i s   d o e s   n o t   p a i n t   t h e   f u l l   p i c t u r e ,   h o w e v e r ,   b e c a u s e   t h e r e   i s   a   v e r y   s m a l l   c o r e   o f   s u c c e s s f u l   u s e r s   w h o   m a n a g e   n o t   o n l y   t o   w i n   m u l t i p l e   t a s k s ,   b u t   t o   i n c r e a s e   t h e i r   w i n - t o - s u b m i s s i o n   r a t i o   o v e r   t i m e .   T h i s   c o r e   g r o u p   p r o p o s e s   n e a r l y   2 0 %   o f   t h e   w i n n i n g   s o l u t i o n s   o n   t h e   s i t e .   T h e   p a t t e r n s   w e   o b s e r v e   o n   T a s k c n ,   w e   b e l i e v e ,   h o l d   c l u e s   t o   t h e   f u t u r e   o f   c r o w d s o u r c i n g   a n d   f r e e l a n c e   m a r k e t p l a c e s ,   a n d   r a i s e   i n t e r e s t i n g   d e s i g n   i m p l i c a t i o n s   f o r   s u c h   s i t e s . 	 [ Y a n g ,   J i a n g ;   A d a m i c ,   L a d a   A . ;   A c k e r m a n ,   M a r k   S . ]   U n i v   M i c h i g a n ,   S c h   I n f o r m a t ,   A n n   A r b o r ,   M I   4 8 1 0 9   U S A 	 	 y a n g j i a n @ u m i c h . e d u ;   l a d a m i c @ u m i c h . e d u ;   a c k e r m @ u m i c h . e d u 	 	 	 	 	 A D L E R   B T ,   2 0 0 7 ,   C O N T E N T   D R I V E N   R E P U T ;   A R O R A   A ,   M A N A G E M E N T   S C I ;   B r o t h e r s   L . ,   1 9 9 2 ,   C S C W   ' 9 2 .   S h a r i n g   P e r s p e c t i v e s .   P r o c e e d i n g s   o f   t h e   C o n f e r e n c e   o n   C o m p u t e r - S u p p o r t e d   C o o p e r a t i v e   W o r k ;   D A S G U P T A   P ,   1 9 8 0 ,   E C O N   J ,   V 9 0 ,   P 2 6 6 ,   D O I   1 0 . 2 3 0 7 / 2 2 3 1 7 8 8 ;   G i l e s   J ,   2 0 0 5 ,   N A T U R E ,   V 4 3 8 ,   P 9 0 0 ,   D O I   1 0 . 1 0 3 8 / 4 3 8 9 0 0 a ;   G o l d e r   S A ,   2 0 0 6 ,   J   I N F   S C I ,   V 3 2 ,   P 1 9 8 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 0 6 0 6 2 3 3 7 ;   H A R P E R   F M ,   2 0 0 8 ,   P R E D I C T O R S   A N S W E R   Q U ;   H e m p e l   J ,   2 0 0 6 ,   B U S   W E E K ,   P 3 8 ;   H i l t z   S .   R . ,   1 9 7 8 ,   N E T W O R K   N A T I O N ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   K I T T U R   A ,   P O W E R   F E W   V S   W I S D O M ;   M a l o n e   T .   W . ,   2 0 0 4 ,   F U T U R E   W O R K ;   M A R L O W   C ,   2 0 0 6 ,   P   7   C   H Y P   H Y P ,   P 1 3 ;   W i l c o x   R .   T ,   2 0 0 0 ,   M A R K E T   L E T T ,   V 1 1 ,   P 3 6 3 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 0 8 1 4 1 3 1 3 9 2 7 ;   Y a n g   J . ,   2 0 0 8 ,   I N T   C   W E B L   S O C   M E D ;   Z H A N G   J ,   2 0 0 7 ,   E X P E R T I S E   N E T W O R K S   O ;   Z H A N G   J ,   2 0 0 8 ,   E V E R Y O N E   K N O W S   S O M E T 	 1 7 	 1 1 	 1 1 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 1 5 1 5   B R O A D W A Y ,   N E W   Y O R K ,   N Y   1 0 0 3 6 - 9 9 9 8   U S A 	 	 	 9 7 8 - 1 - 6 0 5 5 8 - 1 6 9 - 9 	 	 	 	 2 0 0 8 	 	 	 	 	 	 	 2 4 6 	 2 5 5 	 	 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   E c o n o m i c s 	 C o m p u t e r   S c i e n c e ;   B u s i n e s s   &   E c o n o m i c s 	 B K G 5 3 	 W O S : 0 0 0 2 6 8 0 2 7 4 0 0 0 3 1 	 	 
 